当前位置:首页 > AI科普

训练 AI 的数据从哪来?它到底在学什么

xinhack3周前 (10-18)AI科普56

训练 AI 的数据从哪来?它到底在学什么 AI科普

模型不是凭空聪明

很多人以为 AI 是工程师写死的规则,其实不是。大模型的能力,绝大部分来自它"读过"的数据。你可以把它想成一个读了几乎整个互联网的海量读者,它的语感、常识甚至偏见,都来自这些读过的文字。数据,就是它的粮食。没有数据,再精巧的算法也只是空壳,什么也生成不出来,更谈不上什么"智能"。你喂给它什么,它大致就会长成什么样子,这一点怎么强调都不为过。

训练数据长什么样

常见来源有几类:公开的网页文章、书籍、论坛讨论、代码仓库,以及经过人工整理的对答数据。这些数据被清洗、去重、过滤掉垃圾和敏感内容后,切成一段段喂给模型。模型做的核心练习,是"看完前半句,预测后半句",在海量预测中摸熟语言的脉络。它从不停背答案,而是在反复预测里归纳出规律,这种规律最终就沉淀成了那几千亿个参数。所谓"训练",练的其实就是这层对语言的直觉。

质量还是数量

二者都重要,但质量常常被低估。一堆低质、重复、充满错误的数据,只会教出爱说胡话的模型;而干净、多样、有代表性的数据,能让模型学得更稳。业界有句话:垃圾进,垃圾出。选什么数据,几乎决定了模型会成为什么样子。近年很多团队发现,精挑细选的小数据,效果能胜过粗放的大数据,质量正在重新被摆到数量之前。挑数据,正在成为比堆算力更关键的功夫。

数据也有"保质期"

模型的训练数据截取自某个时间点,之后的事它没见过。所以越是新近的事件、刚出的产品,它越容易答错或编造。这也是为什么很多应用要给模型接上实时检索——用新数据补上它的"保质期"缺口。把模型当成一本出版于某年的书,它能答的,只到封底那个日期之前;那一天之后的世界,它需要我们额外喂给它。意识到这点,你就不会再拿过时的问题去为难一个"停在过去"的模型。

普通人的启示

你给 AI 的提问质量,其实也像在喂它数据:描述越清楚、例子越具体,它越能贴近你的需求。理解"AI 吃数据长大",你就知道为什么它既博学,又偶尔会停留在过去。写好提示词,本质是替它把"资料"准备得更到位——你给的上下文越干净,它给出的答案就越靠谱。把它当成一个记忆力极好、但只活在训练时点里的同事,相处起来反而更顺手。数据的好与坏,最终都会原样体现在它说的每一句话里,所以别怪模型"胡说",先看看喂给它的是什么。

相关文章

模型量化是什么?一文看懂手机为什么能跑大模型

模型量化是什么?一文看懂手机为什么能跑大模型

同样一个模型,在云端跑得动,塞进手机却卡死,问题常常出在“精度”。量化(Quantization)就是把模型里成千上万的小数“四舍五入”成更小的数,体积和算力需求大幅降下来,效果却几乎不掉。这篇文章用…

激活函数是什么?为什么 AI 需要「非线性」这道弯

激活函数是什么?为什么 AI 需要「非线性」这道弯

神经网络靠一层层加权求和做判断,但如果只做加减乘除,它永远只能画直线。激活函数就是给网络加上的'非线性开关',让 AI 能拟合曲线、分辨复杂图案。本文用开关和闸口的比喻,讲清它为什么不可或缺,以及选它…

反向传播是什么?神经网络的错误怎么一层层传回去

反向传播是什么?神经网络的错误怎么一层层传回去

模型做错题,错的不只是最后一层。反向传播就是把「总错误」沿着网络一层层往回分,算出每个权重该为这次失误负多少责。本文用传话出错追责和工厂返工的比喻,讲清这个让深度学习得以训练的核心算法,以及它为什么能…

循环神经网络是什么?让 AI 把「前文」记在心上

循环神经网络是什么?让 AI 把「前文」记在心上

普通神经网络看一句话,是一个字一个字孤立地看,看完上句就忘了下句。循环神经网络(RNN)给模型加了「记忆」,让信息能顺着顺序流动。本文用带笔记本的阅卷人和接力传话的比喻,讲清 RNN 怎么处理时间序列…

决策树与随机森林:AI 是怎么一层层「分而治之」做判断的

决策树与随机森林:AI 是怎么一层层「分而治之」做判断的

不是所有 AI 都靠神经网络。决策树用一连串「是或否」的问题就把复杂判断拆解清楚,随机森林再把很多棵树凑一起投票。本文用银行放贷和聚会分桌的比喻,讲清这套直观又稳健的经典算法,以及它为什么至今仍被广泛…

自监督学习是什么?没有标准答案,AI 怎么自己给自己出考卷

自监督学习是什么?没有标准答案,AI 怎么自己给自己出考卷

给 AI 准备带标签的数据很贵——得雇人一条条标。自监督学习绕开这道坎:它不给标准答案,而是把数据自己拆成「题」和「答案」,让模型在填空、比对中练出对世界的理解。本文用完形填空的比喻,讲清它怎么让大模…

残差连接是什么?神经网络为什么能堆到上百层还不崩

残差连接是什么?神经网络为什么能堆到上百层还不崩

把神经网络层数堆深,本想学得更精细,可早年一加深就反而变差——不是算力不够,是信息传不下去。残差连接给了个极简解法:给数据开一条「直通车」,让它跳过几层直接往后传。本文用走楼梯和坐电梯的比喻,讲清这招…

灾难性遗忘是什么?AI 学了新的,为什么把旧的给忘了

灾难性遗忘是什么?AI 学了新的,为什么把旧的给忘了

人学新技能不至于忘了旧本事,可神经网络一学新任务,常把之前练的就给覆盖了——这叫灾难性遗忘。它卡住了「一个模型持续学多件事」的设想。本文用覆盖式笔记和工人转岗的比喻,讲清遗忘怎么发生,以及业界用回放、…