当前位置:首页 > AI科普

涌现能力是什么?小模型不会、大模型突然会

xinhack3周前 (10-19)AI科普54

涌现能力是什么?小模型不会、大模型突然会 AI科普

一个反直觉的现象:大到一定程度才“会”

很多技能是循序渐进的:模型大一点,翻译好一点、算数准一点,符合直觉。但有一类能力不是这样——小模型完全没有,中等模型还是没有,可当参数规模跨过某个门槛,它突然就“会”了。比如某种复杂推理、某种多步规划,小模型连影子都没有,大模型却能顺手做出来。这种“之前不会、之后突然会”的现象,被叫做涌现能力。

像人浪,也像水烧到一百度

两个比喻好懂。体育场里少数人站起来只是零散起立;当足够多人同时参与,全场人浪才真正成形——少几个人浪就散了,这叫“集体到了规模才出现”。另一个比喻是烧水:从二十度到九十九度,一直只是“热水”,看不出质变;到一百度突然沸腾。涌现就是这种“凑够规模才解锁”的突变,不是每条能力都平滑上涨。

涌现不是魔法,是能力被“解锁”

说“突然会了”容易让人以为模型觉醒了,其实没那么神秘。更合理的解释是:很多任务需要同时调动若干项基础能力,规模小的时候这些能力各自都弱,拼不到一起;规模大了,各项基础都够强、又能协同,原本不可能的组合就变得可能。好比一个人力气、平衡、协调都差一点时走不了钢丝,三项同时达标,钢丝就能走——不是新长出了一种能力,是旧能力终于够用了。

哪些能力是涌现出来的

研究者观察到,一些需要多步链条的能力更容易涌现:比如根据一段杂乱信息做推理、把一种语言的说法绕到另一种语言、理解隐含在字里行间的意图。这些不是某条规则能直接写出来的,更像“规模把潜在可能性兑现了”。也正因如此,大模型常常带来“意外之喜”——一些设计者没 explicit 教、却自然长出来的本事。

涌现给了我们什么提醒

一是别用“小模型表现”线性推测大模型。小模型做不好的事,大模型未必做不好,简单外推会误判。二是规模有它的杠杆效应:在关键门槛前加一点资源,可能换来能力阶跃,而不是均匀改善。这对理解“为什么大家拼命堆参数”很有帮助——他们赌的正是下一个涌现节点。

别把涌现神化:它也有边界

涌现不等于“越大越聪明”的通行证。有些事规模再大也不涌现,只是更流畅;也有研究指出,部分“涌现”只是评测方式造成的假象——换种衡量标准,曲线可能一直平滑。更稳妥的态度是:把涌现当成值得关注的现象,而不是神话。它提醒我们 scale 有奇效,但也提醒我们,能力边界要实测,不能想当然。

相关文章

过拟合是什么?为什么模型考试满分却实战翻车

过拟合是什么?为什么模型考试满分却实战翻车

训练 AI 很像备考:刷的题越偏越怪,考试分数可能越高,但真上考场就懵。过拟合说的就是模型把训练题“背”得太死,碰到没见过的新情况反而答错。这篇文章用“背题”和“学规律”的区别,讲清过拟合是什么、怎么…

什么是对齐?怎么让人工智能学会该做与不该做

什么是对齐?怎么让人工智能学会该做与不该做

一个模型再聪明,如果分不清“能不能做”和“该不该做”,也靠不住。对齐(Alignment)就是让 AI 的目标和人类的价值一致——不仅要答得对,还要答得合适、安全、守边界。这篇文章用“教孩子规矩”的比…

梯度下降是什么?模型靠不断试错找到最优解

梯度下降是什么?模型靠不断试错找到最优解

训练一个 AI 模型,本质是解一道没有标准答案的难题:怎么调那几十亿个参数,让模型的预测最接近真实?梯度下降就是工程师手里最常用的“导航仪”——它不要求一步到位,而是每次朝“让错误变小”的方向挪一小步…

监督学习、无监督学习、强化学习,三种学习方式一文分清

监督学习、无监督学习、强化学习,三种学习方式一文分清

一提到“训练 AI”,很多人以为都是同一种学法。其实机器学习主要有三种路子:有人手把手指正的(监督学习)、没人教全靠自己找规律的(无监督学习)、在试错和奖励中摸索的(强化学习)。它们适用场景完全不同。…

激活函数是什么?为什么 AI 需要「非线性」这道弯

激活函数是什么?为什么 AI 需要「非线性」这道弯

神经网络靠一层层加权求和做判断,但如果只做加减乘除,它永远只能画直线。激活函数就是给网络加上的'非线性开关',让 AI 能拟合曲线、分辨复杂图案。本文用开关和闸口的比喻,讲清它为什么不可或缺,以及选它…

反向传播是什么?神经网络的错误怎么一层层传回去

反向传播是什么?神经网络的错误怎么一层层传回去

模型做错题,错的不只是最后一层。反向传播就是把「总错误」沿着网络一层层往回分,算出每个权重该为这次失误负多少责。本文用传话出错追责和工厂返工的比喻,讲清这个让深度学习得以训练的核心算法,以及它为什么能…

循环神经网络是什么?让 AI 把「前文」记在心上

循环神经网络是什么?让 AI 把「前文」记在心上

普通神经网络看一句话,是一个字一个字孤立地看,看完上句就忘了下句。循环神经网络(RNN)给模型加了「记忆」,让信息能顺着顺序流动。本文用带笔记本的阅卷人和接力传话的比喻,讲清 RNN 怎么处理时间序列…

聚类是什么?AI 怎么把相似的东西自动「归成一堆」

聚类是什么?AI 怎么把相似的东西自动「归成一堆」

前面聊的很多模型都要先有标签才能学,聚类却反着来:不给任何答案,只丢一堆杂乱数据,让 AI 自己把相似的分到一组。本文用聚会自动分桌和整理衣柜的比喻,讲清 K-Means 怎么运作、簇数怎么定,以及它…