涌现能力是什么?小模型不会、大模型突然会

一个反直觉的现象:大到一定程度才“会”
很多技能是循序渐进的:模型大一点,翻译好一点、算数准一点,符合直觉。但有一类能力不是这样——小模型完全没有,中等模型还是没有,可当参数规模跨过某个门槛,它突然就“会”了。比如某种复杂推理、某种多步规划,小模型连影子都没有,大模型却能顺手做出来。这种“之前不会、之后突然会”的现象,被叫做涌现能力。
像人浪,也像水烧到一百度
两个比喻好懂。体育场里少数人站起来只是零散起立;当足够多人同时参与,全场人浪才真正成形——少几个人浪就散了,这叫“集体到了规模才出现”。另一个比喻是烧水:从二十度到九十九度,一直只是“热水”,看不出质变;到一百度突然沸腾。涌现就是这种“凑够规模才解锁”的突变,不是每条能力都平滑上涨。
涌现不是魔法,是能力被“解锁”
说“突然会了”容易让人以为模型觉醒了,其实没那么神秘。更合理的解释是:很多任务需要同时调动若干项基础能力,规模小的时候这些能力各自都弱,拼不到一起;规模大了,各项基础都够强、又能协同,原本不可能的组合就变得可能。好比一个人力气、平衡、协调都差一点时走不了钢丝,三项同时达标,钢丝就能走——不是新长出了一种能力,是旧能力终于够用了。
哪些能力是涌现出来的
研究者观察到,一些需要多步链条的能力更容易涌现:比如根据一段杂乱信息做推理、把一种语言的说法绕到另一种语言、理解隐含在字里行间的意图。这些不是某条规则能直接写出来的,更像“规模把潜在可能性兑现了”。也正因如此,大模型常常带来“意外之喜”——一些设计者没 explicit 教、却自然长出来的本事。
涌现给了我们什么提醒
一是别用“小模型表现”线性推测大模型。小模型做不好的事,大模型未必做不好,简单外推会误判。二是规模有它的杠杆效应:在关键门槛前加一点资源,可能换来能力阶跃,而不是均匀改善。这对理解“为什么大家拼命堆参数”很有帮助——他们赌的正是下一个涌现节点。
别把涌现神化:它也有边界
涌现不等于“越大越聪明”的通行证。有些事规模再大也不涌现,只是更流畅;也有研究指出,部分“涌现”只是评测方式造成的假象——换种衡量标准,曲线可能一直平滑。更稳妥的态度是:把涌现当成值得关注的现象,而不是神话。它提醒我们 scale 有奇效,但也提醒我们,能力边界要实测,不能想当然。








