少样本学习是什么?大模型为什么看几个例子就会

从"喂一万条"到"看三个例"
早年的机器学习有个硬规矩:想让模型学会分类邮件,得先标好几千封"正常"和"垃圾"给她喂进去,它才勉强上路。今天的大模型却画风突变——你只在对话里摆两三个例子,说"像这样分",它就能照着办。这种"给少量示范就上手"的能力,叫少样本学习,是大模型最实用的本事之一。
一个比方:看样例学做事的人
想象招了个悟性极高的新员工。你不必从头教他识字,因为他早已通识傍身;你只要递给他两三份"输入—输出"的范例,他就能举一反三,处理后面的新单子。大模型正是这样:预训练阶段已经读透了语言规律,少样本学习只是临场给他看几个"模板",他靠通识把模式补齐,而不是从零学规则。
它发生在"上下文"里,不改参数
关键的冷知识:少样本学习通常不动模型的参数。你给的例子就放在这一次对话的上下文里,模型现场"读题、模仿、作答"。这叫上下文学习。好处是零成本——不用训练、不用微调,换批例子就能换种干法;缺点是例子占着有限的上下文窗口,给太多反而容易乱,而且关掉对话就忘,下次得重给。
为什么它有时翻车
少样本不是万能。其一,例子若带偏见或错误,模型照单全收,所谓"跟着学坏"。其二,任务太绕、例子不够典型,它容易表面模仿而非真懂,换个说法就懵。其三,它依赖预训练里已有的相关通识——你让它用从没接触过的专业符号体系干细活,给仨例子也救不回来。它强在"通识可迁移",弱在"没法凭空生知识"。
和微调该怎么选
少样本适合临时、多变的任务:今天按 A 格式、明天按 B 格式,给例子最灵活。若一件事要长期、海量、稳定地做,且对准确率要求高,还是把例子变成训练数据做微调更稳。简单说,少样本是"现场看样",微调是"正式培训",前者快、后者牢。
小结
少样本学习让大模型摆脱了"每条规矩都得从头训练"的旧框:靠预训练攒下的通识打底,临场看几个范例就能举一反三。它便宜、灵活、零训练,但怕坏例子、怕生僻事、关窗就忘。理解它,你就掌握了和大模型"用例子沟通"的那把钥匙。所以和大模型协作时,多花心思在"给好例子"上,往往比换模型更见效。它看的是范式不是死规则,你给的样例质量,直接决定了它上手的高度。少样本不是魔法,而是预训练通识的临场变现——你递的范例,就是它这次变现的剧本。








