当前位置:首页 > AI科普

少样本学习是什么?大模型为什么看几个例子就会

xinhack3周前 (10-21)AI科普209

少样本学习是什么?大模型为什么看几个例子就会 AI科普

从"喂一万条"到"看三个例"

早年的机器学习有个硬规矩:想让模型学会分类邮件,得先标好几千封"正常"和"垃圾"给她喂进去,它才勉强上路。今天的大模型却画风突变——你只在对话里摆两三个例子,说"像这样分",它就能照着办。这种"给少量示范就上手"的能力,叫少样本学习,是大模型最实用的本事之一。

一个比方:看样例学做事的人

想象招了个悟性极高的新员工。你不必从头教他识字,因为他早已通识傍身;你只要递给他两三份"输入—输出"的范例,他就能举一反三,处理后面的新单子。大模型正是这样:预训练阶段已经读透了语言规律,少样本学习只是临场给他看几个"模板",他靠通识把模式补齐,而不是从零学规则。

它发生在"上下文"里,不改参数

关键的冷知识:少样本学习通常不动模型的参数。你给的例子就放在这一次对话的上下文里,模型现场"读题、模仿、作答"。这叫上下文学习。好处是零成本——不用训练、不用微调,换批例子就能换种干法;缺点是例子占着有限的上下文窗口,给太多反而容易乱,而且关掉对话就忘,下次得重给。

为什么它有时翻车

少样本不是万能。其一,例子若带偏见或错误,模型照单全收,所谓"跟着学坏"。其二,任务太绕、例子不够典型,它容易表面模仿而非真懂,换个说法就懵。其三,它依赖预训练里已有的相关通识——你让它用从没接触过的专业符号体系干细活,给仨例子也救不回来。它强在"通识可迁移",弱在"没法凭空生知识"。

和微调该怎么选

少样本适合临时、多变的任务:今天按 A 格式、明天按 B 格式,给例子最灵活。若一件事要长期、海量、稳定地做,且对准确率要求高,还是把例子变成训练数据做微调更稳。简单说,少样本是"现场看样",微调是"正式培训",前者快、后者牢。

小结

少样本学习让大模型摆脱了"每条规矩都得从头训练"的旧框:靠预训练攒下的通识打底,临场看几个范例就能举一反三。它便宜、灵活、零训练,但怕坏例子、怕生僻事、关窗就忘。理解它,你就掌握了和大模型"用例子沟通"的那把钥匙。所以和大模型协作时,多花心思在"给好例子"上,往往比换模型更见效。它看的是范式不是死规则,你给的样例质量,直接决定了它上手的高度。少样本不是魔法,而是预训练通识的临场变现——你递的范例,就是它这次变现的剧本。

相关文章

注意力机制是什么?大模型读懂一句话的关键

注意力机制是什么?大模型读懂一句话的关键

我们常说大模型能理解上下文,靠的其实是"注意力机制"。它让模型在处理每个词时,自动决定该重点看句子里的哪些部分。本文用读句子的日常经验,讲清注意力机制到底在做什么。…

什么是检索增强(RAG)?让 AI 先翻书再开口

什么是检索增强(RAG)?让 AI 先翻书再开口

大模型知识有截止日期,还容易凭空编。检索增强生成(RAG)的做法是:回答前先去资料库里查一番,再结合原文作答。本文讲清 RAG 是什么、怎么运转,以及它适合解决哪类问题。…

监督学习、无监督学习、强化学习,三种学习方式一文分清

监督学习、无监督学习、强化学习,三种学习方式一文分清

一提到“训练 AI”,很多人以为都是同一种学法。其实机器学习主要有三种路子:有人手把手指正的(监督学习)、没人教全靠自己找规律的(无监督学习)、在试错和奖励中摸索的(强化学习)。它们适用场景完全不同。…

数据标注是什么?AI 背后的“人工”功课由谁打标

数据标注是什么?AI 背后的“人工”功课由谁打标

我们总说 AI 靠数据训练,却很少问:那些训练用的“标准答案”是谁写的?很大一部分来自数据标注——真人一条条给图片打框、给文本分类、给语音转写。没有这层笨功夫,很多模型根本学不会。这篇文章用“给老师批…

反向传播是什么?神经网络的错误怎么一层层传回去

反向传播是什么?神经网络的错误怎么一层层传回去

模型做错题,错的不只是最后一层。反向传播就是把「总错误」沿着网络一层层往回分,算出每个权重该为这次失误负多少责。本文用传话出错追责和工厂返工的比喻,讲清这个让深度学习得以训练的核心算法,以及它为什么能…

循环神经网络是什么?让 AI 把「前文」记在心上

循环神经网络是什么?让 AI 把「前文」记在心上

普通神经网络看一句话,是一个字一个字孤立地看,看完上句就忘了下句。循环神经网络(RNN)给模型加了「记忆」,让信息能顺着顺序流动。本文用带笔记本的阅卷人和接力传话的比喻,讲清 RNN 怎么处理时间序列…

生成对抗网络是什么?造假者与鉴别者的猫鼠游戏

生成对抗网络是什么?造假者与鉴别者的猫鼠游戏

大多数模型在「判断」,生成对抗网络(GAN)却另辟蹊径地「创造」——它能凭空画出人脸、生成逼真照片。诀窍是让两个模型互相较劲:一个拼命造假,一个拼命打假。本文用假币与验钞的比喻,讲清这场猫鼠游戏怎么把…

残差连接是什么?神经网络为什么能堆到上百层还不崩

残差连接是什么?神经网络为什么能堆到上百层还不崩

把神经网络层数堆深,本想学得更精细,可早年一加深就反而变差——不是算力不够,是信息传不下去。残差连接给了个极简解法:给数据开一条「直通车」,让它跳过几层直接往后传。本文用走楼梯和坐电梯的比喻,讲清这招…