「AI 说话为啥一个字一个字往外蹦？自回归生成是咋回事」

先给结论：它就是在"接龙"

你跟大模型聊天，看它哗哗往外冒字，以为它在"思考整句话"。其实不是。自回归生成干的事特别朴实：接龙。前面有一串字，它根据这串字猜"下一个字最可能是啥"，蹦出来，再把新字接在尾巴上，接着猜再下一个。一个字一个字滚下去，直到它觉得该停。

米岸AI 觉得，自回归生成这比喻最贴切：就像你小时候玩的成语接龙，上一个词定了，下一个就被框住。模型也一样，前文一变，后面整条走向都可能拐弯。

一个字一个字猜，靠的是"前文"

它凭啥猜得还像那么回事？靠训练时啃过的海量文本。模型把"前文→下一个字"的概率关系从无数句子里硬学出来了。你喂它"今天天气真"，它大概率接"好"；喂它"床前明月光"，它接"疑是地上霜"。这不是背诗，是概率——只是它见这组合的次数太多了。

所以自回归生成有个铁律：它永远只能看"已经写出来的"，没法先想好结尾再倒着填。一路盲走，走到哪算哪。

这活儿为啥又慢又费钱

接龙天生没法并行。你让它写一百字，它得先算出第 1 个字才能算第 2 个，第 2 个出来才能算第 3 个……一百个字就是一百次串行计算。这也就是为啥你问 AI，它是"流式"一个字一个字蹦，而不是啪一下整段砸出来。

要快也行，有"投机解码"之类的招，先瞎猜一串再回头校验，但那是用别的机制打补丁，根儿上接龙还是串行的。吐字慢是机制使然，不是它卡了。

接龙接歪了会咋样

接龙最怕一步走错、步步错。每步都只看前文，前面飘了后面就跟着离谱，越写越飞，这就是大伙说的"幻觉"和"一本正经胡说"。有时它接上了瘾，车轱辘话来回说——因为"接着说"在它概率表里比"打住"更顺。

所以你用 AI 写东西，最好一段一段要，或给个清楚收尾。别甩一句"写篇小说"就坐等，它真能给你接出三万字流水账。

它和"填空"不是一码事

有人问，AI 画画、翻译也是接龙吗？不全是。写文章、写代码这种"从左到右"的，基本都是自回归生成；但有些任务是"给一段挖个坑让你填"（比如 BERT 那类掩码模型），那是另一套叫自编码的思路，能同时看前后文。两兄弟各干各的活。

咱普通人记住就好：现在用的聊天模型，十有八九是自回归生成的徒子徒孙。

常见问题

问：自回归生成和"一次性写完"差在哪儿？

答：一次性写完是理想，模型做不到——它每写一字都得以来前面的结果。本质是串行接龙，这也是它慢、偶尔跑偏的根儿。

问：为啥模型有时车轱辘话来回说？

答：因为"接着说"在它概率表里往往比"打住"更顺。没收尾信号它就一路接下去，越说越水。给个明确结束要求能好点。

问：米岸AI 说的"流式输出"跟它有关吗？

答：有关。你看到的字一个个蹦，正是自回归生成一边算一边往外吐，不是故意吊你胃口。

问：这机制有啥好处？

答：灵活，你随时插话改方向，它立刻顺着新前文接。对话这事上，接龙反而顺手。

本文由米岸AI整理。