Transformer 是什么?现代大模型的共同骨架

老办法的瓶颈:一次只能盯一个字
在 Transformer 之前,处理句子常用“循环”结构:像读书一样从左读到右,读当前字时带着前面字的记忆。问题是一句话长了、或者后面字要回头改前面的理解,这种“串行”读法又慢又容易忘。更致命的是它没法并行——几十亿参数的显卡算力被“一次一个字”的节奏白白浪费。Transformer 要解决的,就是又慢又健忘这两件事。
核心发明:让所有词同时“互相看一眼”
Transformer 的关键叫自注意力机制(我们之前单独讲过注意力,这里是它的舞台)。一句话喂进来,每个词不是顺着读,而是和句内所有词同时算一遍“我和你有多相关”。比如“它”这个词,会立刻去和“猫”对齐,知道指代的是猫。整句话一次性并行处理,谁关联谁当场锁定,既快又不容易丢远距离的关系。这也是它能堆超大模型、又跑得动并行训练的根本原因。
位置编码:没有顺序,怎么知道谁先谁后
既然所有词同时看,那“猫追狗”和“狗追猫”在模型眼里不就乱了?Transformer 用了个补丁叫位置编码:在把词送进去前,先给每个词悄悄加一段“我是第几个”的信号。这样模型既享受了“大家同时看”的并行好处,又没丢掉先后顺序这个关键信息。相当于开会时每人座位牌上写着编号,传纸条再快也不会搞混谁先发言。
编码器与解码器:理解型和生成型两套件
原始 Transformer 有两块:编码器负责“读懂输入”(适合翻译时的原文理解),解码器负责“逐步产出”(适合生成目标语言或下个词)。后来的大模型各取所需:做理解的常强化编码器,做聊天的多用解码器。你今天用的聊天机器人,基本是解码器一路堆出来的。同一套骨架,换个侧重点,就长成了不同的产品形态。
为什么是它撑起了这一轮浪潮
三个原因叠在一起:一是并行,能塞进海量数据和算力;二是长程关联抓得准,语言、代码、甚至蛋白质序列里的远距离依赖都吃得下;三是可扩展,模型越大表现越好(还记得我们讲过的涌现)。这几点凑齐,才有了后来 GPT、翻译、代码助手等一系列“看起来像懂了”的应用。它不像某个具体功能,更像地基——楼上怎么装修都能搭。
普通人需要知道什么
你不必背架构细节,记住一件事就够了:今天能“对话、写、译”的 AI,大多是同一个骨架长出来的近亲,所以它们的强项和短板高度相似——擅长语言流畅、弱于事实准确。下次觉得某个新 AI“和之前用的那个好像”,多半就是因为它们本就共享这套骨架。理解 Transformer,等于拿到了看懂这一整代 AI 的钥匙。








