当前位置:首页 > AI科普

Transformer 是什么?现代大模型的共同骨架

xinhack3周前 (10-20)AI科普52

Transformer 是什么?现代大模型的共同骨架 AI科普

老办法的瓶颈:一次只能盯一个字

在 Transformer 之前,处理句子常用“循环”结构:像读书一样从左读到右,读当前字时带着前面字的记忆。问题是一句话长了、或者后面字要回头改前面的理解,这种“串行”读法又慢又容易忘。更致命的是它没法并行——几十亿参数的显卡算力被“一次一个字”的节奏白白浪费。Transformer 要解决的,就是又慢又健忘这两件事。

核心发明:让所有词同时“互相看一眼”

Transformer 的关键叫自注意力机制(我们之前单独讲过注意力,这里是它的舞台)。一句话喂进来,每个词不是顺着读,而是和句内所有词同时算一遍“我和你有多相关”。比如“它”这个词,会立刻去和“猫”对齐,知道指代的是猫。整句话一次性并行处理,谁关联谁当场锁定,既快又不容易丢远距离的关系。这也是它能堆超大模型、又跑得动并行训练的根本原因。

位置编码:没有顺序,怎么知道谁先谁后

既然所有词同时看,那“猫追狗”和“狗追猫”在模型眼里不就乱了?Transformer 用了个补丁叫位置编码:在把词送进去前,先给每个词悄悄加一段“我是第几个”的信号。这样模型既享受了“大家同时看”的并行好处,又没丢掉先后顺序这个关键信息。相当于开会时每人座位牌上写着编号,传纸条再快也不会搞混谁先发言。

编码器与解码器:理解型和生成型两套件

原始 Transformer 有两块:编码器负责“读懂输入”(适合翻译时的原文理解),解码器负责“逐步产出”(适合生成目标语言或下个词)。后来的大模型各取所需:做理解的常强化编码器,做聊天的多用解码器。你今天用的聊天机器人,基本是解码器一路堆出来的。同一套骨架,换个侧重点,就长成了不同的产品形态。

为什么是它撑起了这一轮浪潮

三个原因叠在一起:一是并行,能塞进海量数据和算力;二是长程关联抓得准,语言、代码、甚至蛋白质序列里的远距离依赖都吃得下;三是可扩展,模型越大表现越好(还记得我们讲过的涌现)。这几点凑齐,才有了后来 GPT、翻译、代码助手等一系列“看起来像懂了”的应用。它不像某个具体功能,更像地基——楼上怎么装修都能搭。

普通人需要知道什么

你不必背架构细节,记住一件事就够了:今天能“对话、写、译”的 AI,大多是同一个骨架长出来的近亲,所以它们的强项和短板高度相似——擅长语言流畅、弱于事实准确。下次觉得某个新 AI“和之前用的那个好像”,多半就是因为它们本就共享这套骨架。理解 Transformer,等于拿到了看懂这一整代 AI 的钥匙。

相关文章

参数是什么?藏在 AI 大脑里的几千亿个数字

参数是什么?藏在 AI 大脑里的几千亿个数字

常听人说某个大模型有几千亿参数,参数到底是什么?这篇文章用最直白的方式解释大模型里的参数,它们是怎么来的、是不是越多越聪明,以及普通用户到底需不需要关心这个数字。…

什么是检索增强(RAG)?让 AI 先翻书再开口

什么是检索增强(RAG)?让 AI 先翻书再开口

大模型知识有截止日期,还容易凭空编。检索增强生成(RAG)的做法是:回答前先去资料库里查一番,再结合原文作答。本文讲清 RAG 是什么、怎么运转,以及它适合解决哪类问题。…

过拟合是什么?为什么模型考试满分却实战翻车

过拟合是什么?为什么模型考试满分却实战翻车

训练 AI 很像备考:刷的题越偏越怪,考试分数可能越高,但真上考场就懵。过拟合说的就是模型把训练题“背”得太死,碰到没见过的新情况反而答错。这篇文章用“背题”和“学规律”的区别,讲清过拟合是什么、怎么…

涌现能力是什么?小模型不会、大模型突然会

涌现能力是什么?小模型不会、大模型突然会

有些能力很奇怪:模型小的时候完全没有,参数涨到一定规模,突然就会了——像攒够了人数才会涌现的“人浪”。这种“量变到质变”叫涌现能力(Emergence)。这篇文章用“凑人数”和“水温烧开”两个比喻,讲…

生成式 AI 和判别式 AI 有什么区别?一个会造一个会判

生成式 AI 和判别式 AI 有什么区别?一个会造一个会判

同样是 AI,有的能写出一篇文章、画出一幅画,有的只能回答“这是猫还是狗”。前者叫生成式 AI,后者叫判别式 AI,它们干的活天差地别。理解这对区别,你就能看懂为什么聊天机器人能创作、而传统模型只能分…

损失函数是什么?模型靠什么知道自己错了多少

损失函数是什么?模型靠什么知道自己错了多少

模型训练的过程,其实就是不断「减小错误」的过程。损失函数就是那把丈量错误的尺子:它把模型的预测和真实答案之间的差距,算成一个具体的数字。本文用考试扣分和温度计的比喻,讲清损失函数怎样指挥训练往正确的方…

推荐系统是什么?App 怎么越用越懂你、猜中你喜好

推荐系统是什么?App 怎么越用越懂你、猜中你喜好

打开购物、短视频、音乐 App,它总能精准推你爱看的那一口——这背后站着推荐系统。它不像人靠直觉,而是拿你点过、跳过、买过的痕迹当线索,给人和内容两边打分配对。本文用红娘和书架的比喻,讲清它怎么从你的…

自编码器是什么?AI 怎么把复杂信息压缩再还原

自编码器是什么?AI 怎么把复杂信息压缩再还原

你手机传照片会先压缩,AI 也有一套类似的「打包术」叫自编码器:它先把数据压成一小团精华,再试着还原回去,逼自己只留住最要紧的特征。本文用搬家断舍离和缩略图的比喻,讲清它怎么顺手干成了降噪、找异常这些…