当前位置:首页 > AI科普

嵌入到底是什么?一文看懂文字变成坐标的原理

xinhack3周前 (10-19)AI科普54

嵌入到底是什么?一文看懂文字变成坐标的原理 AI科普

计算机眼里没有“意思”,只有数字

人看文字靠的是经验和常识:听见“猫”就知道是动物,听见“银行”能分清是存钱的地方还是河岸。但计算机一开始只认 0 和 1,它不知道“猫”和“狗”都是宠物,也不知道“高兴”和“开心”差不多。想让机器处理语言,第一步就是把这些词变成它能算的东西——一串数字。问题是怎么变,才让“意思接近”的词在机器里也显得接近。

嵌入就是把词摆进一张看不见的地图

嵌入(Embedding)干的事,相当于给每个词在一张多维“地图”上安排一个坐标。不是平面上的 x、y 两点,而是几百甚至上千个维度。维度太多人脑想象不了,但道理和地图一样:坐标越接近,关系越近。比如“国王”和“女王”的坐标挨着,“国王”和“苹果”的坐标离得远。这一下,机器虽然没有“理解”词义,却能用算距离的方式,把语义关系表达出来了。

意思相近的词,坐标也挨得近

最妙的地方在于,这种坐标不是人手动标出来的,而是模型从海量文本里自己“学”出来的。它发现“猫”和“狗”经常出现在相似的句子里,就把它们摆近;发现“买”和“卖”常成对出现,也让它们保持固定的相对位置。甚至还能做加减运算:“国王”减“男人”加“女人”约等于“女王”。这说明坐标里真的编码了某种语义关系,而不是随机乱摆。

不只是词语,句子和图片也能嵌入

词能变成坐标,句子、段落、甚至图片也能。一段文字整体压成一个向量,一张图也能压成一个向量。这就打开了搜索的新玩法:你用一句话去搜图片,系统和你把两边都变成坐标,再看谁离得近。很多“以文搜图”“相似文章推荐”背后,靠的都是同一套嵌入思路——把所有东西摆进同一个坐标空间,再用距离衡量像不像。

嵌入为什么是 AI 理解语言的地基

今天的大语言模型,第一步几乎都要把输入的文字转成嵌入。可以把它想成翻译:人类说的“话”,先翻译成机器能计算的“坐标语言”,模型在坐标空间里做运算,最后再把结果翻译回文字。没有嵌入这一步,模型面对的只是一堆互不相关的符号,谈不上任何语义。所以嵌入虽不显眼,却是整座语言 AI 大厦的地基。

普通用户能感受到嵌入的地方

你不一定直接接触“嵌入”这个词,但早就用到了它的成果:搜“怎么缓解熬夜头疼”,出来的却是一篇讲“睡眠不足头痛”的文章,这是语义搜索;网盘自动把相似照片归到一起,是图像嵌入;翻译软件能分辨“苹果公司”和“吃苹果”,也靠词义坐标。下次觉得 AI“好像懂了点意思”,多半是嵌入在背后悄悄把话摆进了地图。

相关文章

Transformer 是什么?现代大模型的共同骨架

Transformer 是什么?现代大模型的共同骨架

今天几乎所有厉害的大语言模型——从聊天机器人到翻译器——背后都站着同一个架构:Transformer。它不像老式模型那样一个字一个字硬啃,而是让一句话里所有词同时“互相看一眼”,谁和谁相关一眼锁定。这…

正则化是什么?给模型上道「紧箍咒」防它背答案

正则化是什么?给模型上道「紧箍咒」防它背答案

模型在训练集上考满分、一上实战就翻车,多半是「记」而不是「学」。正则化就是给这种死记硬背加一道约束,逼模型抓住更通用的规律。本文用减肥和控制开销的比喻,讲清 L2、Dropout 等手段怎么帮模型「减…

循环神经网络是什么?让 AI 把「前文」记在心上

循环神经网络是什么?让 AI 把「前文」记在心上

普通神经网络看一句话,是一个字一个字孤立地看,看完上句就忘了下句。循环神经网络(RNN)给模型加了「记忆」,让信息能顺着顺序流动。本文用带笔记本的阅卷人和接力传话的比喻,讲清 RNN 怎么处理时间序列…

生成对抗网络是什么?造假者与鉴别者的猫鼠游戏

生成对抗网络是什么?造假者与鉴别者的猫鼠游戏

大多数模型在「判断」,生成对抗网络(GAN)却另辟蹊径地「创造」——它能凭空画出人脸、生成逼真照片。诀窍是让两个模型互相较劲:一个拼命造假,一个拼命打假。本文用假币与验钞的比喻,讲清这场猫鼠游戏怎么把…

联邦学习是什么?手机怎么在不交出数据的情况下一起训练 AI

联邦学习是什么?手机怎么在不交出数据的情况下一起训练 AI

把数据集中到一处训练 AI,最怕隐私和合规这关——没人愿意把聊天记录、病历乖乖上交。联邦学习换了思路:模型下发到各台设备,数据不出本地,只把「学到的改动」传回来汇总。本文用集体写书和老师批作业的隐喻,…

灾难性遗忘是什么?AI 学了新的,为什么把旧的给忘了

灾难性遗忘是什么?AI 学了新的,为什么把旧的给忘了

人学新技能不至于忘了旧本事,可神经网络一学新任务,常把之前练的就给覆盖了——这叫灾难性遗忘。它卡住了「一个模型持续学多件事」的设想。本文用覆盖式笔记和工人转岗的比喻,讲清遗忘怎么发生,以及业界用回放、…

扩散模型是什么?AI 画画为何先加噪再一步步去噪

扩散模型是什么?AI 画画为何先加噪再一步步去噪

你用 AI 生图时多半纳闷:它咋凭一句话就吐出一张画?不少模型走的是「扩散」路线——先往图上狂加噪点变成雪花,再一点点把噪擦掉、顺手把画显影出来。本文用洗照片和除雾的比喻,讲清这套反直觉的生图魔法到底…

推荐系统是什么?App 怎么越用越懂你、猜中你喜好

推荐系统是什么?App 怎么越用越懂你、猜中你喜好

打开购物、短视频、音乐 App,它总能精准推你爱看的那一口——这背后站着推荐系统。它不像人靠直觉,而是拿你点过、跳过、买过的痕迹当线索,给人和内容两边打分配对。本文用红娘和书架的比喻,讲清它怎么从你的…