当前位置:首页 > AI科普

Token 到底是什么?大模型怎么把你打的汉字切成一块块来算

xinhack2周前 (10-25)AI科普33

Token 到底是什么?大模型怎么把你打的汉字切成一块块来算 AI科普

token 不是字,也不是词,是「模型眼里的最小积木」

咱先破除一个误会:大模型读你这句话,不是像人一样一个字一个字看,也不是按词典分词,而是把它切成一堆叫 token 的小块。英文里一个 token 可能是一个词、半个词、甚至一个标点;中文更碎,常常一个汉字就被切成一两个 token。你可以把它理解成乐高——模型用一堆小积木拼出意思,积木越细,拼法越灵活,但零件数也越多。所以同样一句话,在模型眼里「零件量」可能远多于你肉眼看到的字数,别被表面字数骗了,那只是给你看的,不是它算账的单位,这也是为啥账单跟你直觉对不上。

中英文为啥「贵」得不一样

英文 hello 可能就一个 token,但中文「你好」常常拆成「你」「好」两个甚至更多 token。同样一段话,中文的 token 数往往比英文多,这在按 token 计费的场景里,就等价于「中文更费钱」。所以你跟模型聊得越多、写得越啰嗦,token 跑得越快,账单也跟着跳。咱做内容、做客服的,这块成本真不能无视,积少成多挺吓人,月底对账时容易傻眼。同样的预算,会省的人能多干一倍活,这差距是实打实的。

说个算账的真事儿

之前帮一个客户搭自动回复,初版他把整本产品手册每次都整篇塞给模型,跑一个月发现费用高得离谱,老板差点把项目砍了。后来改成「先摘要、按需取段落」,token 直接砍掉一大半,效果反而更准,因为模型不用在噪音里找重点。你看,同样的活儿,会不会用 token 思维,成本能差出好几倍。这事儿告诉我们:喂得聪明,比喂得猛重要,力气要使对地方,不然白忙活一场还烧钱。

token 跟「上下文窗口」是绑定的

模型一次能「记住」的量是按 token 算的,不是按字数。你前面聊了五千字,模型不是记五千个汉字,是记对应的那一大堆 token。一旦总 token 超过了它的上限,最早的内容就得被「挤出去」。这就是为什么长对话聊久了,它会忘了你开头说了啥。你以为它记性不好,其实是它的「办公桌」被塞满了,只能先扔旧的,属于物理限制,急也没用。想让它记住,就得会腾地方,别啥都往里堆。

咱们怎么省着用

省 token 不是抠门,是让每一次调用都更值。几招拿去用:

  • 少灌水:把背景一次说清,比翻来覆去啰嗦省 token,模型也少误解。
  • 长文档先摘要再问,别整篇往里怼,先喂精华它才消化得了。
  • 不需要的历史,开新会话,别让旧 token 占着位、还拖慢速度。
  • 重复用的系统设定尽量精简,别每轮都原样重发一遍。

这几条养成习惯,长期下来省下的可不是小数目,尤其量大了以后。

一句大实话

懂了 token,你就明白 AI 不是「按句算账」,而是「按积木算账」。把它当精打细算的伙计,喂得准、废话少,它既快又省;你一通乱塞,它累你也贵。这玩意儿,懂点门道真能省真金白银,做业务的尤其该中意这条,毕竟省下来的都是利润,老板看了都高兴。

相关文章

思维链是什么?让 AI 一步步想,答案更靠谱

思维链是什么?让 AI 一步步想,答案更靠谱

让 AI 直接给答案,有时会出错;但如果你让它"一步步思考",结果往往更准。这背后的方法叫思维链(Chain of Thought)。本文解释它是什么、为什么有效,以及日常提问时怎么用。…

过拟合是什么?为什么模型考试满分却实战翻车

过拟合是什么?为什么模型考试满分却实战翻车

训练 AI 很像备考:刷的题越偏越怪,考试分数可能越高,但真上考场就懵。过拟合说的就是模型把训练题“背”得太死,碰到没见过的新情况反而答错。这篇文章用“背题”和“学规律”的区别,讲清过拟合是什么、怎么…

AI 是怎么看懂一张照片的?一文看懂卷积神经网络

AI 是怎么看懂一张照片的?一文看懂卷积神经网络

你上传一张猫的照片,AI 立刻认出是猫;拍一张街景,软件分出车道和行人。可计算机最初只看到一堆像素点。卷积神经网络(CNN)就是让 AI 学会“看”的关键结构,它像用放大镜在图上滑动、提取边缘和纹理,…

梯度下降是什么?模型靠不断试错找到最优解

梯度下降是什么?模型靠不断试错找到最优解

训练一个 AI 模型,本质是解一道没有标准答案的难题:怎么调那几十亿个参数,让模型的预测最接近真实?梯度下降就是工程师手里最常用的“导航仪”——它不要求一步到位,而是每次朝“让错误变小”的方向挪一小步…

正则化是什么?给模型上道「紧箍咒」防它背答案

正则化是什么?给模型上道「紧箍咒」防它背答案

模型在训练集上考满分、一上实战就翻车,多半是「记」而不是「学」。正则化就是给这种死记硬背加一道约束,逼模型抓住更通用的规律。本文用减肥和控制开销的比喻,讲清 L2、Dropout 等手段怎么帮模型「减…

循环神经网络是什么?让 AI 把「前文」记在心上

循环神经网络是什么?让 AI 把「前文」记在心上

普通神经网络看一句话,是一个字一个字孤立地看,看完上句就忘了下句。循环神经网络(RNN)给模型加了「记忆」,让信息能顺着顺序流动。本文用带笔记本的阅卷人和接力传话的比喻,讲清 RNN 怎么处理时间序列…

批归一化是什么?深度学习训练为什么要先把每层摆正

批归一化是什么?深度学习训练为什么要先把每层摆正

训练神经网络时有个隐蔽麻烦:前面层一变,后面层输入的分布就跟着飘,模型得不断重新适应,学得慢又抖。批归一化的解法是,在每个小批次里把层的输入「摆正」——均值拉到 0、方差归到 1。本文用军训排队和恒温…

推荐系统是什么?App 怎么越用越懂你、猜中你喜好

推荐系统是什么?App 怎么越用越懂你、猜中你喜好

打开购物、短视频、音乐 App,它总能精准推你爱看的那一口——这背后站着推荐系统。它不像人靠直觉,而是拿你点过、跳过、买过的痕迹当线索,给人和内容两边打分配对。本文用红娘和书架的比喻,讲清它怎么从你的…