大语言模型到底是什么?把 ChatGPT 的那点家底扒一扒

先说清楚:它不是人,也不是搜索引擎
咱先把话撂这儿:大语言模型说白了就是段程序,跑在服务器上的代码,没心没肺、不困也不饿。它跟人最大的不同,是它根本不「理解」你说的啥,只是在算接下来最该蹦哪个字。它也不是搜索引擎——搜索是去库里翻现成答案,它是当场一个字一个字现编。你问它今天天气咋样,它真不知道,因为它没联网没眼睛,只会顺着你的问题吐出像那么回事的一串字。把这点认准了,后面才好唠。
肚子里装的啥:一堆数字,不是「知识库」
那它凭啥能聊?秘密全在「参数」俩字上。训练时,它把海量文字嚼碎,变成几百亿甚至上万亿个数字——这些数就是它的「脑子」,存的是字词之间怎么连、怎么接的「经验」,不是一本本背下来的百科全书。打个比方,它不像你脑子里存了「北京是首都」这条知识,而是记下了「北京」这词老跟「首都」「长城」「烤鸭」挨着出现。所以你问它冷门实事,它容易一本正经地编——因为那是概率拼出来的,不是查到的。
它怎么「接话」:一个字一个字往外蹦
你发一句话过去,它干的事特简单也特笨:看完你所有的字,算下一个最该出现的字是啥,蹦出来;再把这新字接在尾巴上,算再下一个;就这么一个字接一个字,直到觉得该停了。这活儿叫「生成」,本质是接龙。所以它说话有时会越聊越偏、自己绕进去,因为每步都只看「眼前概率最大」,不回头管整体通不通。就像接龙游戏,前头接顺了,后头也容易接瓢了。
训练分两步:先通读,再跟人学好坏
它这套本事不是天生的,得练。第一步叫「预训练」:把网上能扒的公开文字一股脑喂进去,让它先摸透语言这锅汤的滋味,学会「像人话」。第二步叫「对齐」:人拿一堆问答教它——这么问该这么答、那么说不合适,把它的嘴往「有用、不冒犯」上掰。前面聊过的 RLHF 就是这步的一种。两步下来,它才既会说人话、又大致懂分寸。缺了第二步,它嘴更野、更容易胡咧。
它真有「脑子」吗:聪明是概率,不是理解
说句扎心的:它现在的「聪明」,是概率堆出来的,不是真懂。你问「一斤棉花和一斤铁谁重」,它大概率答对,不是因为它懂物理,是因为这题网上被讲烂了、它见多了。你换道拐弯的、网上少见的,它就容易露怯、开始编。所以它像是背了海量例子的「老油条」,见过的稳、没见过的慌。这点分寸得拿住:它能帮你起草、总结、翻译,但拿它当真理源,容易翻车。
别把它当神仙:能干啥、干不了啥
咱用它的姿势得摆正。它能干的:写个初稿、理个思路、翻个语言、陪你头脑风暴,省你一堆机械活儿。它干不利的:给你确诊病情、替你做投资决定、当法律依据——这些它一不懂二不负责,瞎编你还发现不了。所以老哥我一句话:把它当趁手的笔、不累的助手,别当会算命的神仙。用得明白,它香;供起来,迟早呛水。








