当前位置:首页 > AI科普

大语言模型到底是什么?把 ChatGPT 的那点家底扒一扒

xinhack1周前 (11-02)AI科普20

大语言模型到底是什么?把 ChatGPT 的那点家底扒一扒 AI科普

先说清楚:它不是人,也不是搜索引擎

咱先把话撂这儿:大语言模型说白了就是段程序,跑在服务器上的代码,没心没肺、不困也不饿。它跟人最大的不同,是它根本不「理解」你说的啥,只是在算接下来最该蹦哪个字。它也不是搜索引擎——搜索是去库里翻现成答案,它是当场一个字一个字现编。你问它今天天气咋样,它真不知道,因为它没联网没眼睛,只会顺着你的问题吐出像那么回事的一串字。把这点认准了,后面才好唠。

肚子里装的啥:一堆数字,不是「知识库」

那它凭啥能聊?秘密全在「参数」俩字上。训练时,它把海量文字嚼碎,变成几百亿甚至上万亿个数字——这些数就是它的「脑子」,存的是字词之间怎么连、怎么接的「经验」,不是一本本背下来的百科全书。打个比方,它不像你脑子里存了「北京是首都」这条知识,而是记下了「北京」这词老跟「首都」「长城」「烤鸭」挨着出现。所以你问它冷门实事,它容易一本正经地编——因为那是概率拼出来的,不是查到的。

它怎么「接话」:一个字一个字往外蹦

你发一句话过去,它干的事特简单也特笨:看完你所有的字,算下一个最该出现的字是啥,蹦出来;再把这新字接在尾巴上,算再下一个;就这么一个字接一个字,直到觉得该停了。这活儿叫「生成」,本质是接龙。所以它说话有时会越聊越偏、自己绕进去,因为每步都只看「眼前概率最大」,不回头管整体通不通。就像接龙游戏,前头接顺了,后头也容易接瓢了。

训练分两步:先通读,再跟人学好坏

它这套本事不是天生的,得练。第一步叫「预训练」:把网上能扒的公开文字一股脑喂进去,让它先摸透语言这锅汤的滋味,学会「像人话」。第二步叫「对齐」:人拿一堆问答教它——这么问该这么答、那么说不合适,把它的嘴往「有用、不冒犯」上掰。前面聊过的 RLHF 就是这步的一种。两步下来,它才既会说人话、又大致懂分寸。缺了第二步,它嘴更野、更容易胡咧。

它真有「脑子」吗:聪明是概率,不是理解

说句扎心的:它现在的「聪明」,是概率堆出来的,不是真懂。你问「一斤棉花和一斤铁谁重」,它大概率答对,不是因为它懂物理,是因为这题网上被讲烂了、它见多了。你换道拐弯的、网上少见的,它就容易露怯、开始编。所以它像是背了海量例子的「老油条」,见过的稳、没见过的慌。这点分寸得拿住:它能帮你起草、总结、翻译,但拿它当真理源,容易翻车。

别把它当神仙:能干啥、干不了啥

咱用它的姿势得摆正。它能干的:写个初稿、理个思路、翻个语言、陪你头脑风暴,省你一堆机械活儿。它干不利的:给你确诊病情、替你做投资决定、当法律依据——这些它一不懂二不负责,瞎编你还发现不了。所以老哥我一句话:把它当趁手的笔、不累的助手,别当会算命的神仙。用得明白,它香;供起来,迟早呛水。

相关文章

什么是多模态?AI 怎么同时看懂文字、图片和声音

什么是多模态?AI 怎么同时看懂文字、图片和声音

文字、图片、声音、视频,在我们眼里是同一种信息,对电脑却曾是三座孤岛。多模态模型正试图把它们打通。本文解释多模态是什么、它如何把不同信息放进同一个理解框架,以及普通人能用它做什么。…

什么是对齐?怎么让人工智能学会该做与不该做

什么是对齐?怎么让人工智能学会该做与不该做

一个模型再聪明,如果分不清“能不能做”和“该不该做”,也靠不住。对齐(Alignment)就是让 AI 的目标和人类的价值一致——不仅要答得对,还要答得合适、安全、守边界。这篇文章用“教孩子规矩”的比…

涌现能力是什么?小模型不会、大模型突然会

涌现能力是什么?小模型不会、大模型突然会

有些能力很奇怪:模型小的时候完全没有,参数涨到一定规模,突然就会了——像攒够了人数才会涌现的“人浪”。这种“量变到质变”叫涌现能力(Emergence)。这篇文章用“凑人数”和“水温烧开”两个比喻,讲…

损失函数是什么?模型靠什么知道自己错了多少

损失函数是什么?模型靠什么知道自己错了多少

模型训练的过程,其实就是不断「减小错误」的过程。损失函数就是那把丈量错误的尺子:它把模型的预测和真实答案之间的差距,算成一个具体的数字。本文用考试扣分和温度计的比喻,讲清损失函数怎样指挥训练往正确的方…

准确率、精确率、召回率:模型到底好不好,看哪个数

准确率、精确率、召回率:模型到底好不好,看哪个数

说一个模型「准」,到底准在哪?准确率、精确率、召回率看着都像「正确率」,关心的却不是同一件事。本文用体检和考试查漏的比喻,讲清三个指标各自的盲区,帮你读懂一份模型评测,以及面对一份评测报告时,该先盯住…

循环神经网络是什么?让 AI 把「前文」记在心上

循环神经网络是什么?让 AI 把「前文」记在心上

普通神经网络看一句话,是一个字一个字孤立地看,看完上句就忘了下句。循环神经网络(RNN)给模型加了「记忆」,让信息能顺着顺序流动。本文用带笔记本的阅卷人和接力传话的比喻,讲清 RNN 怎么处理时间序列…

生成对抗网络是什么?造假者与鉴别者的猫鼠游戏

生成对抗网络是什么?造假者与鉴别者的猫鼠游戏

大多数模型在「判断」,生成对抗网络(GAN)却另辟蹊径地「创造」——它能凭空画出人脸、生成逼真照片。诀窍是让两个模型互相较劲:一个拼命造假,一个拼命打假。本文用假币与验钞的比喻,讲清这场猫鼠游戏怎么把…

提示工程是什么?怎么跟 AI 把话说清楚它才懂你

提示工程是什么?怎么跟 AI 把话说清楚它才懂你

同样问 AI,有人得到满分答案,有人拿到一堆废话——差 often 就在「怎么问」。提示工程就是研究怎么把话说明白、把任务框清楚,让模型少跑偏。本文用写需求文档和给实习生派活的比喻,讲清几个普通人马上…