当前位置:首页 > AI科普

训练、微调、推理:大模型从学会到上岗的三步

xinhack3周前 (10-18)AI科普62

训练、微调、推理:大模型从学会到上岗的三步 AI科普

三个阶段,像人从上学到工作

把大模型想象成一个要入职的毕业生:先上大学广泛打基础(预训练),再参加岗前培训学具体业务(微调),最后真正坐班为你服务(推理)。三个阶段花费差别巨大,目的也完全不同,混为一谈就容易误解 AI 的成本和能力。预训练是造地基,微调和推理是在地基上盖楼、住人。看懂这条链路,你就不会再把"训练"两个字当成一件简单的小事,也不会被"我们重新训练了一个模型"这种话轻易吓住。

预训练:先广泛地读

预训练是第一步,也是花钱最多的一步。厂商把几乎整个互联网的文本喂给模型,让它学会语言的规律、基本常识和世界知识。这一步跑一次要几周、耗电惊人,产出的叫"基础模型"。它啥都懂一点,但还没学会怎么好好听人话、按格式答,像一个博览群书却没入职的社会人。基础模型是公共起点,之后各家才在此之上各显神通,有的做对话,有的做代码,方向就此分叉。

微调:教它具体怎么答

基础模型像刚毕业的通才,微调则是岗前培训。用精心准备的一问一答数据,教它"用户这么问,你应该那么回",甚至植入安全底线。这一步数据量小得多,费用也低,很多公司就是在现成基础模型上做微调,做出自己的专属模型。比如客服模型,就靠微调学会了本公司的产品话术和礼貌用语,摇身一变成了"自己人"。微调让通用模型落地到具体场景,是大多数企业真正用得上的一步。

推理:真正为你干活

推理是你 everyday 用 AI 的阶段:你提问,模型现场计算并吐出回答。它不改动内部参数,只是"调用"已经学到的能力。你每次聊天、每次生成,都是在触发一次推理。这一步按量计费,也是普通用户唯一直接买单的环节。你花的每一分钱,买的都是这一刻的"临场发挥",而不是重新训练一个模型。推理越快越便宜,AI 才越能走进日常、随时为你所用。

为什么区分它们有用

知道了三段论,你就明白:参数的"聪明"主要在预训练,而你能调的体验多在微调。要省钱,别碰预训练;要做专属助手,微调比重新训练现实得多。理解这三点,再看厂商宣传就不容易被带跑,也不会被"我们自研大模型"这类话轻易唬住。开口问一句"是在基础模型上微调的吗",往往就能看清成色,也更能判断它值不值那个价。一句话记住:预训练打底,微调定型,推理上岗——这三步,就是大模型从数据到服务的全部旅程。

相关文章

参数是什么?藏在 AI 大脑里的几千亿个数字

参数是什么?藏在 AI 大脑里的几千亿个数字

常听人说某个大模型有几千亿参数,参数到底是什么?这篇文章用最直白的方式解释大模型里的参数,它们是怎么来的、是不是越多越聪明,以及普通用户到底需不需要关心这个数字。…

什么是检索增强(RAG)?让 AI 先翻书再开口

什么是检索增强(RAG)?让 AI 先翻书再开口

大模型知识有截止日期,还容易凭空编。检索增强生成(RAG)的做法是:回答前先去资料库里查一番,再结合原文作答。本文讲清 RAG 是什么、怎么运转,以及它适合解决哪类问题。…

知识蒸馏是什么?大模型怎么把本事传给小模型

知识蒸馏是什么?大模型怎么把本事传给小模型

大模型的本事强,但太重,跑不动在手机上;小模型轻,但没那么聪明。知识蒸馏像“师傅带徒弟”:让大模型一边答题一边把思路教给小模型,小模型不用重头学,也能学到七八成本事。这篇文章用师徒关系讲清蒸馏的原理和…

涌现能力是什么?小模型不会、大模型突然会

涌现能力是什么?小模型不会、大模型突然会

有些能力很奇怪:模型小的时候完全没有,参数涨到一定规模,突然就会了——像攒够了人数才会涌现的“人浪”。这种“量变到质变”叫涌现能力(Emergence)。这篇文章用“凑人数”和“水温烧开”两个比喻,讲…

AI 是怎么看懂一张照片的?一文看懂卷积神经网络

AI 是怎么看懂一张照片的?一文看懂卷积神经网络

你上传一张猫的照片,AI 立刻认出是猫;拍一张街景,软件分出车道和行人。可计算机最初只看到一堆像素点。卷积神经网络(CNN)就是让 AI 学会“看”的关键结构,它像用放大镜在图上滑动、提取边缘和纹理,…

数据标注是什么?AI 背后的“人工”功课由谁打标

数据标注是什么?AI 背后的“人工”功课由谁打标

我们总说 AI 靠数据训练,却很少问:那些训练用的“标准答案”是谁写的?很大一部分来自数据标注——真人一条条给图片打框、给文本分类、给语音转写。没有这层笨功夫,很多模型根本学不会。这篇文章用“给老师批…

激活函数是什么?为什么 AI 需要「非线性」这道弯

激活函数是什么?为什么 AI 需要「非线性」这道弯

神经网络靠一层层加权求和做判断,但如果只做加减乘除,它永远只能画直线。激活函数就是给网络加上的'非线性开关',让 AI 能拟合曲线、分辨复杂图案。本文用开关和闸口的比喻,讲清它为什么不可或缺,以及选它…

反向传播是什么?神经网络的错误怎么一层层传回去

反向传播是什么?神经网络的错误怎么一层层传回去

模型做错题,错的不只是最后一层。反向传播就是把「总错误」沿着网络一层层往回分,算出每个权重该为这次失误负多少责。本文用传话出错追责和工厂返工的比喻,讲清这个让深度学习得以训练的核心算法,以及它为什么能…