预训练是什么？大模型上岗前先读的「万卷书」
上岗之前，先读完"万卷书"
一个能用的大模型，往往先经历一段漫长的预训练：用成千上万本书、网页、代码堆出来的语料，让它自己读、自己琢磨"词和词之间到底怎么连"。这个阶段不针对任何具体任务，目的只有一个——把人类语言和世界知识的基本规律，先装进模型的参数里。可以理解为，正式上班前先完成了通识教育。
一个比方：通识教育 vs 入职培训
预训练像大学里的通识课：不教你具体怎么卖冷面，但让你识字、懂逻辑、知道世界大概长什么样。等进了公司，再靠微调（入职培训）学具体业务。区别在于，通识阶段吃的是"海量且无特定目标"的数据，成本低、一次练就底子；后面的微调才是小灶，针对某一摊事精修。大模型之所以"啥都能聊两句"，底子就在预训练。
自监督：没有老师也能学
预训练最妙的地方在于"自监督"。海量的书和网络文本本身就是答案库，模型可以玩"完形填空"——遮住一句话里的某个词，让自己猜，再拿原文核对。这种任务不需要人工标注，数据取之不尽，模型就在一次次猜词、改错中，悄悄学会了语法、常识甚至一些推理。预训练的海量，正是由这种"自己考自己"撑起来的。
预训练、微调、推理，各管一段
三者别混为一谈：预训练打底子，吃最多算力和数据；微调在底子上接具体任务，用的数据少得多；推理是训练完之后你真正和它对话的阶段，这时参数基本不动，只是用。很多公司不从头预训练，而是直接拿别人预训练好的模型做微调，正是因为这第一步最烧钱、最吃数据。
预训练的代价与边界
预训练不是越狠越好。它极耗算力，也把训练数据里的偏见、错误一并"背"进了模型；更关键的是，预训练得到的是通才，遇到高度专业、数据稀缺的活儿，光靠它并不够，还得靠后面的微调和检索补位。今天所谓"基础模型"，指的就是预训练完成、等待被定制的这个通用底座。
小结
预训练是大模型成形的第一步：用海量无标注文本，通过"自己考自己"的方式，把语言与世界的通识压进参数。它是通识教育，不是职业培训；是烧钱打底子，不是精修具体活。理解了预训练，你就能分清——为什么模型"什么都懂一点"，却又"未必懂你的行内事"。所以当你感叹某个大模型"什么都知道一点"时，要清楚它的底子来自预训练，短板也来自预训练——它读得多，但不一定读得对、读得新。真正的专业活，还得靠后面的微调和你的追问来补。预训练给了通识，专业靠后续，这是今天用大模型的基本心智。
