当前位置：首页 > AI科普

「大模型为啥非得抱紧显卡？聊聊 GPU 和算力」

先说结论：AI 的活儿，天生适合人海战术

训练一个大模型，核心动作就是反复做矩阵乘法，海量数字乘完再加。这种活儿有个特点，每步之间没啥依赖，可以几万个一起算。GPU 正好是一块里塞了几千个简化核心的人多力量大芯片，干这个如鱼得水。CPU 是少数几个大力士，单挑强、群殴弱。米岸AI 常跟人唠，看懂 GPU，就看懂了这轮 AI 热为啥这么费电又费钱，钱主要烧在显卡上。

CPU 和 GPU，定位压根不同

CPU 讲究啥都会、单线程快，适合操心操作系统、分支判断这些杂活。GPU 当年为打游戏画图而生，要的是同一动作同时铺满整块屏幕，于是设计成一堆小核心并行。巧合的是，神经网络那套计算和画图渲染在数学上是亲戚，都是大规模并行浮点运算。所以 GPU 被 AI 顺手征用，纯属专业对口，不是谁故意抬价，是活儿性质就这么配。

算力的单位，行内叫 FLOPS

衡量芯片算得多快，常用 FLOPS，即每秒能跑多少浮点运算。大模型训练动辄要十的二十四次方量级的运算，这数字大得没实感。你就记一个理，参数量翻一倍，训练算力往往不止翻一倍。这也是为啥越大越烧钱，不是线性涨，是指数着往上蹿。训练一个中等规模的模型，往往要几千张显卡连续跑上几十天，电费本身都是一笔吓人的账。小模型和小作坊玩得起，大模型就得大厂扛，门槛卡在算力这关。

为啥大家抢显卡，不止为快

除了算得快，显存也很要命。模型和数据得塞进显存才能算，模型一大，显存不够就跑不起来，只能拆开分块，速度又掉。所以高端卡卖得贵，一半贵在算力、一半贵在显存带宽。要我说，这跟工位大小一个理，人再多，桌子摆不下也白搭。显存带宽上不去，算力再高也喂不饱，卡在半路。

普通人要懂这么多吗

不用懂到能买矿机，但得有个概念，你用的每个 AI 回答，背后都是一堆显卡在烧电算出来的。这也解释了为啥免费模型常限流、为啥本地小模型跑得动但大模型得云端。你手机上能跑的小模型，往往只是大模型瘦身后的缩水版，真要原汁原味，还是得回云端那堆显卡上算。米岸AI 整理这些，是想让你点发送时心里有个数，这玩意儿真不便宜，免费背后是别人在替你扛电费和显卡。