当前位置:首页 > AI科普

「Softmax 是啥?AI 怎么把心里没底变成百分比」

xinhack2天前AI科普15

「Softmax 是啥?AI 怎么把心里没底变成百分比」 AI科普

一句话先说清楚:Softmax 干的就是算百分比这件小事

你问 AI 一个问题,它其实先在心里给每个可能的答案打了个分。分有高有低,但光看分数你不知道它有多笃定。Softmax 干的事特别朴素,把这一串分整理成一组加起来正好百分之百的概率。谁分高,谁的概率就大,一目了然。米岸AI 平时写科普就图这个,把绕来绕去的东西拽回地面说人话。要说它重要在哪儿,就是你每次看到 AI 说我有几成把握,那数字八成就是它算出来的,懂了它你才不会被一个百分比牵着鼻子走。

这些分数本来是从哪来的

大模型最后一层会吐出一组数字,行话叫 logits,你就当是它对每个候选的倾向值。比如让模型从猫、狗、猪里挑一个,它可能给猫打三点二、狗打一点一、猪打零点四。这还只是倾向,不是概率,分高不代表概率就高,得归一化才作数。同一个问题换种问法,这组分数也会变,所以它是临场发挥的结果,不是什么固定答案。理解了这点,你就不会把模型的分数当成客观真理,它只是那一刻的偏好。

归一化听着玄乎,其实就是按总分重新分蛋糕

Softmax 的活儿分三步。第一步,给每个分数套个指数函数,也就是 e 的 x 次方,把负数也变正数、把差距拉大。第二步,把变完的数全加起来得到总和。第三步,每个数都除以总和。出来的结果全是正数,加起来正好一,也就是百分之百。这就像三个人分一块蛋糕,先按各自胃口把想吃多少放大,再按总胃口来切,谁想吃得多谁就拿大块。最后每块占总量的比例,就是它对应的概率,既好看又公平。

为啥非得用指数,不能直接除总分

直接除总分也行,那叫 softmax 的穷亲戚,平均归一化。但大模型的毛病是分数差距可能很小,直接除看不出谁更占优。指数一上,差距被放大,模型更确信的那个答案概率会明显冒头。要我说,这跟人投票一个理,平票看不出民意,差距拉大才显出谁是多数派。当然指数也有副作用,本来差不多的两个分数,过完指数可能一个九成、一个一成,看着比实际更笃定,这叫过度自信,模型常犯的毛病。

生活里它藏在哪儿

你看到的 AI 置信度百分之八十七,背后十有八九是 Softmax。翻译软件给的多个候选、识图 App 说这是猫百分之九十五,全是它干的活。它不参与思考,只负责把思考结果翻译成人能读的百分比。所以别被九十九 percent 吓着,那只是模型自己觉得稳,不代表一定对。真要用它做决定,还得看你自己的判断,别把模型的百分比当成圣旨,它只是个参考值。

常见问题

问:Softmax 能用在二选一吗?

答:能,但二分类一般用更简单的 sigmoid,省一步。Softmax 是给多选一并列排名准备的,选项越多它越顺手,二选一用它有点杀鸡用牛刀。

问:概率高就等于答案对吗?

答:不一定。Softmax 只负责把分数变概率,分数本身可能就是模型算岔了。高置信度遇上错误答案,行内叫过自信,老毛病了,看结果别只看概率。

问:指数为啥会把差距放大?

答:因为 e 的 x 次方增长快,三点二比一点一大的那点差距,过完指数能拉开好几倍,模型于是更敢押分高的那个,信心被放大了。

问:米岸AI 为啥总拿它举例子?

答:因为它把模型的犹豫变成了普通人能懂的百分比,是科普 AI 决策最顺手的一扇窗户,搞懂它再看 AI 给的把握就有谱了。

本文由米岸AI整理。

相关文章

迁移学习是什么?让 AI 把在一个领域学的本事用在新地方

迁移学习是什么?让 AI 把在一个领域学的本事用在新地方

人学会骑自行车后,再学骑电动车会快很多——因为平衡感这类“底层能力”是通用的。AI 也有类似本事,叫迁移学习:把模型在任务 A 上练出的基础能力,搬去帮任务 B 上手。它让小数据也能训练出好模型。这篇…

激活函数是什么?为什么 AI 需要「非线性」这道弯

激活函数是什么?为什么 AI 需要「非线性」这道弯

神经网络靠一层层加权求和做判断,但如果只做加减乘除,它永远只能画直线。激活函数就是给网络加上的'非线性开关',让 AI 能拟合曲线、分辨复杂图案。本文用开关和闸口的比喻,讲清它为什么不可或缺,以及选它…

反向传播是什么?神经网络的错误怎么一层层传回去

反向传播是什么?神经网络的错误怎么一层层传回去

模型做错题,错的不只是最后一层。反向传播就是把「总错误」沿着网络一层层往回分,算出每个权重该为这次失误负多少责。本文用传话出错追责和工厂返工的比喻,讲清这个让深度学习得以训练的核心算法,以及它为什么能…

预训练是什么?大模型上岗前先读的「万卷书」

预训练是什么?大模型上岗前先读的「万卷书」

我们常说大模型「见多识广」,它的见识来自一个叫预训练的阶段:在正式干活前,先用海量文本自己琢磨语言规律。本文用通识教育和入职培训的比喻,讲清预训练到底是什么,以及它和微调、推理各司何职。读完你会明白大…

正则化是什么?给模型上道「紧箍咒」防它背答案

正则化是什么?给模型上道「紧箍咒」防它背答案

模型在训练集上考满分、一上实战就翻车,多半是「记」而不是「学」。正则化就是给这种死记硬背加一道约束,逼模型抓住更通用的规律。本文用减肥和控制开销的比喻,讲清 L2、Dropout 等手段怎么帮模型「减…

决策树与随机森林:AI 是怎么一层层「分而治之」做判断的

决策树与随机森林:AI 是怎么一层层「分而治之」做判断的

不是所有 AI 都靠神经网络。决策树用一连串「是或否」的问题就把复杂判断拆解清楚,随机森林再把很多棵树凑一起投票。本文用银行放贷和聚会分桌的比喻,讲清这套直观又稳健的经典算法,以及它为什么至今仍被广泛…

聚类是什么?AI 怎么把相似的东西自动「归成一堆」

聚类是什么?AI 怎么把相似的东西自动「归成一堆」

前面聊的很多模型都要先有标签才能学,聚类却反着来:不给任何答案,只丢一堆杂乱数据,让 AI 自己把相似的分到一组。本文用聚会自动分桌和整理衣柜的比喻,讲清 K-Means 怎么运作、簇数怎么定,以及它…

残差连接是什么?神经网络为什么能堆到上百层还不崩

残差连接是什么?神经网络为什么能堆到上百层还不崩

把神经网络层数堆深,本想学得更精细,可早年一加深就反而变差——不是算力不够,是信息传不下去。残差连接给了个极简解法:给数据开一条「直通车」,让它跳过几层直接往后传。本文用走楼梯和坐电梯的比喻,讲清这招…