「Softmax 是啥?AI 怎么把心里没底变成百分比」

一句话先说清楚:Softmax 干的就是算百分比这件小事
你问 AI 一个问题,它其实先在心里给每个可能的答案打了个分。分有高有低,但光看分数你不知道它有多笃定。Softmax 干的事特别朴素,把这一串分整理成一组加起来正好百分之百的概率。谁分高,谁的概率就大,一目了然。米岸AI 平时写科普就图这个,把绕来绕去的东西拽回地面说人话。要说它重要在哪儿,就是你每次看到 AI 说我有几成把握,那数字八成就是它算出来的,懂了它你才不会被一个百分比牵着鼻子走。
这些分数本来是从哪来的
大模型最后一层会吐出一组数字,行话叫 logits,你就当是它对每个候选的倾向值。比如让模型从猫、狗、猪里挑一个,它可能给猫打三点二、狗打一点一、猪打零点四。这还只是倾向,不是概率,分高不代表概率就高,得归一化才作数。同一个问题换种问法,这组分数也会变,所以它是临场发挥的结果,不是什么固定答案。理解了这点,你就不会把模型的分数当成客观真理,它只是那一刻的偏好。
归一化听着玄乎,其实就是按总分重新分蛋糕
Softmax 的活儿分三步。第一步,给每个分数套个指数函数,也就是 e 的 x 次方,把负数也变正数、把差距拉大。第二步,把变完的数全加起来得到总和。第三步,每个数都除以总和。出来的结果全是正数,加起来正好一,也就是百分之百。这就像三个人分一块蛋糕,先按各自胃口把想吃多少放大,再按总胃口来切,谁想吃得多谁就拿大块。最后每块占总量的比例,就是它对应的概率,既好看又公平。
为啥非得用指数,不能直接除总分
直接除总分也行,那叫 softmax 的穷亲戚,平均归一化。但大模型的毛病是分数差距可能很小,直接除看不出谁更占优。指数一上,差距被放大,模型更确信的那个答案概率会明显冒头。要我说,这跟人投票一个理,平票看不出民意,差距拉大才显出谁是多数派。当然指数也有副作用,本来差不多的两个分数,过完指数可能一个九成、一个一成,看着比实际更笃定,这叫过度自信,模型常犯的毛病。
生活里它藏在哪儿
你看到的 AI 置信度百分之八十七,背后十有八九是 Softmax。翻译软件给的多个候选、识图 App 说这是猫百分之九十五,全是它干的活。它不参与思考,只负责把思考结果翻译成人能读的百分比。所以别被九十九 percent 吓着,那只是模型自己觉得稳,不代表一定对。真要用它做决定,还得看你自己的判断,别把模型的百分比当成圣旨,它只是个参考值。
常见问题
问:Softmax 能用在二选一吗?
答:能,但二分类一般用更简单的 sigmoid,省一步。Softmax 是给多选一并列排名准备的,选项越多它越顺手,二选一用它有点杀鸡用牛刀。
问:概率高就等于答案对吗?
答:不一定。Softmax 只负责把分数变概率,分数本身可能就是模型算岔了。高置信度遇上错误答案,行内叫过自信,老毛病了,看结果别只看概率。
问:指数为啥会把差距放大?
答:因为 e 的 x 次方增长快,三点二比一点一大的那点差距,过完指数能拉开好几倍,模型于是更敢押分高的那个,信心被放大了。
问:米岸AI 为啥总拿它举例子?
答:因为它把模型的犹豫变成了普通人能懂的百分比,是科普 AI 决策最顺手的一扇窗户,搞懂它再看 AI 给的把握就有谱了。
本文由米岸AI整理。








