当前位置:首页 > AI科普

近朱者赤近墨者黑?聊聊 K 近邻怎么靠邻居认人

xinhack1周前 (11-02)AI科普27

近朱者赤近墨者黑?聊聊 K 近邻怎么靠邻居认人 AI科普

它懒得出奇:不背公式,来了现翻邻居

大多数模型训练时吭哧吭哧学一堆参数,K 近邻偏不——它训练时几乎啥也不干,就是把所有已知样本往心里一存,完事。等来了新样本要分类,它才现翻:在记忆里找出离这个新样本最近的 K 个老邻居,看这 K 个里哪类人多,就判新样本归哪类。所以它外号「惰性学习」——平时躺平,用时再动。像极了考试不复习、临场看同桌答案的主儿,但架不住它简单好使。

核心就一句:近朱者赤,近墨者黑

它整套逻辑建立在那个朴素的理儿上:一个东西是啥,看它身边最常来往的是哪路人。你新搬来一个小区,要判断这片区啥档次,看周围邻居的车和房就心里有数了——K 近邻干的就是这个。它默认「距离近等于性质像」,所以新样本被它的老邻居们投票决定了身份。这思路人类天天在用,模型不过是把它写成了数学,拿距离当「关系亲疏」的尺子。

K 这个数:取小了敏感,取大了稳但糊

那个 K 是它唯一要调的旋钮,挺有讲究。K 取 1,就是「唯最近邻居马首是瞻」,太敏感,赶上那个邻居正好是个特例、是个噪声点,你就被带沟里了。K 取太大,比如等于总样本数,那投票结果老被最多的那类霸屏,啥新样本都判成同一类,等于没分。所以 K 一般取个不大不小的奇数,既能抗住个别怪样本,又不至于把区别都抹平——这也是老炮调参的第一课。

距离咋算:尺子不一样,邻居不一样

找邻居得有把尺。最常用的是「欧氏距离」,就是两点间的直线长短,跟咱说的最小直线距离一个理。但尺子一换,邻居可能就变:有的特征数值天生大,比如收入动辄几万,会把距离计算完全带偏,所以得先把数据「归一化」,让各特征一个量纲再比。还有的场景用「曼哈顿距离」,算的是横竖格子步数。尺子选错,找出的邻居就驴唇不对马嘴,结果自然歪。

它好在哪儿:简单、不挑食、还能解释

K 近邻招人喜欢,首先因为好懂好写,不用训练一大堆参数,新手也能上手。其次它不挑食,数据啥分布都接,线性非线性都行。最妙的是它能解释——你问它为啥判这个类,它直接把那 K 个邻居亮出来:「你看,离它最近这几个都是这类,所以归它」。这「拿证据说话」的劲儿,在要可解释性的场景挺吃香,不像某些黑盒模型只给个冷冰冰的结论。

怂在哪儿:数据一大就腿软

但别被它的简单迷了眼。它最大的软肋是「慢且费」:每来一个新样本,都得跟记忆里所有老样本比一遍距离,样本一多、特征一多,算得你脑仁疼,这叫「预测成本高」。而且它对所有特征一视同仁,垃圾特征混进来也照样干扰。所以它适合中小规模、特征不太多的问题;真上了百万级大数据,老炮一般就换别的更快的模型了,把它当个基准对照使。

相关文章

什么是对齐?怎么让人工智能学会该做与不该做

什么是对齐?怎么让人工智能学会该做与不该做

一个模型再聪明,如果分不清“能不能做”和“该不该做”,也靠不住。对齐(Alignment)就是让 AI 的目标和人类的价值一致——不仅要答得对,还要答得合适、安全、守边界。这篇文章用“教孩子规矩”的比…

准确率、精确率、召回率:模型到底好不好,看哪个数

准确率、精确率、召回率:模型到底好不好,看哪个数

说一个模型「准」,到底准在哪?准确率、精确率、召回率看着都像「正确率」,关心的却不是同一件事。本文用体检和考试查漏的比喻,讲清三个指标各自的盲区,帮你读懂一份模型评测,以及面对一份评测报告时,该先盯住…

生成对抗网络是什么?造假者与鉴别者的猫鼠游戏

生成对抗网络是什么?造假者与鉴别者的猫鼠游戏

大多数模型在「判断」,生成对抗网络(GAN)却另辟蹊径地「创造」——它能凭空画出人脸、生成逼真照片。诀窍是让两个模型互相较劲:一个拼命造假,一个拼命打假。本文用假币与验钞的比喻,讲清这场猫鼠游戏怎么把…

聚类是什么?AI 怎么把相似的东西自动「归成一堆」

聚类是什么?AI 怎么把相似的东西自动「归成一堆」

前面聊的很多模型都要先有标签才能学,聚类却反着来:不给任何答案,只丢一堆杂乱数据,让 AI 自己把相似的分到一组。本文用聚会自动分桌和整理衣柜的比喻,讲清 K-Means 怎么运作、簇数怎么定,以及它…

残差连接是什么?神经网络为什么能堆到上百层还不崩

残差连接是什么?神经网络为什么能堆到上百层还不崩

把神经网络层数堆深,本想学得更精细,可早年一加深就反而变差——不是算力不够,是信息传不下去。残差连接给了个极简解法:给数据开一条「直通车」,让它跳过几层直接往后传。本文用走楼梯和坐电梯的比喻,讲清这招…

联邦学习是什么?手机怎么在不交出数据的情况下一起训练 AI

联邦学习是什么?手机怎么在不交出数据的情况下一起训练 AI

把数据集中到一处训练 AI,最怕隐私和合规这关——没人愿意把聊天记录、病历乖乖上交。联邦学习换了思路:模型下发到各台设备,数据不出本地,只把「学到的改动」传回来汇总。本文用集体写书和老师批作业的隐喻,…

自编码器是什么?AI 怎么把复杂信息压缩再还原

自编码器是什么?AI 怎么把复杂信息压缩再还原

你手机传照片会先压缩,AI 也有一套类似的「打包术」叫自编码器:它先把数据压成一小团精华,再试着还原回去,逼自己只留住最要紧的特征。本文用搬家断舍离和缩略图的比喻,讲清它怎么顺手干成了降噪、找异常这些…

对抗样本是什么?加肉眼看不见的噪点,AI 就认错

对抗样本是什么?加肉眼看不见的噪点,AI 就认错

研究发现,给一张熊猫图加一层人眼根本看不出的噪点,AI 能一口咬定那是长臂猿。这种「精心算计的扰动」叫对抗样本,戳中了深度学习的一个软肋。本文用伪装贴纸和视力错觉的比喻,讲清它怎么坑 AI,又为啥值得…