当前位置:首页 > AI科普

对抗样本是什么?加肉眼看不见的噪点,AI 就认错

xinhack2周前 (10-24)AI科普43

对抗样本是什么?加肉眼看不见的噪点,AI 就认错 AI科普

一个让人后背发凉的实验

研究人员拿一张熊猫照片,人眼看分明是熊猫,给模型也认对了。然后他们在图上叠了一层极轻微的噪点——轻到你拿肉眼根本看不出任何变化。再把图喂回去,模型斩钉截铁:「这是长臂猿」。同一条图,只差一层看不见的扰动,结论就翻了天。这不是 bug 偶发,而是深度学习身上一道挺普遍的软肋。

对抗样本:算计出来的「伪装」

它跟随机噪点不一样,是专门算出来的。攻击者顺着模型「哪里敏感」去推,找出最能撬动判断的那一点点改动,加在最不显眼的地方。好比给 STOP 标志贴几道人眼忽略的细纹,自动驾驶摄像头就可能读成「限速」。它不是破坏图像,而是利用模型对像素的极端敏感,给它下套。

一个比喻:伪装贴纸与视力错觉

把它想成给商品贴伪装:你远看还是那个盒子,可标签被悄悄涂改了一笔,扫码枪就识别成别的东西。又像视力错觉图——人眼也会被特定线条带偏。对抗样本就是 AI 版的「视觉错觉」,只不过它是被人用数学精确设计出来的,专挑模型的盲区下手,精准又隐蔽。

它在哪些地方真能惹祸

最怕落在安全相关的场景:自动驾驶认错路牌、医疗影像把病灶判漏、人脸识别被一张特制眼镜骗过。这些不是科幻,论文里早就演示过。模型在干净数据上准确率再高,碰上这种「精心打扮的坏样本」也可能翻车。所以对落地产品来说,鲁棒性(抗折腾能力)和准确率一样要紧。

怎么给它补这道防

对策也有。一是「对抗训练」:训练时主动掺一批对抗样本,让模型见见世面、练出抗性,像疫苗一样。二是检测:专门装个哨兵,分辨输入是不是被动过手脚。三是模型加固、多模型投票。道高一尺魔高一丈,这是 AI 安全里最活跃的战场之一,远没到能松口气的时候。

小结

对抗样本就是给图像叠一层人眼看不见、却算计精准的噪点,专门把 AI 带偏——熊猫图加扰动变长臂猿,路牌贴细纹被读成限速。它不像随机噪点,而是顺着模型的敏感点下套,是 AI 版的视觉错觉、也是数学设计的伪装。最怕落在自动驾驶、医疗、人脸这些安全场景里翻车,所以抗折腾的「鲁棒性」和准确率同样要紧。对策是对抗训练打疫苗、装哨兵做检测。理解对抗样本,你就知道 AI 不是万能——它在某些死角比人还容易上当。咱跟客户安利 AI 时也得说实话:它强,但别把它当不会犯晕的神。

相关文章

涌现能力是什么?小模型不会、大模型突然会

涌现能力是什么?小模型不会、大模型突然会

有些能力很奇怪:模型小的时候完全没有,参数涨到一定规模,突然就会了——像攒够了人数才会涌现的“人浪”。这种“量变到质变”叫涌现能力(Emergence)。这篇文章用“凑人数”和“水温烧开”两个比喻,讲…

数据标注是什么?AI 背后的“人工”功课由谁打标

数据标注是什么?AI 背后的“人工”功课由谁打标

我们总说 AI 靠数据训练,却很少问:那些训练用的“标准答案”是谁写的?很大一部分来自数据标注——真人一条条给图片打框、给文本分类、给语音转写。没有这层笨功夫,很多模型根本学不会。这篇文章用“给老师批…

Transformer 是什么?现代大模型的共同骨架

Transformer 是什么?现代大模型的共同骨架

今天几乎所有厉害的大语言模型——从聊天机器人到翻译器——背后都站着同一个架构:Transformer。它不像老式模型那样一个字一个字硬啃,而是让一句话里所有词同时“互相看一眼”,谁和谁相关一眼锁定。这…

损失函数是什么?模型靠什么知道自己错了多少

损失函数是什么?模型靠什么知道自己错了多少

模型训练的过程,其实就是不断「减小错误」的过程。损失函数就是那把丈量错误的尺子:它把模型的预测和真实答案之间的差距,算成一个具体的数字。本文用考试扣分和温度计的比喻,讲清损失函数怎样指挥训练往正确的方…

少样本学习是什么?大模型为什么看几个例子就会

少样本学习是什么?大模型为什么看几个例子就会

老式 AI 要学一样东西得喂成千上万条样本,今天的大模型却看两三个例子就能上手。这种「少样本学习」靠的是预训练积累的通识,而不是从零学起。本文用看样例学做事的比喻,讲清它为什么管用、又在哪里会翻车,以…

正则化是什么?给模型上道「紧箍咒」防它背答案

正则化是什么?给模型上道「紧箍咒」防它背答案

模型在训练集上考满分、一上实战就翻车,多半是「记」而不是「学」。正则化就是给这种死记硬背加一道约束,逼模型抓住更通用的规律。本文用减肥和控制开销的比喻,讲清 L2、Dropout 等手段怎么帮模型「减…

推荐系统是什么?App 怎么越用越懂你、猜中你喜好

推荐系统是什么?App 怎么越用越懂你、猜中你喜好

打开购物、短视频、音乐 App,它总能精准推你爱看的那一口——这背后站着推荐系统。它不像人靠直觉,而是拿你点过、跳过、买过的痕迹当线索,给人和内容两边打分配对。本文用红娘和书架的比喻,讲清它怎么从你的…

自编码器是什么?AI 怎么把复杂信息压缩再还原

自编码器是什么?AI 怎么把复杂信息压缩再还原

你手机传照片会先压缩,AI 也有一套类似的「打包术」叫自编码器:它先把数据压成一小团精华,再试着还原回去,逼自己只留住最要紧的特征。本文用搬家断舍离和缩略图的比喻,讲清它怎么顺手干成了降噪、找异常这些…