当前位置:首页 > AI科普

老师只改了一半作业?聊聊半监督学习这个靠自己悟的套路

xinhack1周前 (11-02)AI科普21

老师只改了一半作业?聊聊半监督学习这个靠自己悟的套路 AI科普

先复习俩老伙计:监督和自监督

前面聊过三种学习范式。监督学习最像学生做题:每道题都配好了标准答案,模型照着对、照着学。无监督学习反过来:一股脑把没答案的数据甩给它,让它自己从里头找结构、找规律。这俩各有各的难——监督学习费标注,无标注的数据堆成山却用不上;无监督学习没答案兜底,学出来的东西常常飘。半监督学习,就是盯着这俩的缝儿,想了个「两头沾光」的招。

半监督是啥:少量有答案,大量自己悟

说白了,半监督学习是这么个套路:你手上有一小撮「带答案」的数据,和一大堆「没答案」的数据。它先用那小撮带答案的把模型领进门、定个调,再拿那一大堆没答案的接着练,让模型自己从里头悟规律。就像老师只改了前几本作业打样,剩下的几十本让你照着样自己琢磨。现实里这招特别香,因为标数据又贵又慢,没标的数据却到处都是,不拿来用纯属浪费。

它靠啥能「自己悟」:相近的东西多半一类

你肯定纳闷:没答案它咋学?靠一个朴素假设——挨得近的东西,大概率是一伙的。模型先把所有数据在心里摆成一个个位置,离得近的归拢到一块儿;既然少数几个已经有了标签,它就有理由相信:跟你这标签样本挨得近的陌生样本,八成也是同类。这思路跟前面聊的 K 近邻一个脾气。靠这个「近朱者赤」的假设,模型就能拿少量答案,把一大片没答案的也大致分好类。

常见玩法:先自己分,再拿答案校准

实操里常见两招。一招叫「自我训练」:模型先用带答案的练一版,然后给没答案的数据「自测」,把那些它最有把握的猜测当成「伪答案」加进去继续练,滚雪球似的越滚越大。另一招叫「图约束」:干脆假设相近的样本该有相近的输出,逼着模型在预测时照顾邻居。俩招核心一样——用「近者为邻」这个软规矩,把稀疏的答案稀释到海量无标签数据上。

在哪儿真顶用:标不起数据的场景

这招在标数据贵到肉疼的地方最吃香。比如医学影像,找个专家标一张片子要好半天,可医院里没标的片子海了去;半监督就能拿少量专家标注带路,顺着把大批片子先分个大概。再比如语音,录一段容易、逐字标转录累死人,半监督能省下大把人工。它不追求每一条都精准,而是用少量贵答案撬动大量便宜数据,性价比这块拿捏得死死的。

坑也得说清:假设错了就跟着歪

但它有个软肋:那个「相近即同类」的假设,不是永远灵。万一数据本身乱、噪声大,模型自己悟歪了,还会把错答案当真答案继续练,越练越偏,这叫「确认偏差」放大。所以半监督不是万能药,数据质量稀烂时它比监督学习还容易翻车。咱用的时候得心里有数:答案样本得靠谱、数据得干净,这招才灵;否则还不如老老实实多标点数据。

相关文章

训练 AI 的数据从哪来?它到底在学什么

训练 AI 的数据从哪来?它到底在学什么

大模型再强,也是从海量文本里"喂"出来的。本文带你看看训练数据通常是什么、从哪里来,为什么数据的质量和数量同样重要,以及数据过时会对 AI 造成什么影响。…

过拟合是什么?为什么模型考试满分却实战翻车

过拟合是什么?为什么模型考试满分却实战翻车

训练 AI 很像备考:刷的题越偏越怪,考试分数可能越高,但真上考场就懵。过拟合说的就是模型把训练题“背”得太死,碰到没见过的新情况反而答错。这篇文章用“背题”和“学规律”的区别,讲清过拟合是什么、怎么…

Transformer 是什么?现代大模型的共同骨架

Transformer 是什么?现代大模型的共同骨架

今天几乎所有厉害的大语言模型——从聊天机器人到翻译器——背后都站着同一个架构:Transformer。它不像老式模型那样一个字一个字硬啃,而是让一句话里所有词同时“互相看一眼”,谁和谁相关一眼锁定。这…

反向传播是什么?神经网络的错误怎么一层层传回去

反向传播是什么?神经网络的错误怎么一层层传回去

模型做错题,错的不只是最后一层。反向传播就是把「总错误」沿着网络一层层往回分,算出每个权重该为这次失误负多少责。本文用传话出错追责和工厂返工的比喻,讲清这个让深度学习得以训练的核心算法,以及它为什么能…

预训练是什么?大模型上岗前先读的「万卷书」

预训练是什么?大模型上岗前先读的「万卷书」

我们常说大模型「见多识广」,它的见识来自一个叫预训练的阶段:在正式干活前,先用海量文本自己琢磨语言规律。本文用通识教育和入职培训的比喻,讲清预训练到底是什么,以及它和微调、推理各司何职。读完你会明白大…

循环神经网络是什么?让 AI 把「前文」记在心上

循环神经网络是什么?让 AI 把「前文」记在心上

普通神经网络看一句话,是一个字一个字孤立地看,看完上句就忘了下句。循环神经网络(RNN)给模型加了「记忆」,让信息能顺着顺序流动。本文用带笔记本的阅卷人和接力传话的比喻,讲清 RNN 怎么处理时间序列…

生成对抗网络是什么?造假者与鉴别者的猫鼠游戏

生成对抗网络是什么?造假者与鉴别者的猫鼠游戏

大多数模型在「判断」,生成对抗网络(GAN)却另辟蹊径地「创造」——它能凭空画出人脸、生成逼真照片。诀窍是让两个模型互相较劲:一个拼命造假,一个拼命打假。本文用假币与验钞的比喻,讲清这场猫鼠游戏怎么把…

聚类是什么?AI 怎么把相似的东西自动「归成一堆」

聚类是什么?AI 怎么把相似的东西自动「归成一堆」

前面聊的很多模型都要先有标签才能学,聚类却反着来:不给任何答案,只丢一堆杂乱数据,让 AI 自己把相似的分到一组。本文用聚会自动分桌和整理衣柜的比喻,讲清 K-Means 怎么运作、簇数怎么定,以及它…