当前位置：首页 > AI科普

梯度往哪走、每一步走多快：优化器 SGD 与 Adam 怎么选

xinhack2周前 (10-29)AI科普21

先铺垫：梯度告诉往哪走，优化器管怎么走

复习一下：梯度下降就是顺着最陡下坡方向调参数，让模型错误越来越少。但往哪走定了，每一步迈多大、拐不拐弯是优化器说了算。你品品，同一条山道，有人大步流星可能冲过头，有人小碎步稳但慢——优化器就干这个调度活儿。咱做业务调资源也是一个理：方向对，节奏也得对，不然要么原地踏步要么冲出赛道。

SGD：老实人，步步都看眼下这坡

最经典的叫 SGD（随机梯度下降），朴素得很：每步只看当前这一小批数据的坡度，迈固定大小的步。好处是稳、不容易被噪音带偏，训出来的模型往往更扎实；坏处是慢、还容易卡在平缓处磨蹭。像那种不疾不徐、靠谱的老黄牛，活儿干得细，就是急不得。数据干净、追求极致泛化时，它仍是很多老手的心头好。

动量：给 SGD 加个惯性，别在坑里打转

后来人给 SGD 加了动量：不光看眼前坡度，还记着上几步往哪冲，相当于下坡带惯性。这样它能越过小坑、少在原地兜圈，速度一下子提上来。咱就说，这不就是老司机开车——不光看眼前路，还借着惯性过弯，顺溜多了。动量这个思想后来被发扬光大，成了现代优化器的基本配置。

Adam：自带导航的卷王，快慢它自己调

Adam 是个聪明后生：它一边记惯性，一边给每个参数单独估该迈多大步——陡峭的地方自动收着点，平缓的地方敢迈大点。等于车上装了自适应巡航，哪儿好走哪儿快。所以 Adam 上手快、省心，成了如今默认首选。代价是它记的东西多、偶尔记性太好反而过拟合，得留神，必要时配权重衰减压一压。

还有个兄弟 RMSProp：专治忽大忽小的坡

除 Adam 外，RMSProp 也是常见选手，思路类似——给每个参数单独调步长，专治某些方向坡度忽大忽小导致训练抽风。它比 Adam 少记一项，轻一点。实际用起来 Adam 和 RMSProp 常常二选一，差别没传说中那么大。咱不用背名字，知道市面主流就这几位、脾气各不同就够了，别被一堆缩写唬住。

那到底选谁？看活儿看数据

实话说没有永远的赢家。数据干净、要极致泛化，SGD 类更稳；想快点出活、调参没空折腾，Adam 更香。很多老手还会 Adam 开局、SGD 收尾，两头好处都占。咱不是大厂，讲究一个务实：先 Adam 跑通，再按需换。别被名词吓着，本质是怎么走下山的两种脾气，挑顺手的用。

顺带一提：学习率这旋钮得配合着拧

优化器再聪明，也得有个总开关配合——就是学习率，决定每一步迈多大。学习率太大，Adam 也会冲过头乱蹦；太小，再好的优化器也磨洋工。所以实际训练，工程师常配合学习率热身（warmup）和逐步降温（cosine），让开头稳、结尾收。咱不用会调，但得知道：优化器和学习率是一对搭档，单夸一个都不全。挑工具看技术文，见到这两个词一起出现才是正经训练。