批归一化是什么？深度学习训练为什么要先把每层摆正
一个隐蔽的麻烦：分布老在飘
神经网络是逐层叠的，前一层的输出就是后一层的输入。问题是，训练时前面参数一直在动，后面层拿到的输入分布就跟着变——这叫「内部协变量偏移」。好比老师（后层）刚适应了一批学生（输入）的水平，前面（前层）一调整，新来的学生水平又变了，老师得不停重新适应，效率自然上不去，还容易训练不稳。
批归一化：给每层输入「摆正」
批归一化的做法很直接：在每层算完后、送给下一层前，先取当前这个小批次（batch）的数据，把它们的均值减到 0、方差缩到 1，统一成标准身材。这样不管前面怎么晃，到这一层门口都被「校正」回稳定区间，后面层看到的输入分布始终规整。训练于是少了很多无谓的重新适应。
一个比喻：军训排队与恒温器
把每层输入想成一队身高参差的人。批归一化就是军训教官，先让大家对齐到同一基准线，后面环节才好统一发衣服、走正步，否则高低不一全乱套。它又像给房间装了恒温器：外面气温（前层输出）忽高忽低，屋里（本层输入）始终维持在舒服的 22 度，住在里面的人（后续层）不用天天换被子。
它带来的三个实惠
第一，训练更快——学习率能调大，收敛步数明显少；第二，更稳——对参数初值没那么挑剔，不容易训飞；第三，有点正则化效果，轻微抑制过拟合。这些好处叠加，让 BatchNorm 在卷积网络时代几乎是必装项，很多经典模型少了它根本训不动。
也不是万能，也有代价
它依赖「批次里有足够多样本」来估均值方差，批次太小就估不准，效果打折；而且训练和推理时行为不一致——推理要用训练时累积的全局统计量，工程上得多留一手。后来也冒出 LayerNorm、GroupNorm 等变体去补它的短板，尤其 Transformer 更偏爱 LayerNorm。工具没有银弹，场景说了算。
小结
批归一化解决了深层训练里那个隐蔽的痛点：前层一动，后层输入分布就飘，模型被迫不断重适应。它的解法朴素——在每个小批次里把层输入标准化到均值 0、方差 1，相当于给数据摆正身板、装上恒温器，让后续层始终面对规整的输入。换来的是更快收敛、更稳训练、还顺带抗过拟合，所以它曾在卷积时代几乎必不可少。当然它挑批次大小、训推行为有别，才有了后来的各种 Norm 变体。理解 BatchNorm，你就明白一个工程常识：让每一层「看到的世界」别乱晃，往往比堆更多层更管用。下次调参训飞了，不妨想想——是不是哪层的输入又没摆正。
