神经网络批量归一化

批量归一化是一种用于神经网络训练的技术，通过对每一层输入数据的分布进行标准化处理，来加速训练并提高模型性能。

1. 内部协变量偏移问题

   • 核心概念：在深度神经网络中，每一层的输入数据分布会随着前一层参数的更新而不断改变。这种现象被称为“内部协变量偏移”。
   • 具体过程：网络参数在训练过程中通过梯度下降不断更新。对于任何一层来说，其输入数据是由前一层（其参数刚被更新过）产生的。因此，当前层的输入分布在每次参数更新后都会发生变化。
   • 带来的问题：当前层需要不断地去适应这种变化的输入分布，这使得训练过程变得非常不稳定。为了应对这种变化，需要使用更小的学习率，并且谨慎地初始化参数，导致训练速度慢且困难。

2. 批量归一化的解决方案

   • 核心思想：为了解决内部协变量偏移问题，批量归一化通过在每一层的输入（或激活函数的输入）处插入一个归一化步骤，强制将该层输入数据的分布稳定在一个固定的区间（通常均值为0，方差为1）。
   • 操作步骤：对于一个 mini-batch 中的数据，针对该层的每个输入维度（每个神经元）独立进行以下计算：
     1. 计算批次统计量：计算该 mini-batch 在该维度上的均值 μ 和方差 σ²。
     2. 归一化：使用计算出的均值和方差对该维度上的所有数据进行归一化：x̂ = (x - μ) / √(σ² + ε)。其中 ε 是一个极小的常数，用于防止除以零。
     3. 缩放与平移：归一化后的数据 x̂ 会失去前一层学到的特征尺度，因此引入两个可学习的参数：缩放因子 γ 和平移因子 β。进行变换：y = γx̂ + β。这一步使得网络可以学习恢复数据原有的分布特征，如果这样做是最优的话。

3. 批量归一化的主要作用与优势

   • 允许更高的学习率：通过稳定每层的输入分布，批量归一化减少了训练过程中的不确定性，使得我们可以使用更大的学习率，从而显著加快收敛速度。
   • 降低对初始化的敏感性：它对参数的初始尺度不那么敏感，减轻了“糟糕初始化”对训练的影响。
   • 起到轻微的正则化效果：每个样本的归一化输出y依赖于当前 mini-batch 中的所有其他样本，这为模型训练增添了一些噪声，类似于Dropout的效果，可以在一定程度上防止过拟合。但这种效果相对较弱，并且随着批次增大而减弱。
   • 缓解梯度消失问题：通过将激活值控制在一个合理的范围内，它有助于确保梯度在反向传播过程中不会变得过小，从而改善了深度网络中的梯度流。

4. 在训练与推理时的差异

   • 训练时：均值和方差直接从当前处理的 mini-batch 中计算得出。
   • 推理时：由于推理时可能没有 mini-batch（例如，只处理一个样本），或者需要确定性的输出，不能使用单一样本或不同批次的统计量。因此，推理时使用的是在整个训练集上估计的“全局”统计量。通常，这个全局均值和方差是通过在训练过程中，对每个mini-batch的均值和方差进行指数移动平均来累积计算的。