神经网络Transformer架构中的群组归一化 神经网络Transformer架构中的群组归一化是一种归一化技术，它沿特征维度对输入进行分组归一化，以稳定训练过程并提升模型性能。 归一化技术的背景与目的 ：在深度神经网络训练中，随着数据在网络层间传递，其分布（均值和方差）会发生漂移，这被称为内部协变量偏移。这种偏移会使得每一层都需要不断适应变化的输入分布，导致训练变得困难、缓慢且不稳定。归一化技术（如批量归一化、层归一化）的核心目的是通过规范化每一层输入的分布，减少内部协变量偏移，从而允许使用更高的学习率、加速收敛、并提供轻微的正则化效果，最终提升模型的泛化能力。 批量归一化与层归一化的局限 ：在Transformer等模型中，常用的归一化方法主要是层归一化。批量归一化在卷积神经网络中效果显著，但它依赖一个批次内所有样本的统计量（均值和方差），因此其效果受批次大小影响大。在小批次或动态批次（如序列长度可变的NLP任务）中，统计量估计不准确，性能会下降。层归一化则独立计算每个样本所有特征的均值和方差，不依赖批次大小，非常适合Transformer处理变长序列的特性。然而，对于视觉Transformer等模型，其特征图具有明确的通道结构，层归一化将所有通道特征一起归一化，可能忽略了特征组（如颜色、纹理、形状通道）之间的潜在差异。 群组归一化的核心思想 ：群组归一化是层归一化和实例归一化之间的一种折中方案。它将输入样本的特征通道划分为多个组，然后分别对每个组内的特征进行归一化。具体来说，对于一个形状为 [N, C, H, W] 的特征图（N为批次大小，C为通道数，H、W为高和宽），层归一化在 [C, H, W] 维度上计算统计量。而群组归一化首先将C个通道分为G个组（G是一个超参数，例如32），每组有C/G个通道。然后，对于每个样本和每个组，在 [C/G, H, W] 维度上计算均值和方差，并用其对该组内的所有特征进行归一化（减均值除以标准差，再应用缩放和平移参数）。 群组归一化在Transformer中的优势 ：虽然群组归一化最初是为计算机视觉的卷积网络设计的，但在视觉Transformer中得到了有效应用。与层归一化相比，它提供了更灵活的归一化粒度。通过分组，模型可以学习到不同特征组之间更细微的分布差异，这有助于模型捕获更丰富的特征表示，尤其在处理具有空间结构和通道相关性的视觉数据时。它对批次大小完全不敏感，即使在批次大小为1时也能稳定工作，这使其在资源受限或需要在线学习的场景下非常有用。 实现细节与变体 ：群组归一化的组数G是一个关键超参数。当G=1时，它退化为层归一化（对全部通道归一化）；当G=C时，它退化为实例归一化（对每个通道单独归一化）。实践中，G通常设置为一个固定的数（如32），这在不同模型和任务中表现出良好的鲁棒性。其计算过程是可微分的，因此缩放和平移参数可以随模型一起训练。此外，还有一些变体，如自适应群组归一化，它可以根据输入动态决定分组策略。 应用场景与总结 ：群组归一化主要应用于视觉Transformer以及需要处理小批次或动态批次场景的模型中。它补充了Transformer架构的归一化工具箱，提供了介于层归一化和实例归一化之间的一种选择，通过特征通道分组来获得更精细的归一化控制。这种方法增强了训练稳定性，特别是当批次统计量不可靠时，并有助于提升模型在视觉识别、图像生成等任务上的最终性能，是构建鲁棒且高效的Transformer模型的重要组件之一。