神经网络梯度消失与爆炸问题 神经网络梯度消失与爆炸问题是指在深度神经网络训练过程中，反向传播算法计算得到的梯度值可能变得极小（消失）或极大（爆炸），导致网络参数更新困难或失效的现象。理解这个问题需要从反向传播的基本原理入手。 第一步：理解反向传播中的链式法则 反向传播通过链式法则计算损失函数对每一层参数的梯度。对于一个L层的神经网络，第l层的梯度计算涉及从输出层到该层的连续偏导相乘： ∂Loss/∂W_ l = ∂Loss/∂a_ L · ∂a_ L/∂a_ {L-1} · ... · ∂a_ l/∂W_ l 其中a表示各层激活值。这个连乘过程使得梯度计算依赖于从当前层到输出层所有层的偏导乘积。 第二步：认识梯度消失的具体机制 当连乘的偏导数大部分小于1时，梯度值会指数级衰减。以sigmoid激活函数为例，其导数最大值为0.25，在L层网络中最多衰减为(0.25)^L。例如10层网络梯度最多衰减至约10^-6，20层衰减至约10^-12。这种衰减使得底层网络的梯度几乎为零，参数无法有效更新。 第三步：理解梯度爆炸的成因 相反，当连乘的偏导数持续大于1时，梯度值会指数级增长。例如使用权重初始化值过大，使得每层线性变换的偏导大于1，在深层网络中可能使梯度超过10^10量级。这会导致参数更新步长过大，训练过程发散。 第四步：分析问题的影响因素 这个问题主要受三个因素影响：激活函数选择（如sigmoid/tanh比ReLU系列更容易消失）、权重初始化方法、网络架构深度。特别是当网络深度超过20层时，梯度消失/爆炸问题会变得显著。 第五步：掌握主要解决方案 改进激活函数：使用ReLU、Leaky ReLU等导数更稳定的激活函数 规范化初始化：采用Xavier、He初始化等方法控制初始权重范围 引入残差连接：通过跨层连接建立梯度捷径 使用批量归一化：规范化层间输入分布 梯度裁剪：为梯度设置阈值防止爆炸 这些方法共同使得训练超过100层的深度神经网络成为可能，为现代深度学习的发展奠定了基础。