神经网络激活函数

神经网络激活函数是人工神经网络中的数学运算，负责决定神经元是否应该被激活，即是否将输入信号传递到下一层。

1. 基本概念：在生物神经元中，当输入信号达到一定阈值时才会触发输出。人工神经网络模拟这一特性，每个神经元接收加权求和后的输入，但加权和是线性运算。激活函数引入非线性变换，使神经网络能够学习和表示复杂模式。

2. 核心作用：

   • 引入非线性：如果没有激活函数，无论多少层神经网络都等价于单层线性模型，无法处理图像识别或自然语言处理等非线性任务。
   • 控制输出范围：通过函数映射将输出值约束到特定区间（如0-1或-1-1），保证数值稳定性。

3. 常见类型及演进：

   • Sigmoid函数：早期广泛使用的激活函数，公式为f(x)=1/(1+e^(-x))。它将输入压缩到(0,1)区间，适合表示概率。但存在梯度消失问题（当输入较大时梯度接近零），且输出不以零为中心，影响训练效率。
   • Tanh函数：双曲正切函数，公式为f(x)=(e^x-e^(-x))/(e^x+e^(-x))。输出范围(-1,1)，以零为中心，缓解了Sigmoid的部分问题，但梯度消失问题依然存在。
   • ReLU函数：整流线性单元，公式为f(x)=max(0,x)。计算简单，在正区间解决梯度消失问题。但存在"神经元死亡"问题（负输入导致梯度恒为零）。
   • Leaky ReLU：ReLU的改进版，负区间引入小斜率（如0.01x），避免神经元完全失活。
   • ELU函数：指数线性单元，在负区间使用指数函数，加快收敛速度同时保持噪声鲁棒性。

4. 选择原则：

   • 隐藏层通常首选ReLU及其变体，因其训练效率高
   • 输出层根据任务选择：二分类用Sigmoid，多分类用Softmax，回归问题可用线性函数
   • 对于深层网络，Swish（x*sigmoid(x)）等自适应函数可能表现更优

5. 高级发展：

   • 可学习激活函数（如PReLU）通过训练确定函数参数
   • 自适应函数（如Swish）根据输入动态调整形态
   • 注意力机制中的Softmax变体（如稀疏Softmax）针对特定场景优化

激活函数的设计直接影响神经网络的表示能力和训练动态，是模型性能的关键决定因素之一。