神经网络循环层

循环层是专门处理序列数据的神经网络层，其核心特点是具有循环连接结构，能够保留历史信息。下面从基础概念到高级变体逐步解析：

1. 序列数据处理基础
   传统全连接网络要求固定尺寸输入，但序列数据（如文本、语音、时间序列）长度可变。循环层通过共享参数的循环结构，实现任意长度序列处理。其基本运算可表示为：ht = σ(Whh·ht-1 + Wxh·xt + bh)，其中ht是当前时刻隐藏状态，ht-1是上一时刻状态，xt是当前输入，Whh和Wxh是权重矩阵。

2. 时间展开机制
   通过将循环结构按时间步展开，可直观理解信息流动。以三时刻序列为例：

• t=1: h1 = σ(Whh·h0 + Wxh·x1 + bh)
• t=2: h2 = σ(Whh·h1 + Wxh·x2 + bh)
• t=3: h3 = σ(Whh·h2 + Wxh·x3 + bh)
  每个时刻的输出yt由ht计算得到，形成信息沿时间维度的正向传播。

3. 梯度传播特性
   循环层在反向传播时需沿时间轴回溯（BPTT算法），这导致梯度可能指数级衰减或爆炸。具体表现为：

• 当|Whh的最大特征值|<1时，梯度随时间步长指数消失
• 当|Whh的最大特征值|>1时，梯度随时间步长指数增长
  这一特性限制了基础循环网络处理长序列的能力。

4. 门控机制改进
   为解决梯度问题，引入门控循环单元（GRU）和长短期记忆网络（LSTM）：

• LSTM通过输入门、遗忘门、输出门控制信息流，细胞状态Ct提供贯穿时序的信息高速公路
• GRU简化门控为更新门和重置门，在保持性能同时减少参数
  门控机制使网络能选择性记忆重要信息，遗忘次要信息，有效缓解梯度消失。

5. 双向架构扩展
   双向循环层通过叠加正向和反向处理层，同时获取历史与未来信息。其输出通常为两个方向的隐藏状态拼接：ht = [hft || hbt]，这种结构在机器翻译、语音识别等需要全局上下文的任务中表现优异。

6. 现代应用形态
   当代循环层常与注意力机制结合，如Transformer中的循环位置编码；亦作为图神经网络的时序扩展，处理动态图数据。在工业部署时，循环层可通过展开为深度前馈网络实现并行化，或采用循环核优化实现低功耗边缘计算。