神经网络Transformer架构中的注意力稀疏化 基本注意力机制回顾 ：首先，我们需要回顾Transformer架构中自注意力机制的核心。在标准（密集）注意力中，序列中的每个元素（如一个词）会计算其与序列中所有其他元素（包括它自己）的关联程度（注意力分数），形成一个全连接的注意力矩阵。这种“全关注”虽然能捕获丰富的上下文，但计算复杂度和内存消耗与序列长度的平方成正比，处理长序列时成本极高。 稀疏注意力的引入动机 ：注意力稀疏化正是为了解决上述效率瓶颈。其核心思想是：并非序列中所有元素对之间的交互都是同等重要或必要的。许多关系天然是稀疏的或长距离的依赖是局部的。通过有选择地、结构化地限制每个元素仅关注序列的一个子集，而非全部元素，可以显著降低计算量，使模型能够处理更长的序列（如长文档、高分辨率图像）。 稀疏化的主要策略与方法 ：注意力稀疏化主要通过预定义或学习到的模式来实现。常见的策略包括：a) 局部注意力 ：仅允许元素关注其周围一个固定窗口内的邻居，基于序列元素在顺序或空间上是局部相关的假设。b) 全局注意力 ：指定少数特定元素（如[ CLS]标记、段标记）可以被所有元素关注，或特定元素关注所有元素，以保留关键的全局信息。c) 随机/稀疏模式注意力 ：为每个元素随机采样一组其他元素进行关注，或使用固定的、非连续的稀疏连接模式（如带状、扩张模式）。d) 基于内容的稀疏注意力（学习到的稀疏性） ：不依赖固定模式，而是让模型动态学习每个元素应该关注哪些其他元素。这通常通过快速的可学习路由机制实现，例如使用低成本的网络（如线性层）预测每个查询应与之计算注意力的少数键。 代表性稀疏注意力模型 ：一些著名的Transformer变体成功应用了稀疏注意力。例如， Longformer 结合了滑动窗口局部注意力、任务特定的全局注意力（如分类时[ CLS]关注所有词），实现了线性复杂度。 Big Bird 则整合了随机注意力、局部窗口注意力和全局注意力，形成了更通用的稀疏模式，并被证明在理论上能保留Transformer的通用近似能力。 Reformer 使用局部敏感哈希（LSH）将相似的键和查询快速分组到同一个桶中，使每个元素仅与同桶内的元素计算注意力，实现了基于内容的、近似的高效注意力。 优势、挑战与应用场景 ：注意力稀疏化的主要优势是 计算效率 和 可扩展性 ，使其能处理万甚至百万级别的超长序列。挑战在于如何设计或学习到的稀疏模式不损失重要的长程依赖信息，以及如何保持模型的表达能力和训练稳定性。它广泛应用于需要处理长上下文的领域，如 长文档理解与摘要 、 基因组序列分析 、 高分辨率图像处理 、以及 代码生成与分析 等场景。