神经网络Transformer架构中的局部与全局注意力整合 局部与全局注意力整合是指在Transformer架构中，将关注局部上下文（如相邻词或邻近图像块）的注意力机制与关注全局或长距离依赖关系的注意力机制进行系统性结合的设计与方法。其核心目标是在计算效率和模型表达能力之间取得更优的平衡，使模型既能精确捕捉细粒度的局部模式，又能有效建立远距离元素间的关联。 第一步：理解局部注意力与全局注意力的基本概念 全局注意力 ：这是标准Transformer自注意力机制的特性。在处理一个序列时，每个元素（如一个词元）理论上可以关注序列中所有其他位置的元素，无论距离多远。这提供了强大的长距离建模能力，但其计算复杂度与序列长度的平方成正比（O(n²)），在处理长序列（如长文档、高分辨率图像）时计算成本极高。 局部注意力 ：受卷积神经网络在局部感受野上操作的启发，局部注意力限制每个元素只能关注其周围一个固定窗口内的邻居元素（例如，前后各k个元素）。这大大降低了计算复杂度（变为O(n* k)），使其能够高效处理长序列，但牺牲了捕捉序列中任意远距离依赖关系的能力。 第二步：探究整合局部与全局注意力的主要动机 效率与效用的权衡 ：许多实际任务中，依赖关系既有局部紧密的（如短语结构、图像的边缘纹理），也有全局分散的（如指代关系、图像的场景布局）。纯粹的全局注意力计算代价高，而纯粹的局部注意力可能丢失关键的长程信息。 层次化特征学习 ：类似于深度卷积网络，在模型的较低层更注重局部特征提取，在较高层逐步整合更广泛的上下文信息。将局部与全局注意力结合可以自然支持这种层次化表示学习。 应对长序列挑战 ：对于极长序列，完全无法计算全局注意力。局部注意力是可行的基础，但需要通过某种形式的全局信息来补充，以防止模型视野过于局限。 第三步：掌握整合局部与全局注意力的核心方法 这些方法通常通过修改注意力计算模式或模型架构来实现： 稀疏注意力模式 ：设计特定的注意力模式，使每个位置既关注局部窗口，也稀疏地关注一些全局的“锚点”或“集结点”。 局部窗口注意力 + 全局记忆 ：为序列设置少量可学习的全局记忆向量（或从序列中选出的代表向量）。每个位置的注意力计算包括对其局部窗口和这些全局记忆的关注，从而间接获取全局信息。 扩张注意力/跨步注意力 ：类似于扩张卷积，在局部窗口内以一定的步长跳跃式地关注元素，同时结合紧密的局部关注，以扩大有效感受野。 块状稀疏注意力 ：将序列划分为多个块。注意力计算时，块内进行密集的局部注意力（细粒度），块间进行稀疏的全局注意力（粗粒度）。 层次化或金字塔架构 ：通过下采样减少序列长度，从而在高层应用（近似）全局注意力。 在较低层使用局部注意力或卷积处理原始的长序列。 通过池化或跨步操作逐步缩短序列长度，生成层次化的特征图。 在序列长度足够短的高层，应用标准的全局注意力进行长程信息整合。最后通过上采样等方式将信息传递回细节层。 局部注意力与全局注意力的交替或并行使用 ： 交替堆叠 ：在Transformer的层中交替使用局部注意力层和全局注意力层。局部层捕捉细节，全局层整合信息。 并行融合（混合注意力） ：在同一层内同时计算局部注意力和全局注意力（可能是简化版的，如线性注意力），然后将两者的输出进行融合（如相加或拼接后投影）。 学习化的注意力范围 ：为每个注意力头或每个位置学习一个动态的注意力范围或稀疏模式，使其能够自适应地决定关注局部还是全局上下文。 第四步：了解其应用与影响 长文本处理 ：在文档级NLP任务（如长文档摘要、问答）中，模型开始部分用局部注意力处理句子和段落，高层用全局注意力把握文档主旨。 高分辨率计算机视觉 ：在视觉Transformer中处理高分辨率图像时，将图像划分为小块（Patch），先在局部窗口内（如一个7x7的Patch组）计算注意力，再通过窗口移动或分层聚合来引入跨窗口的全局交互。 高效语言模型 ：为了扩展模型上下文长度，许多现代大语言模型（如Longformer、BigBird）的核心就是采用了局部窗口注意力与全局记忆相结合的稀疏注意力模式，使其能够处理数万甚至更长的词元序列。 音频与生物序列分析 ：在处理长时间序列信号（如音频、基因组序列）时，局部注意力捕捉信号短时特征（如音素、基序），全局注意力建模长时结构（如语调、基因调控关系）。 总结：神经网络Transformer架构中的局部与全局注意力整合是一系列旨在克服标准全局注意力计算瓶颈、同时保留其强大建模能力的技术策略。它通过精心设计的稀疏模式、层次化架构或混合计算方式，使Transformer能够高效且有效地处理同时需要细粒度局部理解和长距离依赖建模的复杂任务，是扩展Transformer应用范围至超长序列和多模态高分辨率数据的关键进展之一。