神经网络Transformer架构中的随机注意力

1. 基本概念与动机
   随机注意力是Transformer架构中一种对标准注意力机制的改进或替代方案，旨在降低计算复杂度。标准自注意力的计算成本与输入序列长度的平方成正比，在处理超长序列（如长文档、高分辨率图像）时成为瓶颈。随机注意力的核心思想是，并非所有输入位置对当前查询位置的贡献都是同等重要的，因此可以通过某种随机化策略，只计算一部分“候选”位置与查询位置的注意力权重，从而显著减少计算量。

2. 核心机制：随机选择与计算
   其基本工作流程如下：对于一个给定的查询位置（例如，序列中的某个词），传统的注意力会计算它与序列中所有位置（包括自身）的关联度。而随机注意力则从一个预定义的分布中，随机采样一小部分位置（例如，采样序列中5%的位置）作为“候选键值对”。随后，注意力机制仅计算查询与这些被采样位置之间的相似度，并基于此生成加权和的上下文向量。采样过程可以在每个注意力头、每个层或每个训练步骤中独立进行，引入随机性。

3. 关键变体与设计考量
   为了平衡随机性带来的信息损失与效率提升，研究者提出了多种具体实现：

   • 固定模式随机采样：在每个训练步骤中，为每个查询随机选择固定数量的键位置。这种方法最简单，但随机性可能导致信息不稳定。
   • 局部-随机注意力结合：将注意力范围划分为两部分。一部分是固定的局部窗口（如当前词前后的若干个词），这部分位置总是被考虑；另一部分是从整个序列剩余位置中随机采样的一部分。这保证了局部依赖的精确建模，同时以随机方式捕捉长距离依赖。
   • 可学习随机注意力：不采用均匀随机采样，而是引入一个可学习的概率分布（通常基于网络中间层的特征），让模型学习“哪些位置更有可能被采样”，从而使随机采样更具针对性。

4. 优势与挑战

   • 优势：最显著的优势是计算效率。它将注意力计算的复杂度从序列长度的平方量级降低到与采样数量成线性关系的量级，使得模型能够处理更长的输入序列。随机性还可能作为一种正则化手段，有助于防止过拟合，提升模型泛化能力。
   • 挑战：主要挑战在于随机性导致的不稳定性。由于每次采样的位置不同，模型在推理阶段（尤其是自回归生成时）的输出可能不一致。同时，稀疏的随机采样可能错过对当前查询至关重要的少数远距离位置，影响模型性能。

5. 应用场景与演进
   随机注意力主要应用于对长序列处理有迫切需求的场景，例如长文本摘要、基因组序列分析、高分辨率图像处理等。它常被视为实现“稀疏注意力”或“高效注意力”的一种具体技术路径。后续的许多高效注意力机制（如局部敏感哈希注意力）可以看作是随机注意力的更结构化或确定性更强的演进，旨在更可靠地近似全局注意力，同时保持计算效率。在实践中，纯粹的随机注意力已较少单独使用，但其思想被融合到更成熟的稀疏注意力框架中。