神经网络Transformer架构中的相对位置编码 神经网络Transformer架构中的相对位置编码是一种用于捕捉序列中元素间相对位置关系的方法。与绝对位置编码不同，它不直接为每个位置分配固定编码，而是根据元素间的相对距离动态生成位置信息。 在Transformer架构中，自注意力机制本身不具备感知序列顺序的能力。相对位置编码通过修改注意力计算过程，引入元素间相对位置的偏差项。具体实现时，会在计算注意力分数时加入一个可学习的偏置矩阵，该矩阵的每个元素代表两个位置之间的相对距离对应的偏置值。例如，在序列中相距k个位置的元素对，会使用相同的偏置参数，无论它们在序列中的绝对位置如何。 相对位置编码的数学表达通常体现为对标准注意力公式的修正。在计算查询向量和键向量的点积后，会加上一个相对位置偏置项。这个偏置项通常是基于相对距离的函数，可以通过可学习的参数矩阵或预设的函数来定义。这种设计使得模型能够泛化到训练时未见过的序列长度，因为它只依赖于相对距离而非绝对位置。 相对位置编码的一个关键优势是能更好地处理长序列和迁移任务。由于编码基于相对距离，模型在遇到比训练序列更长的输入时仍能保持性能。此外，它对序列中的局部模式捕捉更有效，因为相对位置偏置可以直接强调邻近元素间的关系，这在许多自然语言处理任务中至关重要，如语法解析或语义理解。 在实际应用中，相对位置编码有多种变体，例如使用 clipped 距离来限制偏置项的范围，或引入方向性以区分前后关系。这些改进进一步增强了模型对复杂序列模式的建模能力，使其在机器翻译、文本生成等任务中表现出色。