神经网络Transformer架构中的掩码机制

1. 掩码的基本概念
   掩码是神经网络中用于控制信息流动的二进制矩阵（0和1构成）。在Transformer中，掩码的主要功能是屏蔽特定位置的输入，防止模型在训练或推理过程中使用不应访问的信息。例如，在处理文本序列时，掩码可确保模型仅基于已生成的内容预测下一个词，而非未来的词。

2. 掩码的类型与作用场景

   • 填充掩码：处理变长序列时，短序列需填充至统一长度。填充掩码将填充位置标记为0，使注意力机制忽略这些无效位置。
   • 因果掩码：用于解码器的自回归生成。通过上三角矩阵（主对角线及以上为0，以下为1），确保每个位置仅关注当前位置及之前的输入，避免信息泄露。
   • 前瞻掩码：在特定任务（如机器翻译）中结合填充与因果掩码，同时屏蔽填充位置和未来词。

3. 掩码的技术实现

   • 以因果掩码为例：假设序列长度为3，掩码矩阵为：
     [[1, 0, 0], [1, 1, 0], [1, 1, 1]]
     其中0表示屏蔽。在计算注意力分数时，被屏蔽位置的分数会减去一个极大值（如-1e9），使SoftMax后其权重接近0。
   • 代码示例（伪代码）：

     attention_scores = query @ key.T  # 计算注意力分数  
     masked_scores = attention_scores + mask * -1e9  # 应用掩码  
     attention_weights = softmax(masked_scores)  # 归一化  
     

4. 掩码与模型训练的关联

   • 在训练解码器时，因果掩码强制模型通过自回归方式学习序列生成，即每一步仅基于历史信息预测下一步，模拟推理时的生成过程。
   • 填充掩码提升计算效率，避免资源浪费在无效的填充位置上，同时防止模型学习无关噪声。

5. 掩码的扩展应用

   • 双向掩码：编码器中允许同时关注前后文，但通过填充掩码处理变长序列。
   • 稀疏注意力掩码：在长序列建模（如Longformer）中，设计局部与全局相结合的掩码模式，降低计算复杂度。
   • 多任务掩码：在统一模型中为不同任务动态生成掩码，控制信息交互范围。