神经网络Transformer架构中的自注意力机制 自注意力机制的计算过程分为三个步骤。第一步是创建查询、键和值向量：将输入序列的每个词嵌入向量分别与三个不同的权重矩阵相乘，生成对应的查询向量、键向量和值向量。这些权重矩阵在训练过程中学习得到，允许模型根据不同任务灵活调整表示。 第二步是计算注意力分数：对于每个查询向量，计算它与所有键向量的点积，得到初始注意力分数。这些分数经过缩放（除以键向量维度的平方根）后，通过softmax函数归一化为概率分布。缩放操作防止点积结果过大导致梯度消失。 第三步是加权求和：将归一化的注意力权重与对应的值向量相乘并求和，得到每个位置的输出向量。这个过程使每个位置都能聚合全局信息，根据与其他位置的相关性动态调整接收信息的权重。 自注意力机制的核心特性包括并行计算能力（所有位置的注意力可同时计算）、长距离依赖捕捉（直接计算任意两个位置的关系）和动态权重分配（根据内容相关性自动调整关注程度）。这些特性使其特别适合处理序列数据，成为Transformer架构实现高效序列建模的基础。