神经网络Transformer架构中的前缀微调 前缀微调是一种在Transformer架构中使用的参数高效微调方法。与完全微调所有模型参数不同，前缀微调只在输入序列的开头添加一小段可训练的参数向量，称为"前缀"，而保持原始模型的所有参数冻结不变。 前缀微调的核心思想是在输入序列前添加可学习的向量。这些前缀向量与输入标记一起送入Transformer模型，但在前向传播过程中，只有这些前缀参数会被更新，原始预训练模型的权重则保持固定。这种方法显著减少了需要训练的参数数量，通常只需调整0.1%-1%的参数。 前缀向量的工作机制类似于软提示或上下文信息。当输入序列通过Transformer层时，前缀向量会参与所有注意力计算。在自注意力机制中，这些前缀向量会与输入序列中的每个标记进行交互，影响键、值和查询的表示，从而引导模型产生期望的输出行为。 前缀微调在序列分类、文本生成等任务中表现出色。通过在输入前添加任务特定的前缀，模型可以学习到如何适应新任务而不忘记预训练中获得的知识。这种方法在低数据环境下特别有效，因为它减少了过拟合的风险，同时保持了模型的通用语言理解能力。 前缀长度是该方法的关键超参数。通常前缀长度在10-100个向量之间，具体取决于任务复杂度和可用计算资源。较长的前缀可以编码更丰富的任务信息，但会增加计算开销；较短的前缀则更加高效但可能表达能力有限。 前缀微调与提示调优有相似之处，但更加灵活。提示调优通常只影响输入嵌入，而前缀微调在每一层Transformer中都有独立的可训练向量，能够更深入地引导模型的表示学习过程。