神经网络Transformer架构中的掩蔽语言建模 掩蔽语言建模是一种预训练目标，其核心思想是通过让模型预测被随机掩盖的输入词，来学习语言的深层表征。 第一步：核心概念与基本动机 掩蔽语言建模旨在让模型具备“填空”能力。在输入句子中，随机选择一定比例（如15%）的词元（Token），并将其替换为特殊的掩蔽符号。模型的训练目标是根据上下文（未被掩蔽的词）来预测被掩盖位置上的原始词元。这迫使模型不仅要理解每个词的意义，还要学习词与词之间的语法结构、语义关联和上下文依赖，从而获得高质量的语言表示。 第二步：具体实施步骤 输入与掩蔽 ：给定一个句子（如“The quick brown fox jumps”），随机选择部分词元（如“quick”和“fox”）进行掩盖。 替换策略 ：并非总是用掩蔽符号替换。通常采用混合策略：80%概率用掩蔽符号替换，10%概率用随机词元替换，10%概率保持原词不变。这增加了训练的鲁棒性，防止模型过度依赖简单地学习到“看到掩蔽符号就输出高频词”。 模型处理 ：经过掩蔽的句子（如“The [ MASK] brown [ MASK ] jumps”）被送入Transformer编码器。 预测与损失计算 ：模型在每个被掩蔽的位置输出一个在完整词汇表上的概率分布。训练目标是最小化这些位置上预测分布与真实标签（原始词元的独热编码）之间的交叉熵损失。 第三步：技术优势与关键特性 双向上下文利用 ：与自回归语言模型（只能从左到右或从右到左预测）不同，MLM允许模型在预测被掩蔽词时，同时利用其左侧和右侧的全部上下文信息，这使其学习到的表征更具上下文敏感性和深度。 高效的向量表示 ：通过这种预训练，Transformer编码器输出的每个位置的隐藏状态都成为了融合了丰富上下文信息的词/子词向量表示，这些表示可以直接或经过微调后用于下游任务。 通用预训练范式 ：MLM是BERT等里程碑式模型成功的基石。它提供了一种无监督的、任务无关的预训练方法，使模型掌握了语言的通用知识。 第四步：变体与高级优化 为了提升MLM的效率和效果，研究者提出了多种改进： 全词掩蔽 ：不随机掩蔽单个子词，而是掩蔽整个词的所有子词单元（如将“playing”拆分为“play”和“##ing”，然后同时掩蔽两者），这使预测任务更具挑战性，有助于学习更完整的词义。 N-gram掩蔽 ：随机掩蔽连续的N个词元（如双词或三词短语），让模型学习预测短语，增强对局部语言结构的建模能力。 动态掩蔽 ：在每个训练周期（epoch）对同一数据生成不同的掩蔽模式，而不是使用静态掩蔽，有效增加训练数据的多样性，防止过拟合。 增强的掩蔽策略 ：结合知识图谱或依赖句法分析，优先掩蔽具有关键语义信息的词（如实体、动词），引导模型学习更困难、更重要的预测任务。 第五步：局限性与应对 预训练与微调的不一致 ：在预训练时模型会看到掩蔽符号，但在下游任务微调时通常不会。这可能导致分布上的差异。实践中，通过强大的上下文建模能力和微调通常可以克服这一问题。 计算成本 ：由于只预测一小部分被掩蔽的词，与预测每个词的自回归模型相比，MLM在计算上更高效，但批量训练仍需大量算力。 生成能力弱 ：MLM本身是非自回归的，一次预测所有掩蔽位置，不擅长生成连贯的长文本。因此，它主要作为编码器的预训练方法，与解码器结合（如T5模型）或单独用于理解类任务。 掩蔽语言建模是Transformer编码器预训练的核心技术之一，它通过巧妙的“破坏-重建”过程，为模型灌输了强大的语言理解能力，是当代大语言模型基础能力形成的关键前置步骤。