神经网络Transformer架构中的词汇表扩展 词汇表扩展是自然语言处理中动态调整词汇表以适应新领域或语言变化的策略。传统Transformer模型的词汇表在预训练后固定，导致处理新术语时性能下降。扩展方法通过添加嵌入向量并调整模型参数，使模型能识别训练时未见的词汇。 词汇表扩展的核心技术涉及新词嵌入初始化。新增词汇的向量通常通过以下方式生成：1. 利用字符级或子词级组合，将现有词嵌入按组成字符加权平均；2. 使用外部语义资源（如WordNet）寻找近义词的嵌入；3. 通过线性投影将新词映射到已有语义空间。例如"区块链"可由"区块"和"链"的嵌入融合生成。 扩展后的模型需进行持续预训练以优化新参数。关键步骤包括：1. 冻结原有参数，仅训练新增词嵌入，防止灾难性遗忘；2. 采用分层学习率，新词嵌入使用更高学习率；3. 使用领域特定语料进行轻量微调。此时需注意新旧词嵌入的分布一致性，避免语义空间扭曲。 动态扩展机制能实现词汇表实时更新。典型方法包括：1. 基于词汇频率的触发机制，当新词在输入流中出现频次超过阈值时自动添加；2. 利用上下文连贯性检测，通过注意力权重的异常波动识别未登录词；3. 建立临时缓存区暂存候选新词，经置信度评估后正式入库。 词汇表扩展需平衡覆盖率与计算效率。扩展策略包含：1. 构建子词回溯机制，当新词未被识别时自动拆解为已知子词；2. 设置词汇表容量软限制，通过TF-IDF权重淘汰低频词；3. 采用差分隐私保护，在添加用户生成词汇时防止隐私泄露。这些方法确保模型在扩展同时保持原有性能与安全标准。