神经网络Transformer架构中的动态词嵌入 静态词嵌入的基本概念与局限性 在传统的自然语言处理中， 词嵌入 （Word Embedding）是一种将词汇表中的每个词映射为一个固定维度的实数向量的技术，例如Word2Vec或GloVe。这些向量旨在捕捉词语的语义和句法信息，相似的词在向量空间中位置接近。 局限性 ：一个核心缺陷是“ 静态性 ”。无论上下文如何，一个词（如“苹果”）在训练好后只有一个固定的向量表示。这无法区分“苹果（水果）”和“苹果（公司）”在不同句子中的不同含义。 从静态到动态的演进：语境化表示的引入 为解决上述问题， 动态词嵌入 （或 语境化词嵌入 ）被提出。其核心思想是：一个词的向量表示不应是固定的，而应 根据它所处的具体上下文句子动态生成 。 早期实现 ：在Transformer架构普及前，ELMo（Embeddings from Language Models）模型通过双向LSTM为每个词生成基于整个输入句子的上下文相关表示，迈出了动态化的关键一步。 Transformer架构中的动态词嵌入实现机制 Transformer（特别是其编码器，如BERT）是实现动态词嵌入的典范。其动态性并非来自一个预先存储的查找表，而是通过以下过程 实时计算 得出： a. 输入层 ：首先，一个词会被转换为一个初始向量，这个向量由 “静态”的词嵌入 （可学习的参数）和 “位置编码” （表示词在序列中位置）相加而成。 b. 自注意力机制处理 ：这是实现动态化的核心。当这个带有位置信息的初始向量进入Transformer的多层编码器后，每一层的 自注意力机制 都会让该词的表示与句子中所有其他词的表示进行交互和加权聚合。 c. 信息整合与更新 ：通过这种全局交互，模型能够根据上下文中的其他词语（例如，“吃了一个苹果” vs “买了苹果手机”）来不断调整和更新目标词（“苹果”）的向量表示。 d. 输出表示 ：经过多层Transformer块处理后，最终输出的、对应于输入词“苹果”的向量，就是一个高度 上下文相关 的动态词嵌入。同一个词在不同的句子中，会得到不同的最终向量。 动态词embedding的关键特性与优势 一词多义 ：能有效区分词语在不同语境下的不同语义。 上下文敏感性 ：能捕捉细微的语义变化和语法结构信息，例如“银行”在“河岸”和“金融机构”上下文中的区别。 信息丰富性 ：最终向量不仅包含词汇本身的语义，还融合了句法角色、情感色彩等上下文信息。 作为强大特征 ：这种动态生成的表示，可以直接作为下游任务（如文本分类、问答、命名实体识别）的强大输入特征，显著提升了模型性能。 相关技术与扩展 子词动态嵌入 ：对于未登录词（OOV）或罕见词，现代模型（如BERT、GPT）使用子词分词（如WordPiece、BPE）。在这种情况下，动态嵌入是在子词级别计算，然后通过组合或特定位置（如 [CLS] 或词的首个子词）的输出来代表整个词或句子的含义。 跨层动态性 ：不同Transformer层捕获不同级别的信息（浅层偏向语法，深层偏向语义），因此一个词在每一层都有不同的动态表示，可以根据任务需要选择使用。 与静态嵌入的关系 ：动态模型内部通常仍包含一个可学习的“静态”词嵌入矩阵作为起点，但经过上下文处理后，其最终表示远超初始静态向量的信息容量。 总结： 神经网络Transformer架构中的动态词嵌入 ，是利用模型（尤其是自注意力机制）根据输入句子的完整上下文，为每个词实时计算生成一个唯一、富含上下文信息的向量表示的技术。它从根本上克服了静态嵌入的局限性，是现代预训练语言模型理解自然语言的核心基础之一。