神经网络Transformer架构中的词汇嵌入 词汇嵌入是将离散的文本符号（如单词或子词）转换为连续向量表示的技术。在Transformer架构中，词汇嵌入层作为模型的第一层，负责将输入标记映射为高维空间中的稠密向量。这些向量能够捕获语言中的语义和语法关系，例如相似词在向量空间中位置接近，反义词方向相反，甚至类比关系（如"国王"-"男人"+"女人"≈"女王"）也能通过向量运算体现。 具体实现过程包含三个关键步骤： 初始化阶段：嵌入层构建一个可训练的查找表，其行数对应词汇表大小，列数定义嵌入维度（如512维）。每个词汇被分配唯一索引，通过索引检索对应行向量 投影计算：输入序列中的每个标记通过嵌入层转换为向量。例如句子"The cat sat"经过标记化后，三个标记分别映射为三个512维向量，组成3×512的矩阵 特征学习：在训练过程中，通过反向传播调整嵌入向量，使语义相似的词向量空间距离缩小。例如"canine"和"dog"的向量会逐渐靠近，而与"airplane"的向量逐渐远离 进阶应用中需注意： 嵌入维度影响模型容量，过低维度导致特征压缩，过高维度引发过拟合 多语言模型使用跨语言嵌入对齐，使不同语言中语义相同的词具有相似向量表示 现代大模型常将词嵌入与位置编码相加，同时注入词汇语义和位置信息 特殊处理机制包括： 未知词处理：预留[ UNK ]标记对应未登录词 边界标记：如[ CLS]、[ SEP ]等特殊功能标记拥有独立嵌入 跨层共享：某些架构在编码器输入层和解码器输出层共享嵌入矩阵以提升参数效率 该技术突破了传统独热编码的维度灾难问题，为后续自注意力机制提供了富含语义信息的数值化输入。