神经网络Transformer架构中的专家混合 专家混合是一种通过集成多个相对简单的“专家”子网络来提高模型容量的方法。其核心思想是将输入路由到最合适的少数专家进行处理，而非让整个网络处理所有输入。 1. 基本概念与动机 动机 ：Transformer模型的参数量与其性能密切相关，但简单地增加模型宽度或深度会带来计算成本的平方级增长和优化困难。MoE的目标是在不显著增加计算开销的前提下，大幅增加模型参数量。 核心思想 ：将传统的、密集的前馈网络层（FFN）替换为一组前馈网络（即“专家”），并引入一个轻量级的“路由器”网络，针对每个输入标记（token）动态选择激活其中的一两个专家进行计算。这样，虽然总参数量巨大，但每个标记实际计算时只经过少数专家，保持了计算效率。 2. 核心组件与工作流程 专家 ：通常是一系列结构相同但参数独立的FFN（如两层全连接层加激活函数）。它们是模型承载知识的主体。 路由器 ：一个小型线性层或浅层网络，其权重通常记为W\_router。它接收当前标记的表示向量作为输入，输出每个专家的“得分”或“权重”。 门控机制 ：路由器输出的原始得分经过Softmax函数归一化，得到每个专家的“门控值”，代表该标记分配给各专家的概率。 稀疏路由 ：为了保持计算效率，并非使用所有专家。通常采用“Top-k”策略：只选择门控值最高的前k个专家（通常k=1或2），其余专家的贡献置零。这就是“稀疏激活”的关键。 加权求和 ：对于每个标记，其最终输出是所选的Top-k个专家输出的加权和，权重即为对应的门控值。 3. 关键技术挑战与解决方案 负载均衡问题 ：如果路由器总是倾向于将输入分配给少数几个受欢迎的专家，这些专家会过载，而其他专家则训练不足，导致模型容量利用低下。 解决方案 ：引入辅助损失函数，鼓励专家负载均匀。例如， 负载均衡损失 会计算所有专家在处理一个批次数据时的负载方差，并最小化它，促使路由器更公平地分配任务。 训练不稳定性 ：稀疏路由和门控函数的离散性可能导致梯度传播不稳定。 解决方案 ：使用 带噪声的Top-k门控 ，在路由器计算得分时加入可调节的噪声，鼓励探索更多的专家组合；采用更精细的梯度估计技巧（如Straight-Through Estimator）来处理路由决策的不可微问题。 通信开销（分布式训练） ：当MoE模型部署在多设备上时，每个专家可能位于不同的设备。标记需要根据路由决策在设备间发送，这会产生显著的通信成本。 解决方案 ：设计 设备感知的路由策略 ，尽可能将同一个标记所需的路由计算和专家计算放在同一设备上，或对通信进行优化、压缩。 4. 变体与演进 基础MoE ：如上所述，在每个Transformer层中用MoE替换FFN。 Switch Transformer ：采用极端的稀疏性，设置k=1（每个标记只路由给一个专家），并简化了负载均衡损失的公式，在极大模型上证明了高效性。 GShard ：谷歌提出的用于大规模分布式训练的MoE实现，设计了跨设备分片专家、容量因子（限制每个专家处理的标记数上限）、辅助负载均衡损失等关键技术和工程优化。 任务级MoE ：路由器可以根据输入任务类型选择专家，形成更结构化的模块化网络。 连续型MoE ：探索更平滑、可微的路由机制，以缓解训练不稳定问题。 5. 优势、应用与影响 优势 ：实现了计算成本（FLOPs）与模型参数量的“解耦”，能够在可控的计算预算下构建万亿乃至十万亿参数级别的超大规模模型。 应用 ：已成为构建大语言模型和超大规模多模态模型的核心技术之一。例如，Google的GLaM、Switch Transformer，以及一些开源大模型架构都集成了MoE层。 影响 ：MoE推动了“稀疏化”和“条件计算”在深度学习中的研究和应用，是通向更高效、更专业化巨型神经网络的重要路径。它使得在有限硬件资源下探索模型性能极限成为可能。