神经网络Transformer架构中的模型并行 模型并行是一种分布式训练技术，用于将单个神经网络模型分割到多个处理器（如GPU或TPU）上，以解决模型过大无法放入单个设备内存的问题。 模型并行的基本原理 模型并行与数据并行不同：数据并行是在多个设备上复制相同模型，每个设备处理不同数据批次；而模型并行是将模型自身分割成多个部分，每个部分放置在不同设备上。当模型参数数量或中间激活值超过单个设备内存容量时，这种分割变得必要。分割策略包括按层划分（垂直分割）或按张量划分（水平分割）。 模型并行的具体实现方式 按层划分是最直接的实现方式，将网络不同层分配到不同设备。例如，在Transformer架构中，可将编码器层分配至设备A，解码器层分配至设备B。前向传播时，数据按设备顺序传递；反向传播时，梯度反向流动。这种方案实现简单，但可能因设备间数据传输导致流水线气泡。 张量并行是更细粒度的分割方式，将单个层的参数矩阵拆分到多个设备。例如，Transformer中的前馈网络线性层可将权重矩阵按行分割，多头注意力机制可将注意力头分布到不同设备。每个设备持有部分参数，通过集合通信操作（如All-Reduce）合并计算结果。这种方案能更好利用设备计算资源，但通信开销较高。 模型并行的通信优化 设备间通信是模型并行的关键瓶颈。优化策略包括重叠计算与通信（在计算当前层时预取下一层所需数据）、梯度累积（减少同步频率）、使用高速互联技术（如NVLink）。在Transformer架构中，特别注意自注意力机制中的大矩阵运算分割，需设计高效的张量分布方案。 模型并行与混合并行策略 实际训练超大模型时，常采用模型并行与数据并行的混合策略。例如，在千亿参数模型中，先在节点内使用模型并行（张量并行），再在节点间使用数据并行。这种分层并行方式能同时解决内存限制和提升训练效率，是训练如GPT、BERT等大模型的核心技术。