神经网络Transformer架构中的束搜索 神经网络Transformer架构中的束搜索是一种在序列生成任务中使用的解码策略，常用于机器翻译、文本摘要和对话生成等场景。它通过在每一步保留多个最有可能的候选序列，平衡生成质量和计算效率，避免贪心搜索的局部最优问题。 束搜索的核心参数是束宽（beam width），记为 \( k \)，表示每一步保留的候选序列数量。过程开始时，模型基于输入序列（如编码器输出）初始化第一个时间步的 \( k \) 个最可能词符。随后，每一步扩展所有候选序列，计算累积概率（通常用对数概率求和以避免数值下溢），并仅保留总概率最高的 \( k \) 个新序列。重复此过程直到生成结束符或达到最大长度，最终选择累积概率最高的序列作为输出。 束搜索的数学基础是概率链式法则。对于一个输出序列 \( y = (y_ 1, y_ 2, \dots, y_ T) \)，其概率建模为 \( P(y \mid x) = \prod_ {t=1}^T P(y_ t \mid x, y_ {<t}) \)，其中 \( x \) 是输入序列。束搜索通过最大化 \( \sum_ {t=1}^T \log P(y_ t \mid x, y_ { <t}) \) 来近似寻找最优序列。与贪心搜索（仅保留当前最优）相比，束搜索的探索更全面；与穷举搜索相比，其计算复杂度为 \( O(k \cdot T \cdot V) \)（\( V \) 为词汇表大小），在实际中更可行。 束搜索的变体包括长度归一化（length normalization），用于解决长序列概率自然偏低的问题。例如，将分数除以序列长度 \( T \) 或使用平滑函数调整。此外，束搜索可能生成重复或乏味的序列，因此常结合惩罚机制（如 n-gram 重复抑制）或采样策略（如 Top-k 采样）增强多样性。 束搜索与Transformer架构紧密集成，尤其在自回归生成中。编码器处理输入后，解码器逐步生成输出，每一步利用交叉注意力关注编码器表示，并通过束搜索管理候选序列。现代实现（如Hugging Face库）支持动态束宽调整和早期终止优化。 束搜索的局限性包括对高概率序列的偏好可能忽略创造性输出，且束宽增大时计算成本线性增长。因此，实际应用中需权衡质量与效率，例如在实时系统中使用较小 \( k \) 值，而在离线任务中采用较大 \( k \) 值。