神经网络模型量化 神经网络模型量化是通过降低神经网络中数值表示精度的技术。传统神经网络通常使用32位浮点数（FP32）表示权重和激活值，而量化技术将其转换为低精度表示（如8位整数INT8）。这个过程需要解决三个关键问题：如何将浮点数值映射到整数空间、如何处理溢出问题、如何维持模型精度。 量化过程采用线性映射关系：$Q = round(\frac{X}{scale} + zero\_point)$。其中scale是缩放因子，zero_ point是零点偏移量。以FP32到INT8量化为典型场景，将$[ -127,127 ]$的整数范围与原始浮点数值范围建立线性对应关系。例如将权重从FP32转换为INT8时，需要计算浮点数值的最大最小值，确定缩放比例，然后进行四舍五入取整操作。 量化类型主要分为后训练量化（PTQ）和量化感知训练（QAT）。PTQ在模型训练完成后直接进行量化，通过校准数据集统计激活值分布，适用于快速部署场景。QAT在训练过程中模拟量化效果，在前向传播时加入量化噪声，反向传播时采用直通估计器（STE）绕过不可导的量化操作，能更好地保持模型精度。 实现量化还需要考虑对称量化和非对称量化的选择。对称量化以零点为中心，简化计算但可能浪费表示范围；非对称量化能充分利用整数表示空间但增加零点计算开销。在实际部署中，通常结合混合精度策略，对敏感层保持较高精度，对常规层采用激进量化。 模型量化的最终效果体现在计算效率提升和内存占用降低两方面。INT8相比FP32可减少75%的内存占用，同时利用整数计算单元获得2-4倍的推理加速。这种技术特别适合边缘设备和移动端的模型部署，在保持可接受精度损失的前提下显著提升推理效率。