首页资讯神经网络的梯度分布感知 INT8 训练,Neurocomputing

神经网络的梯度分布感知 INT8 训练,Neurocomputing

来源：泰然健康网时间：2024年12月13日 06:05

最近，低位宽量化（如 INT8）已普遍用于深度神经网络推理加速，但很少有研究人员关注低精度训练量化技术。考虑到深度神经网络训练中的反向传播计算量更大，并且比推理过程具有更大的能量开销，反向传播的量化对于超大规模神经网络的训练以及低-具有在线培训需求的功率器件。然而，梯度分布的形状特异性和连续可变性使得梯度量化变得困难，许多研究提出了各种复杂的梯度量化方法以减少训练精度损失。在本文中，我们提出了两种主要用于 INT8 量化训练的创新技术，包括用于量化各种特殊梯度分布的数据感知动态分段量化方案和用于实现较低量化误差的更新方向周期性搜索策略。然后，我们基于这两种方法构建了一个分布感知的 INT8 量化训练框架，并在各种模型和任务上进行了实验。实验结果表明，与不同模型（包括 ResNet、MobileNetV2、VGG、AlexNet 和 LSTM）上的全精度浮点对应方法相比，我们提出的 INT8 量化训练方法在最终训练精度上的损失可以忽略不计。通过用8位整数计算代替浮点计算进行网络训练，

"点击查看英文标题和摘要"