简介:
本申请公开了混合精度神经网络量化方法、装置及设备。其中,所述方法通过结合强化学习和验证数据生成技术来确定混合精度量化策略,使得基于自动生成的验证数据集来确定混合精度网络和待量化网络输出的分布差距,以此作为评判量化策略效果的标准。采用这种处理方式,无需用户提供用于检验量化网络的准确率的验证数据,且降低了验证量化网络准确率的耗时;无需用户微调通过强化学习确定的量化网络,即可获得用较小精度损失换取较大计算量降幅的量化网络,且简化了网络量化流程,实现了用户无感的模型量化策略搜索;因此,在确保模型精度损失较小的前提下,可以有效提升模型量化效率,保护用户的数据隐私,以及降低人工成本。
本申请公开了混合精度神经网络量化方法、装置及设备。其中,所述方法通过结合强化学习和验证数据生成技术来确定混合精度量化策略,使得基于自动生成的验证数据集来确定混合精度网络和待量化网络输出的分布差距,以此作为评判量化策略效果的标准。采用这种处理方式,无需用户提供用于检验量化网络的准确率的验证数据,且降低了验证量化网络准确率的耗时;无需用户微调通过强化学习确定的量化网络,即可获得用较小精度损失换取较大计算量降幅的量化网络,且简化了网络量化流程,实现了用户无感的模型量化策略搜索;因此,在确保模型精度损失较小的前提下,可以有效提升模型量化效率,保护用户的数据隐私,以及降低人工成本。