简介:
本发明提供了一种模型压缩方法、系统、终端及存储介质,该方法包括:对待压缩模型进行模型训练,在待压缩模型中添加正则项和奇异值分解,得到奇异值矩阵,根据奇异值矩阵返回执行对待压缩模型进行模型训练的步骤及后续步骤,直至待压缩模型满足性能下降条件,输出待压缩模型;根据待压缩模型的权重张量进行参数聚类,得到权重参数矩阵,对权重参数矩阵进行权值量化,得到聚类量化矩阵;根据聚类量化矩阵对待压缩模型进行参数设置,得到压缩模型。本发明基于稀疏正则化、迭代剪枝和聚类量化的联合模型压缩方式,从全局的角度上对待压缩模型进行模型压缩,在保障精度不减的前提下,实现了最大化的模型压缩。
本发明提供了一种模型压缩方法、系统、终端及存储介质,该方法包括:对待压缩模型进行模型训练,在待压缩模型中添加正则项和奇异值分解,得到奇异值矩阵,根据奇异值矩阵返回执行对待压缩模型进行模型训练的步骤及后续步骤,直至待压缩模型满足性能下降条件,输出待压缩模型;根据待压缩模型的权重张量进行参数聚类,得到权重参数矩阵,对权重参数矩阵进行权值量化,得到聚类量化矩阵;根据聚类量化矩阵对待压缩模型进行参数设置,得到压缩模型。本发明基于稀疏正则化、迭代剪枝和聚类量化的联合模型压缩方式,从全局的角度上对待压缩模型进行模型压缩,在保障精度不减的前提下,实现了最大化的模型压缩。