基于图神经网络的整体知识蒸馏方法和系统
首页 企业 产品 技术 资讯 图库 视频 需求 会议 活动 产业
基于图神经网络的整体知识蒸馏方法和系统
来源:北方有色网
访问:1195
简介: 本发明的目的是提供一种基于图神经网络的整体知识蒸馏方法,包括:给定老师和学生网络学习到的特征表示和分类预测的结果,以每个样本为节点,网络学习到的特征为节点的属性,分类预测结果的K近邻(KNN)关系为边,为每个网络构建一个属性图;使用拓扑结构自适应的图卷积神经网络聚合属性图中邻域样本的节点属性以及拓扑信息来提取整体性知识,表示为统一的基于图的嵌入向量;使用infoNCE估计最大化学生网络与老师网络的图嵌入表示的互信息,并使用特征记忆存储技术加速训练效率。该方法:可以同时整合老师网络中个体上的知识和关系上的知识,使学生网络学习到整体性的知识,从而提升学生网络的性能。
本发明的目的是提供一种基于图神经网络的整体知识蒸馏方法,包括:给定老师和学生网络学习到的特征表示和分类预测的结果,以每个样本为节点,网络学习到的特征为节点的属性,分类预测结果的K近邻(KNN)关系为边,为每个网络构建一个属性图;使用拓扑结构自适应的图卷积神经网络聚合属性图中邻域样本的节点属性以及拓扑信息来提取整体性知识,表示为统一的基于图的嵌入向量;使用infoNCE估计最大化学生网络与老师网络的图嵌入表示的互信息,并使用特征记忆存储技术加速训练效率。该方法:可以同时整合老师网络中个体上的知识和关系上的知识,使学生网络学习到整体性的知识,从而提升学生网络的性能。
0
0
0
0
0
         
标签:化学分析
广州铭谦选矿设备有限公司宣传
广州铭谦选矿设备有限公司宣传
相关技术
评论(0条)
200/200
牛津仪器科技(上海)有限公司宣传
发布
技术

顶部
北方有色网-互联网服务平台-关于我们
Copyright 2025 China-mcc.com All Rights Reserved
备案号:京ICP备11044340号-3
电信业务经营许可证编号:京B2-20242293
京公网安备 11010702002294号