基于推敲注意力机制的图像描述生成系统及方法
首页 企业 产品 技术 资讯 图库 视频 需求 会议 活动 产业
基于推敲注意力机制的图像描述生成系统及方法
来源:北方有色网
访问:1004
简介: 本发明涉及图像理解领域,其公开了一种基于推敲注意力机制的图像描述生成系统及方法,解决现有图像描述方案存在的缺少润色过程、训练和测试过程不一致、生成描述辨识度不高的问题。该方法包括:a.数据集的处理:提取图像的全局特征和局部特征,构建数据集,对数据集中的单词进行标记,生成对应的词嵌入向量;b.训练图像描述生成模型:采用第一层基于残差注意力机制的解码器生成粗略的图像描述,采用第二层基于残差注意力机制的解码器对已生成的图像描述进行润色;c.结合强化学习进一步训练模型:在训练过程中模拟模型的测试过程,并且以生成描述的CIDEr分数来引导模型的训练,结合强化学习对模型进行调整。
本发明涉及图像理解领域,其公开了一种基于推敲注意力机制的图像描述生成系统及方法,解决现有图像描述方案存在的缺少润色过程、训练和测试过程不一致、生成描述辨识度不高的问题。该方法包括:a.数据集的处理:提取图像的全局特征和局部特征,构建数据集,对数据集中的单词进行标记,生成对应的词嵌入向量;b.训练图像描述生成模型:采用第一层基于残差注意力机制的解码器生成粗略的图像描述,采用第二层基于残差注意力机制的解码器对已生成的图像描述进行润色;c.结合强化学习进一步训练模型:在训练过程中模拟模型的测试过程,并且以生成描述的CIDEr分数来引导模型的训练,结合强化学习对模型进行调整。
0
0
0
0
0
         
标签:化学分析
广州铭谦选矿设备有限公司宣传
广州铭谦选矿设备有限公司宣传
相关技术
评论(0条)
200/200
牛津仪器科技(上海)有限公司宣传
发布
技术

顶部
北方有色网-互联网服务平台-关于我们
Copyright 2025 China-mcc.com All Rights Reserved
备案号:京ICP备11044340号-3
电信业务经营许可证编号:京B2-20242293
京公网安备 11010702002294号