图像描述模型的训练方法及训练装置
首页 企业 产品 技术 资讯 图库 视频 需求 会议 活动 产业
图像描述模型的训练方法及训练装置
来源:北方有色网
访问:1401
简介: 本申请公开了一种图像描述模型的训练方法及训练装置。所述训练方法包括:针对图文对训练集中任一候选图像,首先输入词粒度训练后的图像描述模型得到候选预测文本,然后将候选图像和候选预测文本输入预训练的图文匹配模型确定图文相似度后,再将候选预测文本和候选标注文本的CIDEr与图文相似度按照预设比例相加,得到当前奖励值,根据当前奖励值获取参数更新梯度,进而完成词粒度训练后的图像描述模型在句子级别的微调。整个训练方法利用强化学习的方法把预训练的图文匹配模型与图像描述模型联系起来,使得训练后的图像描述模型能够生成与实际图像匹配程度较高的预测描述文本,可以提高图像描述模型的预测精度。
本申请公开了一种图像描述模型的训练方法及训练装置。所述训练方法包括:针对图文对训练集中任一候选图像,首先输入词粒度训练后的图像描述模型得到候选预测文本,然后将候选图像和候选预测文本输入预训练的图文匹配模型确定图文相似度后,再将候选预测文本和候选标注文本的CIDEr与图文相似度按照预设比例相加,得到当前奖励值,根据当前奖励值获取参数更新梯度,进而完成词粒度训练后的图像描述模型在句子级别的微调。整个训练方法利用强化学习的方法把预训练的图文匹配模型与图像描述模型联系起来,使得训练后的图像描述模型能够生成与实际图像匹配程度较高的预测描述文本,可以提高图像描述模型的预测精度。
0
0
0
0
0
         
标签:化学分析
广州铭谦选矿设备有限公司宣传
广州铭谦选矿设备有限公司宣传
相关技术
评论(0条)
200/200
牛津仪器科技(上海)有限公司宣传
发布
技术

顶部
北方有色网-互联网服务平台-关于我们
Copyright 2025 China-mcc.com All Rights Reserved
备案号:京ICP备11044340号-3
电信业务经营许可证编号:京B2-20242293
京公网安备 11010702002294号