简介:
本发明涉及一种基于强化学习的行为识别视频帧采样方法及系统,所述行为识别视频帧采样方法包括:从待测试视频提取待测视频帧序列,并从待测视频帧序列中均匀采样T帧待测图像;基于行为识别的基础模型及各帧待测图像,确定对应帧待测图像的待测特征向量和待测行为预测;针对每帧待测图像,将待测特征向量和待测行为预测级联,得到待测状态序列;根据基于长短时记忆网络的智能体及待测状态序列,确定每帧待测图像的待测重要性得分;按照待测重要性得分的大小,从各帧待测图像中选取多帧待测视频的关键帧;根据各关键帧的待测行为预测,得到待测视频的行为预测;根据待测视频的行为预测,确定识别结果,从而降低无关帧带来的负面影响,降低噪声。
本发明涉及一种基于强化学习的行为识别视频帧采样方法及系统,所述行为识别视频帧采样方法包括:从待测试视频提取待测视频帧序列,并从待测视频帧序列中均匀采样T帧待测图像;基于行为识别的基础模型及各帧待测图像,确定对应帧待测图像的待测特征向量和待测行为预测;针对每帧待测图像,将待测特征向量和待测行为预测级联,得到待测状态序列;根据基于长短时记忆网络的智能体及待测状态序列,确定每帧待测图像的待测重要性得分;按照待测重要性得分的大小,从各帧待测图像中选取多帧待测视频的关键帧;根据各关键帧的待测行为预测,得到待测视频的行为预测;根据待测视频的行为预测,确定识别结果,从而降低无关帧带来的负面影响,降低噪声。