简介： 本发明公开了一种基于强化学习的视频连续手语识别方法及系统，方法包括：基于残差连接的三维卷积神经网络对原始手语视频的各个视频段进行时空域特征提取，对时空域特征利用双向长短时记忆网络进行上下文学习，得到手语视频的特征；基于多尺度感知网络对手语视频进行不同感受野下的再表达，以最小化联结主义时间分类损失为目标将网络训练至收敛后，将残差连接的三维卷积神经网络和双向长短时记忆网络提取的视频特征保存；基于保存的视频特征，利用边界检测器根据定义的状态确定出视频段的语义边界；将两两边界之间语义一致的若干个视频段以池化的方式进一步提取特征，基于进一步提取到的特征进行手语词汇的识别。本发明能够提高手语识别性能。