简介： 本发明公开了一种基于深度强化学习的毫米波通信波束训练方法，该方法通过定义强化学习模型中的状态、目标、奖励等要素在波束训练这一实际问题中的具体表示来对毫米波信道进行追踪；将状态定义为图像的形式，使用卷积神经网络对强化学习中的值函数进行近似，动作定义为基于上一时刻信道最优波束组合的移动方向、距离以及波束覆盖范围的三元组形式；在设计奖励函数时，将一个时间片内有效的数据可达速率作为目标值；在神经网络的训练过程中，使用了Q学习的方法来更新网络参数；利用训练的深度Q网络进行预测，选择Q值最大的动作，该动作对应下一时刻需要测试的波束组合。