简介： 本发明涉及一种隐蔽通信系统中基于强化学习的波束扫描方法。具体地，在一个支持毫米波的隐蔽通信场景里，无人机作为发射机不知道监测者的确切位置，这种情况下，无人机采用多天线波束扫描的方法，在不同时隙中沿着不同的方向对地面上多个合法接收机进行波束形成传输。此时，发射机在一定程度上会产生信息泄露，为了避免被监测者检测到泄露的信息，需要优化波束扫描的波束数及发射功率，使其在满足隐蔽约束的条件下达到最大化平均吞吐量。为了提高发射机传输的准确性与高效性，本发明采用软动作‑评价（Soft Actor‑Critic，SAC）算法来约束发射功率和波束数量，引入最大化带熵的累计奖励，使平均吞吐量达到最大。