简介： 本发明涉及一种基于跨模态预测装配场景的机器人装配的方法及系统，其中，在所述机器人末端的夹持执行器上设有触觉传感器，并且所述夹持执行器的装配区域被视觉设备拍摄：提供多个神经网络模型，所述神经网络模型包括多层感知机、强化学习网络模型和张量融合网络模型，其中的训练数据包含来自所述视觉设备的视觉数据、来自所述触觉传感器的触觉数据、来自机器人控制器的位姿数据、所述机器人的动作反馈数据和力矩反馈数据。本发明的多层感知机输出的预测视觉表征向量代替现有采用视觉设备收集实际真实图片的数据，使该系统发生譬如被夹持执行器遮挡视觉设备或者视觉设备出现虚焦等问题时，整个系统仍能完成精密装配步骤，增加系统的可靠性。