简介： 本发明公开了一种基于多模态融合的多目标跟踪的方法和系统，包括目标检测模块、特征提取模块、特征融合模块、相似度计算模块及数据关联模块；其中，所述目标检测模块采用yolov4算法从图像获取目标的2D检测框，并采用PointPillars算法从点云获取目标的3D检测框，所述特征提取模块用于对检测框进行处理，提取目标的2D、3D外观特征，本发明通过多个独立的传感器特征提取来保持可靠性，利用多模态加权融合方式，得到更全面的目标特征，提高精度，可以有效避免单一传感器失效问题，使用图神经网络和图卷积优化目标关联，提升准确度，滤波预测更新，弥补目标的丢失问题，对多个目标进行实时跟踪，生成对应ID，关联前后帧的同一目标，实现高精度定位的效果。