权利要求
1.一种基于视觉及雷达融合的矿用车辆安全行驶检测系统，其特征在于，包括：
摄像头模块，用于通过矿用车辆上的摄像头获取所述矿用车辆前方的图像数据;采用Sobel算子计算图像数据的边缘梯度矩阵，基于HSV颜色空间分离路面颜色特征，提取饱和度分量生成颜色空间转换结果;将边缘梯度矩阵与颜色空间转换结果叠加生成复合特征图;
障碍物标记模块，基于复合特征图对梯度值超过第一预设阈值的像素点进行连通域标记，当连续出现超过预设数量像素点的连通区域时生成候选框;计算候选框对应饱和度分量矩阵的区域突变率，若区域突变率超过相邻路面区域的平均突变率预设倍数，且在连续三帧图像检测中均稳定存在，则标记为刚性障碍物;若区域突变率低于相邻路面区域的平均突变率，且对应图像数据的蓝色通道强度上升超过第一预设比例，标记为软性障碍物;
坑洞区筛选模块，用于对复合特征图进行邻域连通性扫描，当检测到闭合环形边缘结构且内部区域颜色空间转换结果的方差低于外部区域第二预设比例时，标记为待验证坑洞区;
障碍物确认模块，用于通过安装在矿用车辆上的雷达获取矿用车辆前方的点云数据，根据点云数据与图像数据任意位置的预设对应关系，提取点云数据中刚性障碍物、软性障碍物对应区域内的反射强度异常系数;当反射强度异常系数大于对应的第二预设阈值时，确认障碍物存在;反之，则确认为不存在;
实际坑洞区确认模块，用于计算闭合环形边缘结构内所有点云数据的高度差，当高度差超过预设差值时，确认为实际坑洞区;
提示模块，用于将确认后的刚性障碍物、软性障碍物和实际坑洞区对应的区域在图像数据上标记为警示区域;基于点云数据计算每个警示区域与矿用车辆的间距，将所述间距与警示区域投影在矿用车辆的显示屏上。
2.根据权利要求1所述的一种基于视觉及雷达融合的矿用车辆安全行驶检测系统，其特征在于，所述摄像头模块还包括：
在所述采用Sobel算子计算图像数据的边缘梯度矩阵之前，将图像数据划分为多个的局部子块，对每个子块分别计算灰度直方图并设定预设对比度限制参数，通过双线性插值算法消除局部子块间的边界效应，生成光照均衡的图像数据。
3.根据权利要求1所述的一种基于视觉及雷达融合的矿用车辆安全行驶检测系统，其特征在于，所述系统还包括：
陡坡识别模块，用于计算任意图像数据的水平边缘梯度，当所述图像数据中任一区域内连续超过10行像素的水平边缘梯度方向一致性超过第三预设比例时，判定所述区域存在坡度变化;
计算所述区域在垂直方向上的边缘密度衰减率，当衰减率每秒下降超过第四预设比例且持续3帧以上，确认形成陡坡地形;
将确认形成的陡坡地形在图像数据中标记，并在矿用车辆的显示屏上显示。
4.根据权利要求3所述的一种基于视觉及雷达融合的矿用车辆安全行驶检测系统，其特征在于，所述系统还包括：
泥泞识别模块，用于在HSV空间内，提取饱和度分量与亮度分量的第一比值变化曲线，当第一比值在设定像素窗口内波动幅度小于第五预设比例且整体亮度下降超过第六预设比例时，生成对应的候选区域;
通过Canny边缘检测算法对图像数据进行处理生成纹理特征图，在所述纹理特征图中提取候选区域的边缘像素点，计算所述边缘像素点中非连续边缘段的数量与总边缘长度的第二比值，当第二比值超过第三预设阈值时，确认为泥泞区域;
将确认的泥泞区域在图像数据中标记，并在矿用车辆的显示屏上显示。
5.根据权利要求4所述的一种基于视觉及雷达融合的矿用车辆安全行驶检测系统，其特征在于，所述系统还包括：
避障路径生成模块，用于基于所述刚性障碍物、软性障碍物、实际坑洞区的三维坐标，通过启发式路径搜索算法生成与障碍物保持预设安全间距的避障路径。
6.根据权利要求5所述的一种基于视觉及雷达融合的矿用车辆安全行驶检测系统，其特征在于，所述避障路径的生成包括：
将陡坡识别模块判定的坡度变化率超过预设阈值的区域设定为不可通行区，根据雷达点云数据中刚性障碍物、软性障碍物及实际坑洞区对应的高度差参数和与矿用车辆的间距参数，调整路径搜索算法中障碍物距离代价项与路径平滑度代价项的权重比例，使生成的路径优先保持与所述刚性障碍物的预设安全距离;
在所述显示屏的实时图像数据中，以第一标识标注避障路径轨迹，将陡坡地形对应的区域标记为第二标识，所述泥泞区域标记为第三标识。
7.根据权利要求6所述的一种基于视觉及雷达融合的矿用车辆安全行驶检测系统，其特征在于：所述系统还包括同步模块，用于将第一标识、第二标识和第三标识通过车辆间通信协议发送至后方车辆;具体处理过程为：
在任一矿用车辆的显示屏生成第一标识、第二标识或/和第三标识时，同步提取标记对应的类型属性和图像坐标系下的边界参数，封装为结构化数据包;
通过矿用车辆上的车载通信单元以固定频率广播所述数据包，并在数据包中附加矿用车辆当前GPS坐标及雷达采集的实时点云高度参数;
后方车辆接收到数据包后，根据自身雷达获取的前车距离信息，将接收到的标记坐标映射至本车坐标系，实现多车间的动态位置标定。
8.根据权利要求1所述的一种基于视觉及雷达融合的矿用车辆安全行驶检测系统，其特征在于，所述预设对应关系对应的公式为：
其中，分别为目标在图像坐标系中的像素横纵坐标，为相机坐标系下的目标的深度值;、分别为相机的x轴和y轴焦距，、分别为相机光心在图像平面的坐标，为旋转矩阵，为平移向量，、、分别为雷达坐标系下目标的三维坐标。
9.一种电子设备，其特征在于，所述电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1~8任一项所述的一种基于视觉及雷达融合的矿用车辆安全行驶检测系统。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1~8任一项所述的一种基于视觉及雷达融合的矿用车辆安全行驶检测系统。
说明书
技术领域
[0001]本申请涉及车辆安全行驶检测技术领域，具体而言，涉及一种基于视觉及雷达融合的矿用车辆安全行驶检测系统。
背景技术
[0002]本部分的内容仅提供了与本申请相关的背景信息，其可能并不构成现有技术。
[0003]在矿用车辆的安全行驶领域，障碍识别的重要性必不可少。矿区环境复杂多变，地形崎岖、能见度低、尘土飞扬等因素增加了车辆行驶的风险。准确识别前方的障碍物，如障碍物、坑洞、泥洼等，能够为驾驶员提供关键的预警信息，使其及时采取制动、避让等措施，从而有效避免碰撞事故的发生，保障人员生命安全、减少设备损坏以及降低因事故引发的生产中断和经济损失。
[0004]现有技术中，公告号为CN118244291A的中国专利公开了一种障碍物检测方法、终端设备及存储介质，虽然能够在一定程度上识别正障碍物和负障碍物，但其主要依赖于点云数据的几何特征，缺乏对视觉信息的综合利用，导致在动态场景和复杂光照条件下的检测精度不足。此外，该方法对软性障碍物(如松散的土堆或积水)的识别能力较弱，且在坑洞检测中仅依赖点云的高度差，容易受到点云稀疏性的影响，导致误判或漏判。从而使得该专利在复杂场景中适应性不足
因此，亟需一种基于视觉及雷达融合的矿用车辆安全行驶检测系统，结合点云数据和视觉图像，提高矿用车辆安全行驶的适应性。
发明内容
[0005]为了解决上述技术问题，本申请的目的在于提供一种基于视觉及雷达融合的矿用车辆安全行驶检测系统，通过视觉与雷达融合生成复合特征图，结合区域突变率和反射强度异常系数实现刚性与软性障碍物的精准分类，并通过邻域连通性扫描与高度差计算确认坑洞区域，同时利用实时间距的提示，提升检测结果的实用性，从而解决了现有技术在复杂场景中适应性不足的问题。
[0006]本申请的目的通过以下技术方案实现：
第一方面，本发明提供了一种基于视觉及雷达融合的矿用车辆安全行驶检测系统，包括：
摄像头模块，用于通过矿用车辆上的摄像头获取矿用车辆前方的图像数据;采用Sobel算子计算图像数据的边缘梯度矩阵，基于HSV颜色空间分离路面颜色特征，提取饱和度分量生成颜色空间转换结果;将边缘梯度矩阵与颜色空间转换结果叠加生成复合特征图;
障碍物标记模块，基于复合特征图对梯度值超过第一预设阈值的像素点进行连通域标记，当连续出现超过预设数量像素点的连通区域时生成候选框;计算候选框对应饱和度分量矩阵的区域突变率，若区域突变率超过相邻路面区域的平均突变率预设倍数，且在连续三帧图像检测中均稳定存在，则标记为刚性障碍物;若区域突变率低于相邻路面区域的平均突变率，且对应图像数据的蓝色通道强度上升超过第一预设比例，标记为软性障碍物;
坑洞区筛选模块，用于对复合特征图进行邻域连通性扫描，当检测到闭合环形边缘结构且内部区域颜色空间转换结果的方差低于外部区域第二预设比例时，标记为待验证坑洞区;
障碍物确认模块，用于通过安装在矿用车辆上的雷达获取矿用车辆前方的点云数据，根据点云数据与图像数据任意位置的预设对应关系，提取点云数据中刚性障碍物、软性障碍物对应区域内的反射强度异常系数;当反射强度异常系数大于对应的第二预设阈值时，确认障碍物存在;反之，则确认为不存在;
实际坑洞区确认模块，用于计算闭合环形边缘结构内所有点云数据的高度差，当高度差超过预设差值时，确认为实际坑洞区;
提示模块，用于将确认后的刚性障碍物、软性障碍物和实际坑洞区对应的区域在图像数据上标记为警示区域;基于点云数据计算每个警示区域与矿用车辆的间距，将间距与警示区域投影在矿用车辆的显示屏上。
[0007]进一步地，摄像头模块还包括：
在采用Sobel算子计算图像数据的边缘梯度矩阵之前，将图像数据划分为多个的局部子块，对每个子块分别计算灰度直方图并设定预设对比度限制参数，通过双线性插值算法消除局部子块间的边界效应，生成光照均衡的图像数据。
[0008]进一步地，系统还包括：
陡坡识别模块，用于计算任意图像数据的水平边缘梯度，当图像数据中任一区域内连续超过10行像素的水平边缘梯度方向一致性超过第三预设比例时，判定区域存在坡度变化;
计算区域在垂直方向上的边缘密度衰减率，当衰减率每秒下降超过第四预设比例且持续3帧以上，确认形成陡坡地形;
将确认形成的陡坡地形在图像数据中标记，并在矿用车辆的显示屏上显示。
[0009]进一步地，系统还包括：
泥泞识别模块，用于在HSV空间内，提取饱和度分量与亮度分量的第一比值变化曲线，当第一比值在设定像素窗口内波动幅度小于第五预设比例且整体亮度下降超过第六预设比例时，生成对应的候选区域;
通过Canny边缘检测算法对图像数据进行处理生成纹理特征图，在纹理特征图中提取候选区域的边缘像素点，计算边缘像素点中非连续边缘段的数量与总边缘长度的第二比值，当第二比值超过第三预设阈值时，确认为泥泞区域;
将确认的泥泞区域在图像数据中标记，并在矿用车辆的显示屏上显示。
[0010]进一步地，系统还包括：
避障路径生成模块，用于基于刚性障碍物、软性障碍物、实际坑洞区的三维坐标，通过启发式路径搜索算法生成与障碍物保持预设安全间距的避障路径。
[0011]进一步地，避障路径的生成包括：
将陡坡识别模块判定的坡度变化率超过预设阈值的区域设定为不可通行区，根据雷达点云数据中刚性障碍物、软性障碍物及实际坑洞区对应的高度差参数和与矿用车辆的间距参数，调整路径搜索算法中障碍物距离代价项与路径平滑度代价项的权重比例，使生成的路径优先保持与刚性障碍物的预设安全距离;
在显示屏的实时图像数据中，以第一标识标注避障路径轨迹，将陡坡地形对应的区域标记为第二标识，泥泞区域标记为第三标识。
[0012]进一步地，系统还包括同步模块，用于将第一标识、第二标识和第三标识通过车辆间通信协议发送至后方车辆;具体处理过程为：
在任一矿用车辆的显示屏生成第一标识、第二标识或/和第三标识时，同步提取标记对应的类型属性和图像坐标系下的边界参数，封装为结构化数据包;
通过矿用车辆上的车载通信单元以固定频率广播数据包，并在数据包中附加矿用车辆当前GPS坐标及雷达采集的实时点云高度参数;
后方车辆接收到数据包后，根据自身雷达获取的前车距离信息，将接收到的标记坐标映射至本车坐标系，实现多车间的动态位置标定。
进一步地，预设对应关系对应的公式为：
[0013]其中，分别为目标在图像坐标系中的像素横纵坐标，为相机坐标系下的目标的深度值;、分别为相机的x轴和y轴焦距，、分别为相机光心在图像平面的坐标，为旋转矩阵，为平移向量，、、分别为雷达坐标系下目标的三维坐标。
[0014]第二方面，本发明提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如第一方面中方法对应的步骤。
[0015]第三方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面中方法对应的步骤。
[0016]综上所述，本申请实施例的技术方案至少具有如下优点和有益效果：
本发明通过摄像头模块，利用Sobel算子提取图像边缘梯度矩阵，结合HSV颜色空间分离路面颜色特征生成复合特征图，增强环境特征表达;障碍物标记模块基于梯度阈值与连通域分析筛选候选区域，通过饱和度分量突变率与蓝色通道强度变化区分刚性/软性障碍物，结合三帧稳定检测降低误判;坑洞区筛选模块通过闭合环形边缘结构检测与颜色方差对比识别潜在坑洞;障碍物确认模块通过雷达点云反射强度异常系数验证视觉检测结果，建立图像坐标与点云空间的映射关系;实际坑洞区确认模块通过点云高度差量化地形突变;提示模块融合多传感器数据计算障碍物间距并投影显示。实现了通过视觉特征融合与雷达数据验证提升检测精度，利用颜色空间转换与梯度叠加增强复杂光照下的特征提取能力，采用多帧稳定检测与反射强度异常系数交叉验证降低误报率，结合点云高度差分析实现坑洞与平面障碍物的物理特征区分，有效提升矿区非结构化道路环境下的障碍物检测的适应性。
附图说明
[0017]图1为本发明提供的一种基于视觉及雷达融合的矿用车辆安全行驶检测系统的结构示意图;
图2为本发明中一种基于视觉及雷达融合的矿用车辆安全行驶检测系统的另一种结构示意图;
图3为本发明提供的一种电子设备的结构示意图。
具体实施方式
[0018]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
[0019]如图1所示，本申请实施例提出的一种基于视觉及雷达融合的矿用车辆安全行驶检测系统，包括：
摄像头模块101，用于通过矿用车辆上的摄像头获取矿用车辆前方的图像数据;采用Sobel算子计算图像数据的边缘梯度矩阵，基于HSV颜色空间分离路面颜色特征，提取饱和度分量生成颜色空间转换结果;将边缘梯度矩阵与颜色空间转换结果叠加生成复合特征图。
[0020]具体地，摄像头通过安装在车辆前端的广角镜头以每秒25帧的速率采集前方道路图像数据，采用1/2.8英寸CMOS传感器确保在低照度矿区环境下的成像质量。当获取原始RGB图像数据后，系统立即应用Sobel算子进行边缘检测，即通过在水平方向应用卷积核、垂直方向应用转置核进行双轴梯度计算，生成包含x和y方向梯度分量的边缘梯度矩阵，该矩阵能有效捕获障碍物轮廓特征，对光照变化具有鲁棒性。也就是说当车辆行驶至扬尘区域时，传统RGB图像会出现模糊，但边缘梯度矩阵仍能清晰显示隐藏在扬尘中的金属支架边缘。
[0021]而后采用HSV(Hue,Saturation,Value，即色调，饱和度和亮度)颜色空间转换技术，重点提取饱和度分量作为颜色特征指标。系统将原始RGB图像数据转换为HSV空间后，通过设置0.4-0.6的饱和度阈值范围，有效分离矿区路面的特征颜色(如铁矿石特有的红褐色在HSV空间具有高饱和度特征)。例如当车辆行驶在含有积水反光的碎石路面时，亮度分量可能剧烈波动，但饱和度分量能稳定保持路面特征的识别能力。通过构建128级量化直方图分析，系统可动态调整饱和度阈值以适配不同矿区的路面材质差异。
[0022]最后将边缘梯度矩阵与颜色空间转换结果进行特征融合时，采用加权叠加算法：对边缘梯度矩阵进行0.7的权重分配，对饱和度分量进行0.3的权重分配，形成包含空间结构和颜色特征的双重信息复合特征图。
[0023]另外，在采用Sobel算子计算图像数据的边缘梯度矩阵之前，将图像数据划分为多个的局部子块，对每个子块分别计算灰度直方图并设定预设对比度限制参数，通过双线性插值算法消除局部子块间的边界效应，生成光照均衡的图像数据。也就是说，系统对每个子块执行对比度受限的自适应直方图均衡化(CLAHE)算法，通过设定预设对比度限制参数为0.02，将单个子块的直方图分布拉伸幅度限制在相邻灰阶总频数的2%范围内，从而在增强局部对比度的同时避免噪声过度放大。例如，在同时存在强反光积水和暗色铁矿石的路段，传统全局直方图均衡化会导致高亮区域过曝而丢失金属支架边缘，而本方案通过对每个子块的独立处理，可分别保留积水区域的纹理细节和矿石区域的表面凹凸特征。
[0024]完成各子块的自适应均衡后，系统采用双线性插值算法消除子块间的边界效应。即计算每个像素点在其所属四个相邻子块中的权重系数，通过加权平均各子块均衡化后的灰度值，生成连续平滑的光照均衡图像。具体实施时，对于任一像素点(x，y)，系统首先确定其位于哪四个相邻子块的交叠区域，随后根据该点与各子块中心的距离比例计算插值权重。例如，当某像素位于两个横向相邻子块的交界处时，其左侧子块的权重系数为(1-dx)，右侧子块为dx，其中dx为该像素到左侧子块边界的归一化距离。这种插值机制有效解决了因分块处理可能产生的块状伪影，尤其在处理扬尘造成的渐变光照区域时，能够保持图像灰度的空间连续性。经实验验证，在典型矿区场景下，该方案可使图像局部对比度提升40%的同时，将块状伪影的发生率降低至0.5%以下。生成光照均衡的图像数据后，系统继续执行Sobel算子边缘检测流程。
[0025]障碍物标记模块102，基于复合特征图对梯度值超过第一预设阈值的像素点进行连通域标记，当连续出现超过预设数量像素点的连通区域时生成候选框;计算候选框对应饱和度分量矩阵的区域突变率，若区域突变率超过相邻路面区域的平均突变率预设倍数，且在连续三帧图像检测中均稳定存在，则标记为刚性障碍物;若区域突变率低于相邻路面区域的平均突变率，且对应图像数据的蓝色通道强度上升超过第一预设比例，标记为软性障碍物。
[0026]具体地，系统对复合特征图中每个像素的梯度幅值进行阈值筛选，当某像素的梯度值超过第一预设阈值(例如设定为梯度幅值量程的60%)时，将其判定为潜在障碍物边缘点。例如当车辆前方出现断裂的传送带金属支架时，其尖锐边缘在复合特征图中会形成梯度值超过120(假设梯度量程为0-200)的高亮区域。
[0027]在获得候选像素点集合后，模块采用八邻域连通域标记算法进行区域聚类。该算法通过递归遍历相邻像素点，将空间连续的候选点聚合成独立区域，并统计各连通域的像素数量。当某个连通域的像素数量超过预设数量(例如设定为50个像素点，对应实际环境中约0.3米×0.3米的障碍物投影)时，系统将生成矩形候选框。以金属支架为例，其X型交叉结构可能在图像中形成两个相邻的连通域，若每个连通域均包含80个以上高梯度像素，则会被分别框定为候选障碍物。
[0028]完成初步定位后，模块进一步通过饱和度分量矩阵进行材质特性分析。系统计算候选框内饱和度分量的区域突变率，该指标定义为候选框内相邻像素饱和度差值的绝对值之和与区域面积的比值。刚性障碍物(如金属设备残骸)因表面材质均匀且与路面存在显著颜色差异，其区域突变率通常达到相邻路面区域的2.5倍以上。例如某铁质障碍物候选框内的平均突变率为85，而周围路面的突变率均值为32，此时系统将触发刚性障碍物判定条件。而软性障碍物(如散落的篷布)由于材质吸光特性，其饱和度突变率往往低于路面1.2倍，但会因材质反光特性导致蓝色通道强度上升超过15%(预设第一比例)。
[0029]为确保检测稳定性，模块引入时序验证机制。当某个候选框在连续三帧图像(时间跨度120ms)中持续存在且空间位置符合车辆运动学模型推算的轨迹时，才会被最终确认为有效障碍物。例如扬尘中若隐若现的金属杆件可能在单帧图像中形成候选框，但若后续帧中该区域因尘雾遮挡导致连通域像素数量骤减，则会被判定为干扰噪声。这种多帧验证机制使系统在矿区典型60%扬尘浓度环境下，仍能保持92%以上的障碍物持续追踪准确率。
[0030]坑洞区筛选模块103，用于对复合特征图进行邻域连通性扫描，当检测到闭合环形边缘结构且内部区域颜色空间转换结果的方差低于外部区域第二预设比例时，标记为待验证坑洞区。
[0031]具体地，首先对复合特征图进行八方向邻域扫描，通过追踪梯度值超过第一预设阈值的像素点之间的空间连续性，寻找形成闭合环形的边缘结构。例如当车辆前方出现直径1.2米的塌陷坑洞时，其边缘在复合特征图中会呈现由连续高梯度像素构成的椭圆形轮廓，这种几何特征可通过扫描算法识别为闭合环形结构。
[0032]在检测到闭合环形结构后，模块进一步分析其内部区域的颜色空间转换结果(即HSV颜色空间中饱和度分量的分布特征)。通过计算环形结构内部区域的饱和度方差，并与外部相邻区域(取环形外扩20像素范围的环状区域)的饱和度方差进行对比。当内部区域方差低于外部区域第二预设比例(例如设定为外部方差的35%)时，表明该闭合区域内颜色分布均匀性显著高于周围路面，符合坑洞区因积水或沉积物导致的颜色均质化特征。该方案中，闭合环形边缘结构能有效捕捉坑洞特有的几何形态特征，避免将临时积水区(无明确边缘)或杂物堆积区(边缘非闭合)误判为坑洞;其次，内部颜色方差比对可排除光照变化引起的误报，例如当车灯照射在凹凸路面形成类环形阴影时，尽管可能产生暂时性边缘轮廓，但其内部颜色方差仍与正常路面保持同量级。
[0033]障碍物确认模块104，用于通过安装在矿用车辆上的雷达获取矿用车辆前方的点云数据，根据点云数据与图像数据任意位置的预设对应关系，提取点云数据中刚性障碍物、软性障碍物对应区域内的反射强度异常系数;当反射强度异常系数大于对应的第二预设阈值时，确认障碍物存在;反之，则确认为不存在。
[0034]具体地，首先依据摄像头模块与雷达的联合标定参数，建立图像像素坐标系与雷达极坐标系之间的预设对应关系矩阵，使得图像数据中任意候选框的位置均可映射到点云数据的对应空间区域。预设对应关系对应的公式为：
[0035]其中，分别为目标在图像坐标系中的像素横纵坐标，为相机坐标系下的目标的深度值;、分别为相机的x轴和y轴焦距，、分别为相机光心在图像平面的坐标，为旋转矩阵，为平移向量，、、分别为雷达坐标系下目标的三维坐标。
[0036]而后模块提取刚性障碍物、软性障碍物对应区域内点云数据的反射强度异常系数。该系数通过统计这些区域内雷达反射强度值的标准差与矿区路面基准反射强度的比值计算得出，其物理意义在于量化障碍物材质与常规路面的反射特性差异。具体而言，刚性障碍物如金属支架由于表面材质致密且导电性强，其雷达反射强度通常达到基准值的1.8倍以上，且区域内反射强度分布的标准差低于15%(反映材质均匀性);而软性障碍物如橡胶篷布因吸波特性，其反射强度仅为基准值的0.6倍，但受材质褶皱影响标准差可能升高至25%。例如当某候选框对应点云区域的反射强度均值为145dB(基准路面为80dB)，标准差为12dB时，计算得出的反射强度异常系数为(145/80)×(15%/12%)=2.81，超过刚性障碍物判定阈值2.5，系统即确认该障碍物真实存在。
[0037]实际坑洞区确认模块105，用于计算闭合环形边缘结构内所有点云数据的高度差，当高度差超过预设差值时，确认为实际坑洞区。
[0038]具体而言，当坑洞区筛选模块通过复合特征图识别出闭合环形边缘结构后，该模块立即调用雷达获取对应空间区域的点云数据。根据预设的传感器标定参数，系统将闭合环形结构在图像坐标系中的几何位置映射至雷达坐标系，精准提取该环形区域覆盖的三维点云数据集。例如当视觉检测到直径1.2米的椭圆形闭合边缘时，系统通过坐标转换矩阵确定该区域在雷达点云中的空间范围，通常对应约2000-3000个有效点云数据点。
[0039]模块随后对这些点云数据进行高程分析，计算其高度差的统计特征。具体实施时，首先以环形结构中心点所在水平面为基准平面，采用最小二乘法拟合理想路面平面方程。然后计算环形区域内所有点云数据到该基准平面的垂直距离，并统计最大高度差指标。当最大高度差超过预设差值(例如设定为0.5米，对应矿区常见塌陷坑洞的最小危险深度)时，系统将确认此为实际坑洞区。以某铁矿运输巷道为例，当车辆前方出现因地质活动形成的直径1.5米塌陷坑时，雷达点云数据显示坑底最低点与周围路面的高度差达0.82米，显著超过阈值，此时系统立即触发坑洞警报;而临时积水区域虽在视觉上呈现类似闭合环形特征，但其点云高度差仅为0.08米，远低于判定阈值，因此不会被误判为危险坑洞。
[0040]提示模块106，用于将确认后的刚性障碍物、软性障碍物和实际坑洞区对应的区域在图像数据上标记为警示区域;基于点云数据计算每个警示区域与矿用车辆的间距，将间距与警示区域投影在矿用车辆的显示屏上。
[0041]具体地，该模块首先接收来自障碍物确认模块的刚性障碍物(如金属支架)、软性障碍物(如散落篷布)的坐标信息，以及来自实际坑洞区确认模块的塌陷区域空间参数。通过将图像数据与点云数据进行时空对齐，模块在图像数据上叠加半透明的警示标记(即警示区域)：刚性障碍物采用红色矩形框标注，框体线宽与障碍物高度正相关;软性障碍物使用黄色虚线框标注，其透明度随障碍物材质反射率动态调整;实际坑洞区则用蓝色同心圆标记，内圆直径精确反映坑洞开口尺寸，外圆半径根据坑洞深度扩展(例如0.5米深坑洞外圆半径比内圆大15像素)。
[0042]在空间定位方面，模块通过解析雷达点云数据的三维坐标，结合矿用车辆实时定位系统(RTK-GNSS，即Real-Time Kinematic Global Navigation Satellite System)输出的车辆位姿数据，计算每个警示区域中心点相对于车辆质心的欧氏距离。具体实施时，系统以车辆前保险杠中心为坐标系原点，利用点云数据中障碍物对应区域的三维点集，通过加权质心算法确定其空间位置。例如当检测到前方12米处存在金属支架时，系统提取该障碍物候选框映射的200个雷达点云数据，剔除高度噪声点(Z轴坐标超出路面基准±0.3米的点)后，计算剩余点的平均XYZ坐标，得出障碍物实际距离为12.3米，水平偏航角为-2.1度(表示位于车辆行进方向左前方)。
[0043]可视化投影阶段，系统将计算得到的警示区域空间参数转换为驾驶室显示屏的二维投影坐标。该过程采用透视投影矩阵，结合显示屏安装角度(通常设定为与驾驶员视线呈15°俯角)进行坐标变换，确保警示标记在屏幕上的位置与真实空间方位保持严格对应。例如当实际坑洞位于车辆右前轮轨迹前方8米处时，系统会将该坑洞的蓝色同心圆标记动态显示在显示屏右侧1/3区域，并根据车辆时速(假设为20km/h)计算标记的闪烁频率(5Hz)以强化警示效果。这种空间映射机制可使驾驶员无需执行视觉焦点切换(即同时观察路面和显示屏时)，就能通过周边视觉捕获80%以上的警示信息。
[0044]进一步地，系统还包括：
陡坡识别模块107，用于计算任意图像数据的水平边缘梯度，当图像数据中任一区域内连续超过10行像素的水平边缘梯度方向一致性超过第三预设比例时，判定区域存在坡度变化;计算区域在垂直方向上的边缘密度衰减率，当衰减率每秒下降超过第四预设比例且持续3帧以上，确认形成陡坡地形;将确认形成的陡坡地形在图像数据中标记，并在矿用车辆的显示屏上显示。
[0045]具体地，该模块首先对摄像头模块生成的边缘梯度矩阵进行水平梯度分量提取，当检测到图像中某一区域内连续超过10行像素的水平边缘梯度方向一致性超过第三预设比例(例如设定为85%)时，初步判定该区域存在坡度变化。其原理在于：矿用车辆行驶过程中，当道路出现陡坡时，路面上形成的水平边缘(如坡顶与坡底的过渡线)会在图像中呈现连续多行像素的梯度方向高度一致性特征。例如在坡度角超过15°的上坡路段，摄像头采集的图像中坡面与天际线的交界处会形成水平梯度方向一致的边缘带，其连续10行像素中超过90%的像素水平梯度方向均指向同一侧(如右侧)，此时触发初步陡坡判定条件。
[0046]而后，该模块通过计算该区域内垂直方向上的边缘密度衰减率进行地形特征验证。边缘密度衰减率定义为每行像素中垂直梯度幅值超过第一预设阈值的像素数量沿垂直方向(自上而下)的递减速率。当检测到该区域的边缘密度衰减率每秒下降超过第四预设比例(例如设定为30%)且持续3帧以上时，系统确认形成陡坡地形。其原理在于：当车辆接近陡坡时，由于坡面几何形态的突变，垂直边缘(如坡面碎石纹理)在图像中的可见范围会随着车辆接近而快速缩小。例如在驶向30°陡坡的过程中，坡面碎石在图像中形成的垂直边缘密度在前三帧(时间跨度120ms)内从每行120个有效边缘点锐减至84个(下降30%)，并在后续两帧中继续下降至60个，此时系统将满足陡坡地形确认条件。
[0047]在完成地形特征验证后，模块将确认形成的陡坡地形在图像数据中采用绿色波浪线标记，其标记范围覆盖梯度方向一致性区域的外接矩形。同时，系统根据连续三帧内边缘密度衰减率的变化趋势，通过线性回归算法预测当前陡坡的坡度角，并将该角度值叠加显示在矿用车辆驾驶室显示屏的对应位置。例如当检测到坡度角为22°的爬坡路段时，系统在图像中坡顶位置绘制宽度为5像素的绿色波浪线，并在其下方动态显示“坡度22°”的警示文字。
[0048]进一步地，系统还包括泥泞识别模块108。
[0049]该模块用于在HSV空间内，提取饱和度分量与亮度分量的第一比值变化曲线，当第一比值在设定像素窗口内波动幅度小于第五预设比例且整体亮度下降超过第六预设比例时，生成对应的候选区域。
[0050]详细地，首先从摄像头模块获取的HSV颜色空间转换结果中提取饱和度分量和亮度分量，计算每个像素点处饱和度分量与亮度分量的第一比值(S/V比值)，并以设定像素窗口(例如50×50像素的滑动窗口)为单位统计该比值在空间分布上的波动幅度。当某区域的第一比值波动幅度小于第五预设比例(例如设定为15%)且整体亮度值相较于基准路面下降超过第六预设比例(例如设定为30%)时，生成对应的候选区域。其原理在于：泥泞区域由于水分浸润导致表面颜色均质化，在HSV空间中表现为饱和度分量与亮度分量的比值趋于稳定(波动幅度降低)，同时湿润表面因光线漫反射效应导致整体亮度显著下降。例如当车辆行驶至含泥量达40%的积水路段时，泥浆混合物的红褐色在HSV空间中饱和度分量稳定在0.35-0.45区间，亮度分量由正常路面的0.7下降至0.5，此时第一比值波动幅度仅为12%，符合候选区域生成条件。
[0051]随后，通过Canny边缘检测算法对图像数据进行处理生成纹理特征图，在纹理特征图中提取候选区域的边缘像素点，计算边缘像素点中非连续边缘段的数量与总边缘长度的第二比值，当第二比值超过第三预设阈值时，确认为泥泞区域;
详细地，该模块通过Canny边缘检测算法对原始图像数据进行多尺度梯度计算，生成高分辨率的纹理特征图。在纹理特征图中，针对候选区域进行边缘像素点提取，并计算边缘像素点中非连续边缘段的数量与总边缘长度的第二比值。当第二比值超过第三预设阈值(例如设定为0.25)时，确认为泥泞区域。其原理为：泥泞路面因湿滑导致的表层纹理破坏会形成大量细碎、断裂的边缘特征，与正常路面的连续纹理形成显著差异。具体实施时，Canny算法采用双阈值(例如设定低阈值为30、高阈值为90)进行梯度幅值筛选，并通过非极大值抑制技术保留真实边缘信息。例如在泥泞区域中，破碎的石子与泥浆混合物交界处会形成长度小于5像素的非连续边缘段，其数量占比可达总边缘长度的28%，超过判定阈值触发确认条件。
[0052]最后，将确认的泥泞区域在图像数据中标记，并在矿用车辆的显示屏上显示。即将确认的泥泞区域边界坐标发送至提示模块，在图像数据中以绿色半透明多边形进行标记，并在矿用车辆的显示屏上叠加警示图标。警示图标根据泥泞区域的面积和形状参数自适应调整显示尺寸，当泥泞区域面积超过2平方米时，图标外围增加高频闪烁边框以强化警示效果。
[0053]进一步地，系统还包括避障路径生成模块109。该模块用于基于刚性障碍物、软性障碍物、实际坑洞区的三维坐标，通过启发式路径搜索算法生成与障碍物保持预设安全间距的避障路径。
[0054]
[0055]其中，表示从起点到节点n的实际移动代价，为节点n到目标点的启发式估计代价，为路径平滑度惩罚项。动态权重调整机制体现在、、三个系数的实时计算上：当检测到刚性障碍物时，根据其与当前路径节点的水平间距d，按公式动态增大路径偏离代价，迫使生成的路径与刚性障碍物保持至少1.2米的安全间距;当路径经过软性障碍物区域时，通过降低值至0.1以下，允许路径产生更大曲率以绕开可能影响车辆稳定性的松软区域。
[0056]其中，避障路径的生成包括：
将陡坡识别模块判定的坡度变化率超过预设阈值的区域设定为不可通行区，根据雷达点云数据中刚性障碍物、软性障碍物及实际坑洞区对应的高度差参数和与矿用车辆的间距参数，调整路径搜索算法中障碍物距离代价项与路径平滑度代价项的权重比例，使生成的路径优先保持与刚性障碍物的预设安全距离。
[0057]详细地，当检测到连续三个栅格单元的高程上升率超过15%(对应坡度角>8.5°)时，将该区域标记为不可通行区。例如在铁矿运输巷道中，若前方10米处存在因塌方形成的斜坡，雷达点云数据显示该区域在横向3米范围内高程从+0.2米骤升至+2.1米，高程变化率达63%/米，此时模块将生成覆盖该斜坡区域的红色警示多边形，并禁止路径搜索算法选择穿过该区域的节点。
[0058]另外，路径生成过程中的多约束融合机制通过分层决策架构实现：第一层处理刚性障碍物约束，采用椭圆扩张法对障碍物占据栅格进行膨胀处理，膨胀半径为：其中，为车辆当前速度，单位m/s。由此确保动态安全距离;第二层处理地形约束，将不可通行区对应的栅格代价设为无穷大，同时根据地面材质分类结果(通过饱和度分量与雷达反射强度联合判断)调整栅格移动代价系数，例如泥泞区域的移动代价系数设为2.5，碎石路面设为1.0;第三层进行路径平滑优化，采用B样条曲线拟合初步路径节点，确保路径曲率连续且符合车辆最小转弯半径(设定为6米)。
[0059]最后，在显示屏的实时图像数据中，以第一标识标注避障路径轨迹，将陡坡地形对应的区域标记为第二标识，泥泞区域标记为第三标识。
[0060]进一步地，系统还包括同步模块，用于将第一标识、第二标识和第三标识通过车辆间通信协议发送至后方车辆;具体处理过程为：
在任一矿用车辆的显示屏生成第一标识、第二标识或/和第三标识时，同步提取标记对应的类型属性和图像坐标系下的边界参数，封装为结构化数据包。
[0061]详细地，当主车辆(即检测到障碍物的车辆)的显示屏生成第一标识(刚性障碍物)、第二标识(软性障碍物)或第三标识(实际坑洞区)时，同步模块立即提取各标识的类型属性、图像坐标系下的边界参数及关联传感器数据，形成包含多维信息的结构化数据包。其中，类型属性包括标识分类编码(如01代表刚性障碍物、02代表软性障碍物、03代表坑洞区)、置信度等级(基于多帧验证次数及传感器一致性评分生成);边界参数包含警示区域在图像坐标系中的顶点坐标集合，以归一化比例表示(如左上角坐标(0.2,0.5)、右下角坐标(0.3,0.7));附加数据则包括主车辆当前GPS坐标(WGS84格式，精度达厘米级)及雷达采集的实时点云高度参数(包含障碍物区域点云高程极值及标准差)。例如当某主车辆在图像坐标系(320×240)中检测到左上角(80,120)至右下角(160,180)的刚性障碍物标识时，模块将提取该矩形框的归一化坐标(0.25,0.5)-(0.5,0.75)，并附加当前GPS坐标(北纬39°56'27.6"，东经116°20'15.8")及对应区域雷达点云高度参数(最大高程差0.8米，标准差0.12米)。
[0062]通过矿用车辆上的车载通信单元以固定频率广播数据包，并在数据包中附加矿用车辆当前GPS坐标及雷达采集的实时点云高度参数;详细地，数据封装与广播机制采用分层编码策略，将上述信息封装为符合ISO 20078标准的数据帧结构。车载通信单元以固定频率(通常设定为10Hz)通过专用短程通信(DSRC，即Dedicated Short RangeCommunications)协议广播数据包，每个数据包包含16字节包头(含时间戳、车辆ID及校验码)和128字节有效载荷。例如某主车辆在t=1234567890ms(该时间是一个用于示例的绝对时间戳，代表系统中某一时刻的数字表示)时广播的数据包中，类型属性字段为"01-0.95"(表示刚性障碍物且置信度95%)，边界参数字段包含4组浮点数，附加数据字段包含双精度GPS坐标及浮点型高程参数。该机制确保后方车辆在200ms内至少接收两次更新数据，满足矿区车辆最大相对速度40km/h下的信息同步需求。
[0063]后方车辆接收到数据包后，根据自身雷达获取的前车距离信息，将接收到的标记坐标映射至本车坐标系，实现多车间的动态位置标定。详细地，后方车辆的数据融合处理包含以下核心步骤：(1) 通过车载通信单元接收数据包并解析各字段;(2) 基于主从车辆GPS坐标差计算空间相对位置，结合本车雷达采集的前车距离信息(精度±0.3m)建立坐标转换矩阵;(3) 将接收到的图像坐标系边界参数映射至本车传感器坐标系。具体实施时，后方车辆首先解析主车辆GPS坐标，通过UTM投影转换为平面直角坐标，与本车实时GPS坐标进行差分计算，获得两车间相对方位角及距离。例如当主车辆位于东偏北15°方向、距离28.5米处时，后方车辆通过坐标变换矩阵将接收到的障碍物图像坐标(0.25,0.5)-(0.5,0.75)转换为本车图像坐标系中的(0.31,0.53)-(0.55,0.78)，该转换考虑了车辆航向角偏差(通过本车IMU传感器获取)及透视投影畸变。同时，模块将主车辆雷达点云高度参数与本车实时点云数据进行空间配准，当检测到高程特征一致性超过85%时，判定为可信映射。
[0064]基于同一发明构思，本发明提供了一种电子设备，包括：存储器202、处理器201及存储在所述存储器202上并可在所述处理器201上运行的计算机程序，所述处理器201执行所述计算机程序时实现一种基于视觉及雷达融合的矿用车辆安全行驶检测系统。
[0065]基于同一发明构思，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现一种基于视觉及雷达融合的矿用车辆安全行驶检测系统。
[0066]以上仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
说明书附图(3)
