权利要求
1.一种基于混合现实与大空间定位的矿山安全培训系统，其特征在于，包括：舱体结构、多个视觉定位标记物、MR头戴设备、定位模块、手势交互模块、场景融合模块和培训控制模块;
所述舱体结构用于提供物理培训空间;
多个所述视觉定位标记物布置在舱体结构内，且每个视觉定位标记物均具有唯一编码标识;
所述MR头戴设备包括高精度摄像头和显示单元;所述高精度摄像头用于采集包含视觉定位标记物的环境图像;
所述定位模块包括图像处理单元，所述图像处理单元通过图像识别技术识别环境图像中的视觉定位标记物，并计算出MR头戴设备在虚拟场景中的实时位置和姿态;
所述手势交互模块对矿山作业中的专业手势进行识别;
所述场景融合模块对所述高精度摄像头捕获的实时视频中的指定真实图像区域进行保留处理，并将虚拟教学内容与经保留处理的真实图像区域进行融合;
所述培训控制模块用于集成并调度所述定位模块的实时位置数据、所述手势交互模块的手势识别结果及所述场景融合模块的渲染参数，以运行包含大空间自由移动、手势交互及虚实融合场景的矿山安全培训流程。
2.根据权利要求1所述的一种基于混合现实与大空间定位的矿山安全培训系统，其特征在于，所述视觉定位标记物为ArUco标记或AprilTag标记。
3.根据权利要求1所述的一种基于混合现实与大空间定位的矿山安全培训系统，其特征在于，所述定位模块通过集成于Unity引擎中的OpenCV库函数实现视觉定位标记物的检测与识别，并通过算法求解Perspective-n-Point问题计算实时位置和姿态。
4.根据权利要求1所述的一种基于混合现实与大空间定位的矿山安全培训系统，其特征在于，所述手势交互模块中的手势识别模型为基于MediaPipe框架，并利用包含矿山作业动作的自定义手部图像数据集进行训练优化的卷积神经网络模型。
5.根据权利要求1所述的一种基于混合现实与大空间定位的矿山安全培训系统，其特征在于，所述场景融合模块用于根据培训流程指令，在渲染管线中动态生成一矩形遮罩;该矩形遮罩作用于高精度摄像头的渲染纹理，使得对应矩形区域内的真实环境元素得以保留显示，而区域外部则由虚拟矿山场景覆盖。
6.根据权利要求1所述的一种基于混合现实与大空间定位的矿山安全培训系统，其特征在于，所述培训控制模块提供的培训流程包括入矿准备、撬棍流程体验、高空坠落事故模拟及急救事故模拟。
7.一种基于混合现实与大空间定位的矿山安全培训方法，基于权利要求1-6所述的一种基于混合现实与大空间定位的矿山安全培训系统，其特征在于，包括如下步骤：
S1：在物理培训空间内布置视觉定位标记物，构建与真实矿山1:1对应的虚拟场景模型;
S2：用户佩戴MR头戴设备进入物理培训空间;
S3：通过识别视觉定位标记物，实时计算用户的位置和姿态，实现在虚拟场景中的大范围自由行走与定位;
S4：通过优化的手势识别模型，捕获并识别用户对虚拟工具的操作手势;
S5：通过场景融合模块动态生成的矩形遮罩，保留并融合指定区域内的真实环境图像与虚拟教学内容;
S6：引导用户完成S3-S5的沉浸式安全培训课程。
8.根据权利要求7所述的一种基于混合现实与大空间定位的矿山安全培训方法，其特征在于，在步骤S3中，通过集成于Unity引擎中的OpenCV库函数识别视觉定位标记物，并通过求解Perspective-n-Point问题计算实时位置和姿态。
9.根据权利要求7所述的一种基于混合现实与大空间定位的矿山安全培训方法，其特征在于，步骤S4中，所述手势识别模型为基于MediaPipe框架，并利用包含矿山作业动作的自定义手部图像数据集进行训练优化的卷积神经网络模型。
10.根据权利要求7所述的一种基于混合现实与大空间定位的矿山安全培训方法，其特征在于，步骤S5具体包括：根据培训流程指令，在渲染管线中动态生成一矩形遮罩;应用所述矩形遮罩以保留摄像头画面中对应矩形区域内的真实环境图像，并在该区域外渲染虚拟场景，将虚拟教学内容叠加于保留的真实图像之上。
说明书
技术领域
[0001]本发明属于矿山安全技术领域，具体涉及一种基于混合现实与大空间定位的矿山安全培训系统。
背景技术
[0002]矿山安全生产是矿业可持续发展的基石，高效、逼真的安全培训对于预防事故、提升作业人员安全素养至关重要。随着科技发展，虚拟现实VR、增强现实AR及混合现实MR技术开始被引入培训领域，但仍存在局限性：(一)多数VR、MR系统依赖激光基站或MR头戴设备内置的惯性传感器进行定位。前者部署复杂、成本高且活动范围受限;后者在特征稀疏、结构类似的矿山模拟环境中极易发生定位信号丢失、累积漂移，导致用户在虚拟场景中移动时出现画面卡顿、位置错乱，严重破坏沉浸感和空间认知，无法实现真正意义上的“大空间”自由行走培训。(二)现有培训系统多采用手柄、操纵杆等传统外设进行交互，与井下实际的徒手操作工具，如撬棍的方式脱节。即便引入初步的手势识别，也因算法通用、未针对专业动作优化，导致对“持握”、“撬动”、“按压”等精细、连续操作的识别准确率低、延迟高，交互反馈失真，无法有效训练肌肉记忆和操作技能。(三)在急救模拟训练中，现有AR、MR技术往往简单地将虚拟信息叠加在现实画面上，融合度差，或完全用虚拟物体覆盖真实物体。这种方式无法智能地保留并利用关键的真实操作区域与道具，导致虚拟指导与实物操作割裂，受训者难以将虚拟指令映射到真实动作上，降低了培训的转化效率。
[0003]因此，亟需一种能够实现稳定精准的大空间定位、自然真实的专业手势交互、以及智能动态的虚实场景深度融合的矿山安全培训系统。
发明内容
[0004]基于上述技术问题，本发明目的是提供一种基于混合现实与大空间定位的矿山安全培训系统及方法，该方法能够实现高精度的大空间定位、支持专业手势自然交互、并可根据培训流程动态融合虚实场景，从而提供沉浸式、高效且可大规模推广的矿山安全培训体验。
[0005]其具体技术方案为：
一种基于混合现实与大空间定位的矿山安全培训系统，包括：舱体结构、多个视觉定位标记物、MR头戴设备、定位模块、手势交互模块、场景融合模块和培训控制模块;舱体结构用于提供物理培训空间;多个视觉定位标记物布置在舱体结构内，且每个视觉定位标记物均具有唯一编码标识;MR头戴设备包括高精度摄像头和显示单元;高精度摄像头用于采集包含视觉定位标记物的环境图像;定位模块包括图像处理单元，图像处理单元通过图像识别技术识别环境图像中的视觉定位标记物，并计算出MR头戴设备在虚拟场景中的实时位置和姿态;手势交互模块对矿山作业中的专业手势进行识别;场景融合模块对高精度摄像头捕获的实时视频中的指定真实图像区域进行保留处理，并将虚拟教学内容与经保留处理的真实图像区域进行融合;培训控制模块用于集成并调度定位模块的实时位置数据、手势交互模块的手势识别结果及场景融合模块的渲染参数，以运行包含大空间自由移动、手势交互及虚实融合场景的矿山安全培训流程。
[0006]另外，本发明提供的上述技术方案中的一种基于混合现实与大空间定位的矿山安全培训系统还可以具有如下附加技术特征：
在上述技术方案中，视觉定位标记物为ArUco标记或AprilTag标记。
[0007]在上述技术方案中，定位模块通过集成于Unity引擎中的OpenCV库函数实现识别定位标记物的检测与识别，并通过算法求解Perspective-n-Point问题计算实时位置和姿态。
[0008]在上述技术方案中，在手势交互模块中的手势识别模型为基于MediaPipe框架，并利用包含矿山作业动作的自定义手部图像数据集进行迁移学习和训练优化的卷积神经网络模型。
[0009]在上述技术方案中，场景融合模块用于根据培训流程指令，在渲染管线中动态生成一矩形遮罩;该矩形遮罩作用于高精度摄像头的渲染纹理，使得对应矩形区域内的真实环境元素得以保留显示，而区域外部则由虚拟矿山场景覆盖。
[0010]在上述技术方案中，培训控制模块提供的培训流程包括入矿准备、撬棍流程体验、高空坠落事故模拟及急救事故模拟。
[0011]一种基于混合现实与大空间定位的矿山安全培训方法，包括如下步骤：
S1：在物理培训空间内布置视觉定位标记物，构建与真实矿山1:1对应的虚拟场景模型;
S2：用户佩戴MR头戴设备进入物理培训空间;
S3：通过识别视觉定位标记物，实时计算用户的位置和姿态，实现在虚拟场景中的大范围自由行走与定位;
S4：通过优化的手势识别模型，捕获并识别用户对虚拟工具的操作手势;
S5：通过场景融合模块动态生成的矩形遮罩，保留并融合指定区域内的真实环境图像与虚拟教学内容;
S6：引导用户完成S3-S5的沉浸式安全培训课程。
[0012]在上述技术方案中，在步骤S3中，通过集成于Unity引擎中的OpenCV库函数识别视觉定位标记物，并通过求解Perspective-n-Point问题计算实时位置和姿态。
[0013]在上述技术方案中，步骤S4中，手势识别模型为基于MediaPipe框架，并利用包含矿山作业动作的自定义手部图像数据集进行训练优化的卷积神经网络模型。
[0014]在上述技术方案中，步骤S5具体包括：根据培训流程指令，在渲染管线中动态生成一矩形遮罩;应用矩形遮罩以保留摄像头画面中对应矩形区域内的真实环境图像，并在该区域外渲染虚拟场景，将虚拟教学内容叠加于保留的真实图像之上。
[0015]本发明的一种基于混合现实与大空间定位的矿山安全培训系统及方法，与现有技术相比，有益效果为：
1.采用视觉标记物与图像识别技术，实现了大空间内无累计漂移的高精度定位，使受训者能自由行走并获得流畅、逼真的虚拟场景体验。
[0016]2.通过针对矿山作业优化的手势识别模型，支持用户徒手进行工具操作，交互方式贴合实际，提升了技能训练的真实性和效率。
[0017]3.在急救模拟培训环节保留指定真实区域并与虚拟内容融合，既保证了实物操作的触感，又提供了虚拟信息指导，强化了培训效果。
附图说明
[0018]图1为本发明的安全培训的流程示意图;
图2为本发明的物理培训空间的布局示意图。
具体实施方式
[0019]下面结合具体实施案例和附图1-2对本发明作进一步说明，但本发明并不局限于这些实施例。
[0020]一种基于混合现实与大空间定位的矿山安全培训系统，包括：舱体结构、多个视觉定位标记物、MR头戴设备、定位模块、手势交互模块、场景融合模块和培训控制模块;舱体结构用于提供物理培训空间;多个视觉定位标记物布置在舱体结构内，且每个视觉定位标记物均具有唯一编码标识;MR头戴设备包括高精度摄像头和显示单元;高精度摄像头用于采集包含视觉定位标记物的环境图像;定位模块包括图像处理单元，图像处理单元通过图像识别技术识别视觉定位标记物，并计算出MR头戴设备在虚拟场景中的实时位置和姿态;手势交互模块对矿山作业中的撬棍操作、设备按钮按压等专业手势进行识别;场景融合模块对高精度摄像头捕获的实时视频中的地面、墙壁及实物道具区域进行保留处理，并将虚拟教学内容与经保留处理的真实图像区域进行融合;培训控制模块用于集成并调度定位模块的实时位置数据、手势交互模块的手势识别结果及场景融合模块的渲染参数，并通过调整场景融合模块的渲染参数，以运行包含大空间自由移动、手势交互及虚实融合场景的矿山安全培训流程。
[0021]通过利用MR头戴设备自身搭载的高精度摄像头进行环境图像采集，无需额外安装固定摄像头。这些摄像头具备广阔的视野和良好的低光性能，能实时、全方位地捕获周围环境的图像信息，为视觉定位提MR供原始数据。
[0022]选用具备手势识别和透视功能的MR头戴设备。针对矿山作业中的特定手势，如“持握撬棍”，通过收集大量包含不同手型、角度、光照条件下的手部深度图像和RGB图像数据，构建了矿山专用的手势数据集。基于此数据集，采用机器学习框架结合MediaPipeHolistic及自定义的卷积神经网络CNN对设备原有的手势识别模型进行迁移学习和优化训练，从而显著提升了针对这些特定作业手势的识别准确性与鲁棒性。
[0023]软件系统基于Unity3D实时3D开发平台进行构建，整合了多个核心功能模块。
[0024]图像识别定位模块：在Unity3D引擎中，通过集成计算机视觉库OpenCV for Unity或内置的AR Foundation框架，对MR设备摄像头实时采集的环境图像进行灰度化、高斯滤波去噪和图像增强等预处理，提升图像质量。随后，运用特定的图像识别算法，具体为基于OpenCV的ArUco标记检测与识别算法。该算法首先在图像中寻找可能的标记物候选区域，然后提取该区域的二进制编码，通过与预定义的标记字典进行匹配来确认识别结果。一旦识别成功，算法会进一步通过求解PnP问题，计算出受训者所佩戴的MR头戴设备的摄像头相对于该标记物的精确三维位置和姿态。
[0025]手势交互模块：手势识别算法优化方面，本方案在Unity3D中集成并优化了基于深度学习的手势识别算法。具体采用了经过我们自定义数据集微调后的MediaPipe Hands模型或类似的CNN模型。该算法通过对手部21个关键点包括腕部、指节、指尖等进行实时检测和追踪，来理解复杂的手部姿态和运动轨迹，从而精准识别出“捏取”、“抓握”、“点击”等通用交互手势，以及矿山特有的工具操作手势。
[0026]场景融合模块：结合矿山作业环境特点，优化了MR场景的融合效果。采用基于物理的渲染技术处理虚拟物体，使其光照、阴影和材质属性能与实时捕捉的现实环境光照信息相匹配。更重要的是，为实现特定区域现实图像的保留，本模块在Unity的渲染管线中动态生成了一个与培训环节对应的矩形遮罩。该遮罩作用于摄像头的渲染纹理，使得在特定流程如急救模拟中，系统能保留并显示指定方形区域内的所有真实环境元素包括地面、道具等，而区域外部则完全由虚拟矿山场景覆盖，从而实现虚实边界的自然过渡与深度集成。
[0027]多源数据融合：本系统在Unity3D场景中，通过一个主控脚本实时接收并融合多种数据流。这主要包括：1)从图像识别定位模块获取的、以矩阵形式表示的受训者精确位姿数据;2)从手势交互模块获取的、以手部关键点坐标集合形式表示的手势交互数据;3)预先通过三维建模软件、构建的、与真实空间1:1对应的矿山场景三维模型数据，包含巷道、设备、岩壁等的几何网格、纹理贴图与材质信息。系统将这些数据统一到同一个世界坐标系下，驱动虚拟场景与用户的交互，确保虚拟物体能稳定、准确地叠加于现实世界之上，实现无缝的实时交互。
[0028]培训控制模块，该模块包含多个核心培训单元，如入矿准备、检撬流程体验、高空坠落事故模拟、急救事故模拟等，并将大空间自由行走、全手势交互和动态MR场景融合技术深度集成到每一个培训环节中，形成一个完整的闭环培训解决方案。
[0029]本发明的定位标记物采用高对比度材料打印，形状和内部编码图案各异，构成了整个虚拟场景的空间注册基准点。
[0030]在本发明的实施例中，视觉定位标记物为ArUco标记或AprilTag标记。
[0031]在本发明的实施例中，定位模块通过集成于Unity引擎中的OpenCV库函数实现标记物的检测与识别，并通过RANSAC算法求解Perspective-n-Point问题计算实时位置和姿态。
[0032]在本发明的实施例中，在手势交互模块中，手势识别模型为基于MediaPipe框架，并利用包含持握撬棍、操作设备动作的自定义手部图像数据集进行迁移学习和训练优化的卷积神经网络模型。
[0033]在本发明的实施例中，场景融合模块用于在Unity渲染管线中，根据培训流程指令动态生成一矩形遮罩;该遮罩作用于高精度摄像头的渲染纹理，使得对应矩形区域内的真实环境元素得以保留显示，而区域外部则由虚拟矿山场景覆盖。
[0034]在本发明的实施例中，培训控制模块提供的培训流程包括入矿准备、撬棍流程体验、高空坠落事故模拟及急救事故模拟。
[0035]一种基于混合现实与大空间定位的矿山安全培训方法，包括如下步骤：
S1：在物理培训空间内布置视觉定位标记物，构建与真实矿山1:1对应的虚拟场景模型;
S2：用户佩戴MR头戴设备进入空间;
S3：通过识别标记物，实时计算用户的位置和姿态，实现在虚拟场景中、大范围、无累计漂移的自由行走与定位;
S4：通过优化的手势识别模型，捕获并识别用户对虚拟工具的操作手势，提供实时交互反馈;
S5：在急救模拟培训环节中，通过场景融合模块动态生成的矩形遮罩，保留并融合指定区域内的真实环境图像与虚拟教学内容;
S6：引导用户完成S3-S5的沉浸式安全培训课程。
[0036]本发明在矿山实际作业场景中，预先在舱体结构四周及关键路径，布置一系列具有唯一编码表示的视觉标记图，ArUco标记或AprilTag标记。MR头戴设备上的高精度摄像头实时采集周围环节的图像信息，并运用现金的图像识别算法，基于OpenCV库的标记检测与姿态估计算法对采集到的图像进行快速分析和处理。该算法能够精准识别出图像中的定位标记物，并根据标记物的编码、几何特征和在图像中的位置信息，结合预先通过三维建模软件构建的、与真实空间布局1：1对应的矿山场景三维模型，通过求解Perspective-n-Point，简称PnP问题，精确计算出受训人员所佩戴MR头戴设备在虚拟场景中的实时位置和姿态。通过与设备内置惯性导航系统INS的数据融合，最终实现稳定、精准且无漂移的大空间定位，确保受训人员获得高度逼真、流畅自然的大空间虚拟培训体验。
[0037]本发明采用由MR头戴设备前置高精度摄像头实现的全手势交互，并基于机器学习框架MediaPipe及自定义训练的卷积神经网络模型开发了专门的手势识别算法。该算法经过大量针对性的手势数据训练，能够高精度、低延迟地识别出操作虚拟工具的各种复杂手势，并提供及时的力学反馈，使受训人员能够获得接近真实的操作体验，有效培养其操作技能和安全意识。
[0038]在培训流程触发急救或设备操作时，系统会动态地将高精度摄像头捕获的实时视频流中，对应于特定空间区域的矩形范围内的真实图像包括该区域内的地面、墙壁及实物道具，完整地保留并显示，而非将其完全替换为虚拟场景。这一技术是通过在渲染管线中对该矩形区域应用动态遮罩并结合图像分割算法来实现的，使得虚拟的教学内容如操作指引、危险提示能够与保留的真实区域无缝嵌合，极大地提升了虚拟物体与现实环境的匹配度和融合效果。
[0039]通过在本发明特有的舱体结构内布设具有唯一编码的视觉定位标记物，并利用MR头戴设备的高精度摄像头结合图像识别技术，系统能够实时、稳定地计算出用户在虚拟场景中的实时位置和姿态，从而从根本上克服了单纯依赖惯性传感器导致的累积漂移问题，使得受训者可在数十平方米的范围内自由行走，所见的虚拟矿山场景随动精确、稳定流畅，有效提升了其对复杂井下环境的认知与适应能力。
[0040]本发明的手势交互模块通过基于MediaPipe框架并利用自定义手部数据集训练优化的卷积神经网络模型，系统能够高准确率、低延迟地识别连续、精细的专业操作手势。这使得用户可以“徒手”自然地进行虚拟工具操作，获得逼真的力反馈与视觉响应，极大地促进了操作技能的正确养成和安全意识的深度内化，解决了传统交互方式脱离实际的问题。通过在场景融合模块引入动态区域保留机制，在急救模拟培训环节，系统能够根据培训流程指令，在渲染管线中动态生成遮罩，智能保留摄像头画面中指定矩形区域内的真实环节，并仅在该区域外渲染虚拟场景。虚拟的教学内容则无缝叠加在保留的真实图像之上，这种“该虚则虚，该实则实”的融合策略，既保证了必要实物操作的触觉真实性，又提供了增强的虚拟信息指导，实现了虚拟指导与现实操作的高度统一，显著提升了应急技能等关键科目的培训成效。
[0041]本发明将大空间视觉定位、专业手势识别、动态虚实融合等核心功能模块化，并通过培训控制模块集成为一套完整的软件系统如基于Unity引擎开发。该系统硬件依赖度低，主要依靠可复制的标记物和商用MR设备，建设与维护成本远低于构建全实景模拟巷道。同时，软件系统具备高度的可扩展性，培训流程，如入矿准备、检撬、高空坠落模拟可根据不同矿山的实际需求进行快速定制与重组，非常有利于在各类矿山企业、培训中心进行大规模、标准化推广普及，对全面提升行业安全培训水平具有重要实践价值。
[0042]以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
说明书附图(2)
