基于storm的铁路地质灾害监测大数据预处理方法及系统
首页 企业 产品 技术 资讯 图库 视频 需求 会议 活动 产业
基于storm的铁路地质灾害监测大数据预处理方法及系统
来源:北方有色网
访问:1127
简介: 本发明公开了一种基于storm的铁路地质灾害监测大数据预处理方法及系统,包括:基于开源流计算storm框架为每个监测点的每个传感器数据提供并行的子计算模块,在每个子计算模块中实现铁路地质灾害监测大数据ETL处理,实现对不同监测点的多种传感器数据的实时并行预处理,有效提高数据处理效率、提高数据清洗质量;有效解决传统方法串行处理执行效率不高、不能满足监测大数据的处理需求的问题,能够满足铁路地质灾害监测数据预处理的实时性、时效性、高精度等要求,适用于复杂铁路地质灾害监测大数据实时分析与预警应用场景;同时,本发明所提供的基于storm的ELT处理方法同样也适用于其它存在多个工程监测点、多种监测数据的复杂工程。
本发明公开了一种基于storm的铁路地质灾害监测大数据预处理方法及系统,包括:基于开源流计算storm框架为每个监测点的每个传感器数据提供并行的子计算模块,在每个子计算模块中实现铁路地质灾害监测大数据ETL处理,实现对不同监测点的多种传感器数据的实时并行预处理,有效提高数据处理效率、提高数据清洗质量;有效解决传统方法串行处理执行效率不高、不能满足监测大数据的处理需求的问题,能够满足铁路地质灾害监测数据预处理的实时性、时效性、高精度等要求,适用于复杂铁路地质灾害监测大数据实时分析与预警应用场景;同时,本发明所提供的基于storm的ELT处理方法同样也适用于其它存在多个工程监测点、多种监测数据的复杂工程。
0
0
0
0
0
         
标签:探矿技术
广州铭谦选矿设备有限公司宣传
广州铭谦选矿设备有限公司宣传
相关技术
评论(0条)
200/200
牛津仪器科技(上海)有限公司宣传
发布
技术

顶部
北方有色网-互联网服务平台-关于我们
Copyright 2025 China-mcc.com All Rights Reserved
备案号:京ICP备11044340号-3
电信业务经营许可证编号:京B2-20242293
京公网安备 11010702002294号