基于HDFS的节点失效的快速检测与恢复方法及系统
首页 企业 产品 技术 资讯 图库 视频 需求 会议 活动 产业
基于HDFS的节点失效的快速检测与恢复方法及系统
来源:北方有色网
访问:810
简介: 本发明提供一种基于HDFS的节点失效的快速检测与恢复方法及系统,包括设定危险节点时间间隔,若在危险节点时间间隔未检测到数据节点的心跳信息,则判断该数据节点为危险节点,将其加入危险数据节点队列;在危险数据节点队列中,查找各数据节点中的相同数据块;根据相同数据块的出现次数设置恢复优先级,并根据恢复优先级将相同数据块加入待恢复队列,优先进行恢复。本发明的基于HDFS的节点失效的快速检测与恢复方法及系统在保证各数据节点的数据块可用,基本不增加网络带宽的前提下,提前恢复了危险数据块,降低了系统风险。
本发明提供一种基于HDFS的节点失效的快速检测与恢复方法及系统,包括设定危险节点时间间隔,若在危险节点时间间隔未检测到数据节点的心跳信息,则判断该数据节点为危险节点,将其加入危险数据节点队列;在危险数据节点队列中,查找各数据节点中的相同数据块;根据相同数据块的出现次数设置恢复优先级,并根据恢复优先级将相同数据块加入待恢复队列,优先进行恢复。本发明的基于HDFS的节点失效的快速检测与恢复方法及系统在保证各数据节点的数据块可用,基本不增加网络带宽的前提下,提前恢复了危险数据块,降低了系统风险。
0
0
0
0
0
         
标签:失效分析
广州铭谦选矿设备有限公司宣传
广州铭谦选矿设备有限公司宣传
相关技术
评论(0条)
200/200
牛津仪器科技(上海)有限公司宣传
发布
技术

顶部
北方有色网-互联网服务平台-关于我们
Copyright 2025 China-mcc.com All Rights Reserved
备案号:京ICP备11044340号-3
电信业务经营许可证编号:京B2-20242293
京公网安备 11010702002294号