MapReduce任务的容错调度方法
首页 企业 产品 技术 资讯 图库 视频 需求 会议 活动 产业
MapReduce任务的容错调度方法
来源:北方有色网
访问:858
简介: 本发明涉及云计算环境中并行任务的调度处理方法,公开一种针对MapReduce作业的容错调度方法,以提高MapReduce作业的整体性能,减少节点失效时的作业延迟。本发明结合检查点和主动复制两种技术,在Mapper任务执行时创建本地检查点和索引检查点两种检查点,当任务发生失效时,本地检查点能够将出错任务的状态和执行恢复到检查点处,减少了任务的重复执行时间;当发生节点失效时,副本节点能够根据索引检查点快速构造出失效节点上执行的mapper任务的中间结果数据,大大减少了重调度任务的执行时间。实验结果表明该方法能够比Hadoop的运行时性能提高30%以上,同时并不明显增加系统的存储和网络开销。
本发明涉及云计算环境中并行任务的调度处理方法,公开一种针对MapReduce作业的容错调度方法,以提高MapReduce作业的整体性能,减少节点失效时的作业延迟。本发明结合检查点和主动复制两种技术,在Mapper任务执行时创建本地检查点和索引检查点两种检查点,当任务发生失效时,本地检查点能够将出错任务的状态和执行恢复到检查点处,减少了任务的重复执行时间;当发生节点失效时,副本节点能够根据索引检查点快速构造出失效节点上执行的mapper任务的中间结果数据,大大减少了重调度任务的执行时间。实验结果表明该方法能够比Hadoop的运行时性能提高30%以上,同时并不明显增加系统的存储和网络开销。
0
0
0
0
0
         
标签:失效分析
广州铭谦选矿设备有限公司宣传
广州铭谦选矿设备有限公司宣传
相关技术
评论(0条)
200/200
牛津仪器科技(上海)有限公司宣传
发布
技术

顶部
北方有色网-互联网服务平台-关于我们
Copyright 2025 China-mcc.com All Rights Reserved
备案号:京ICP备11044340号-3
电信业务经营许可证编号:京B2-20242293
京公网安备 11010702002294号