简介:
本发明公开一种控制MapReduce任务调度的方法、装置和系统。其中当接收到监测装置发送的节点失效信息时,从节点失效信息中提取出发生故障的失效节点标识,其中监测装置实时监测与主控节点相关联的任务节点状态,在监测到任务节点从有效状态转换为失效状态而成为失效节点后,在发送条件满足时发送所述节点失效信息;从有效节点集合中删除所述失效节点标识,其中有效节点集合中包括的节点用于MapReduce任务调度;将所述失效节点标识添加到失效节点集合中。更加全面的任务节点状态检测,从而优化MapReduce任务节点的调度选择。
本发明公开一种控制MapReduce任务调度的方法、装置和系统。其中当接收到监测装置发送的节点失效信息时,从节点失效信息中提取出发生故障的失效节点标识,其中监测装置实时监测与主控节点相关联的任务节点状态,在监测到任务节点从有效状态转换为失效状态而成为失效节点后,在发送条件满足时发送所述节点失效信息;从有效节点集合中删除所述失效节点标识,其中有效节点集合中包括的节点用于MapReduce任务调度;将所述失效节点标识添加到失效节点集合中。更加全面的任务节点状态检测,从而优化MapReduce任务节点的调度选择。