博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
JobTracker和TaskTracker概述
阅读量:4191 次
发布时间:2019-05-26

本文共 901 字,大约阅读时间需要 3 分钟。

一 概述:
(1)Hadoop MapReduce采用Master/Slave结构。
*Master:是整个集群的唯一的全局管理者,功能包括:作业管理、状态监控和任务调度等,即MapReduce中的JobTracker。
*Slave:负责任务的执行和任务状态的回报,即MapReduce中的TaskTracker。
 
二 JobTracker剖析:
(1)概述:JobTracker是一个后台服务进程,启动之后,会一直监听并接收来自各个TaskTracker发送的心跳信息,包括资源使用情况和任务运行情况等信息。
 
(2)JobTracker的主要功能:
1.作业控制:在hadoop中每个应用程序被表示成一个作业,每个作业又被分成多个任务,JobTracker的作业控制模块则负责作业的分解和状态监控。
*最重要的是状态监控:主要包括TaskTracker状态监控、作业状态监控和任务状态监控。主要作用:容错和为任务调度提供决策依据。
2.资源管理。
 
三 TaskTracker剖析:
(1)TaskTracker概述:TaskTracker是JobTracker和Task之间的桥梁:一方面,从JobTracker接收并执行各种命令:运行任务、提交任务、杀死任务等;另一方面,将本地节点上各个任务的状态通过心跳周期性汇报给JobTracker。TaskTracker与JobTracker和Task之间采用了RPC协议进行通信。
(2)TaskTracker的功能:
1.汇报心跳:Tracker周期性将所有节点上各种信息通过心跳机制汇报给JobTracker。这些信息包括两部分:
*机器级别信息:节点健康情况、资源使用情况等。
*任务级别信息:任务执行进度、任务运行状态等。
2.执行命令:JobTracker会给TaskTracker下达各种命令,主要包括:启动任务(LaunchTaskAction)、提交任务(CommitTaskAction)、杀死任务(KillTaskAction)、杀死作业(KillJobAction)和重新初始化(TaskTrackerReinitAction)。

转载地址:http://tqpoi.baihongyu.com/

你可能感兴趣的文章
《Web性能测试实战》签名赠书活动&加盟光芒国际传媒的好机会
查看>>
中国的IT企业和客户,哪个更贱?
查看>>
测试-答对5道题的人是天才,答对4道的是帅才,答对3道的是将才,答对2道的是奇才,答对1道的是人才
查看>>
《软件测试管理》第14章软件测试常见问题——(四)测试技术常见问题
查看>>
《Web全面性能测试实战》第2章Web全面性能测试模型
查看>>
《软件测试管理》 第15章 测试工程师前途-(工资待遇、发展方向探讨)
查看>>
《软件测试管理》第14章 软件测试常见问题——(三)测试流程常见问题
查看>>
51Testing&17Testing斑竹评《Web性能测试实战》
查看>>
《软件测试管理》第14章 软件测试常见问题——(一)基础知识部分
查看>>
性能测试兵法
查看>>
安全漏洞和安全软件开发讲座
查看>>
最近有什么厉害的计算机病毒?
查看>>
安全漏洞:百度,迅雷,暴风,腾讯QQ,下一个?
查看>>
公共场合计算机的使用,从汉城机场的休息室说起
查看>>
28, 29号参加北京的Xcon
查看>>
ARP 缓存污染和IFRAME嵌入攻击
查看>>
再谈:Norton误报WinXP事件的技术分析 二
查看>>
让我们摒弃一些浮躁 -- 对Norton误报WinXP事件的技术分析
查看>>
中间人攻击,也谈Firefox/Google Toolbar最新的安全漏洞
查看>>
MOICE, 微软发布的OFFICE最新安全功能
查看>>