• JobTracker: 协作作业的运行
• TaskTracker: 运行作业划分后的任务
• Job Scheduler
• mapred-site.xml
• 参考资料

JobTracker: 协作作业的运行

• 概述：JobTracker是一个后台服务进程，启动之后，会一直监听并接收来自各个TaskTracker发送的心跳信息，包括资源使用情况和任务运行情况等信息。
• JobTracker的主要功能：
  • 作业控制：在hadoop中每个应用程序被表示成一个作业，每个作业又被分成多个任务，JobTracker的作业控制模块则负责作业的分解和状态监控。 *最重要的是状态监控：主要包括TaskTracker状态监控、作业状态监控和任务状态监控。主要作用：容错和为任务调度提供决策依据。
  • 资源管理。

TaskTracker: 运行作业划分后的任务

• TaskTracker概述：TaskTracker是JobTracker和Task之间的桥梁：一方面，从JobTracker接收 并执行各种命令：运行任务、提交任务、杀死任务等；另一方面，将本地节点上各个任务的状态通过心跳周期性汇报给JobTracker。 TaskTracker与JobTracker和Task之间采用了RPC协议进行通信。
• TaskTracker的功能：
  • 汇报心跳：Tracker周期性将所有节点上各种信息通过心跳机制汇报给JobTracker。这些信息包括两部分：
    • 机器级别信息：节点健康情况、资源使用情况等。
    • 任务级别信息：任务执行进度、任务运行状态等。
  • 执行命令：JobTracker会给TaskTracker下达各种命令，主要包括：启动任务(LaunchTaskAction)、提交 任务(CommitTaskAction)、杀死任务(KillTaskAction)、杀死作业(KillJobAction)和重新初始化 (TaskTrackerReinitAction)。
• Task Tracker失败情况分析
  • 正常运行中TaskTracker由于崩溃或者运行过于缓慢，会通过想JobTracker发送心跳来汇报
  • 如果有未完成的作业，JobTracker会重新把这些任务分配到其他的TaskTracker上
  • 即使TaskTracker没有失败，也可以被JobTracker列入黑名单

Job Scheduler

• Hadoop默认的调度器是基于队列的FIFO调度器
  • 所有用户的作业都被提交到一个队列中，然后由Job Tracker先按照作业的优先级高低，再按照作业提交的时间先后顺序选择将被执行的作业
• Fair Scheduler（公平调度器） http://hadoop.apache.org/docs/r1.2.1/fair_scheduler.html

<property>
	<name>mapred.jobtracker.taskScheduler</name>
	<value>org.apache.hadoop.mapred.FairScheduler</value>
</property>

* 多个Pool，一个Job对应一个Pool
* 每个Pool可以设置最小Task Slot
* FileSystem会保证Pool之间的公平
* 支持资源抢占

• Capacity Scheduler（计算能力调度） Hive和Pig两个部门都需要用同一个集群计算

mapred-site.xml

<property> 
  <name>mapred.jobtracker.taskScheduler</name> 
  <value>org.apache.hadoop.mapred.CapacityTaskScheduler</value> 
</property> 
<property> 
  <name>mapred.queue.names</name> 
  <value>hive,pig</value> 
</property>
capacity-scheduler.xml
<property>
    <name>mapred.capacity-scheduler.queue.pig.capacity</name>
    <value>30</value>
    <description></description>    
  </property>
<property>
    <name>mapred.capacity-scheduler.queue.pig.capacity</name>
    <value>30</value>
    <description></description>    
  </property>
<property>
    <name>mapred.capacity-scheduler.queue.default.capacity</name>
    <value>40</value>
    <description></description>    
  </property>

参考资料

Hadoop官方文档 : http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html

陆嘉恒 : 《Hadoop实战》 第2版