关于集群计算：Hadoop管理

Hadoop Administration

我设置了一个 Hadoop 1.2.x 版本，两节点集群。第一个节点(NameNode、Jobtracker)和第二个节点(Secondary NameNode、Datanode、TaskTracker)。

如何将每个节点的 map 和 reduce slot 分别设置为 4 和 2
以及如何从命令行验证相同的内容。

要为每个 tasktracker 节点设置 slots，请限制一个节点可以同时运行的最大任务数。

将这些属性添加到 mapred-site.xml

1
2
3
4
5
6
7
8

<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>4</value>
</property>
<property>
<name>mapred.tasktracker.reduce.tasks.maximum</name>
<value>2</value>
</property>

您可以使用

检查 jobtracker 使用的配置

1	hadoop jobtracker -dumpConfiguration