Question

我是一个新人,正在尝试执行字数示例。我电脑上有由虚拟机器制作的4个节点组。每次任务完成地图任务时, 都会有大约16%的减少任务显示这个错误 :

打乱错误: 超过 MAX_ FAILED_ UNIQUE_ FETCHES; 援助退出。

12/05/24 04:43:12 WARN 地图red.JobClient:阅读任务输出错误

看来奴隶们无法从其他奴隶那里检索到数据。有些链接上我发现它可能来自/ etc/ 主持人文件中的不一致。但我已经交叉检查过它们, 它们都是一致的。谁能帮我?

Answer 1

是否有防火墙来防止在普通的 Hadoop 端口的集束节点之间的通信( 在本案中任务跟踪器为 50060 ) 。在端口 50060 上从一个节点到另一个节点进行测试, 并检查您是否得到了 http 响应代码 :

curl -I http://node1:50060/

一定要将上述节点1替换为 $HADOOP_HOME/conf/slaves 文件中的每一个值

EDIT 因此,结果发现这很可能是一个 DNS 问题, 这里您应该尝试的是 :

Examine the ${HADOOP_HOME}/conf/slaves file - each entry in here needs to be in the /etc/hosts file for each node in your cluster, or you must have them in your networks DNS server
Once you ve asserted the hosts file ON EVERY NODE in your cluster (or configured your DNS server), log into each node and check that you can ping the other cluster nodes by the names in the slaves file. Finally assert you can curl the tasktracker (port 50060) from each node to the other nodes (again using the machine names in the slaves file)
Restart your mapreduce services, just to be safe

Answer 2

在每个节点中通过在终端中输入 $hostname 来检查主机名。请确保您的机器名相同( 主节点中的主机名和奴隶节点中的奴隶主机名) 。如果没有, 请用您的节点名( master/ slave) 更改 / etc/ hostname 。然后重新启动系统。这将有效。

< a href=> "http://suprogec.blogspot.in" rel="no follow" >SIMPLE Group