Question

I m 试图操作hadoop jar /usr/lib/hadoop/hadoop-examples.jar summarywordcount /data/gutenberg/huckfinn.txt输出/guten4,但出现错误“huckfinn.txt not a SequenceFile”。

我读到,见 rel=“nofollow”>。不过,我可以列举一下具体内容。

如果我操作hadoop jar /usr/lib/hadoop/hadoop-examples.jar集合词/data/gutenberg/huckfinn.txt输出/guten5 2 textinputformat ,我发现一个不同的错误,即“java.lang.RuntimeException: 组合物体的误差”

Answer 1

根据 associated with You question, the javalang.RuntimeException: 相容的物体例外情形中,有的是由任务跟踪员的班次所不计的。你们可以从完全的挫折中看到这一点:当我对我的机器行使第二次指挥时,我得到:



java.lang.RuntimeException: Error in configuring object
    [...]
Caused by: java.lang.reflect.InvocationTargetException
    [...]
Caused by: java.lang.RuntimeException: Error in configuring object
    [...]
Caused by: java.lang.reflect.InvocationTargetException
    [...]
Caused by: java.lang.RuntimeException: java.lang.ClassNotFoundException: org.apache.hadoop.examples.AggregateWordCount$WordCountPlugInClass
    [...]
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.examples.AggregateWordCount$WordCountPlugInClass
    [...]

 这个关于云拉博客的员额讨论了向任务跟踪员提供依赖性的不同方法。

采用“密码编码”办法。

hadoop jar hadoop-examples.jar summarywordcount -libjars hadoop-examples.jar /data/gutenberg/huckfinn.txt输出/guten7 2 textinputformat

Answer 2

In the ValueAggregatorJob the following check is done

int numOfReducers = 1;
if (args.length > 2) {
  numOfReducers = Integer.parseInt(args[2]);
}

..............

if (args.length > 3 && 
    args[3].compareToIgnoreCase("textinputformat") == 0) {
  theInputFormat = TextInputFormat.class;
} else {
  theInputFormat = SequenceFileInputFormat.class;
}

如果textinputformat (literal string)没有被具体指明为理由,那么输入格式就对SequenceFileInputFormat违约,因此huckfinn.txt not a SequenceFile mis。此外,如果未具体说明,则减员违约为1人。



利用以下指挥人员来管理工作

hadoop jar hadoop-mapred-examples-0.21.0.jar aggregatewordcount /user/praveensripati/input/sample.txt /user/praveensripati/output 2 textinputformat


请注意,通常情况下,斜体-地图-ex-0.21.0.jar的版本编号。 该档案存放在Hadoop安装室。 确保文件<代码>/usr/lib/hadoop/hadoop-examples.jar上。

解决<代码>java.lang.RuntimeException: 相容物体的误差,请查对ack痕的标识文档,并将之退回。

友情链接