|
ProgrammingGuideSimpleJob
SSS Mapreduce Programming Guide - SimpleJob
ja, en SimpleJobJobEngineクラスでは本来の!Mapreduce計算モデルとは異り、MapperとReducerを自由に組み合わせることができます。 例えば、Reducerを単独で実行したり、2つの異なるMapperの結果を同じTupleGroupに書き出したりということが可能になっています。 しかし、その分利用方法が複雑になります。 そこで、Mapreduce計算モデルに忠実な1Mapper、1Reducerの計算を行う場合には簡単に利用できるラッパーを用意しています。 それが「SimpleJob」クラスになります。 利用方法は至って単純です。 以下にWordCountをSimpleJobで実行する場合のコードを記載します。 SimpleJob job = new SimpleJob(client);
job.setMapperClass(WordCountMapper.class);
job.setCombinerClass(WordCountReducer.class);
job.setReducerClass(WordCountReducer.class);
job.setInputGID(input);
GroupID result = job.execute();
System.out.println("output data deployed - " + result);セッターを利用してMapper、Combiner、Reducerのクラス、及び入力のGroupIDを指定します。 その上で、SimpleJob#executeメソッドを実行するだけです。出力結果のTupleGroupはSimpleJob#executeメソッドの戻り値として取得できます。 詳細についてはJavaDocを参照して下さい。 | |