My favorites | Sign in
Project Home Downloads Wiki Issues Source
READ-ONLY: This project has been archived. For more information see this post.
Search
for
ProgrammingGuideSimpleJob  
SSS Mapreduce Programming Guide - SimpleJob
ja, en
Updated Feb 25, 2013

SimpleJob

JobEngineクラスでは本来の!Mapreduce計算モデルとは異り、MapperとReducerを自由に組み合わせることができます。 例えば、Reducerを単独で実行したり、2つの異なるMapperの結果を同じTupleGroupに書き出したりということが可能になっています。 しかし、その分利用方法が複雑になります。

そこで、Mapreduce計算モデルに忠実な1Mapper、1Reducerの計算を行う場合には簡単に利用できるラッパーを用意しています。 それが「SimpleJob」クラスになります。

利用方法は至って単純です。 以下にWordCountをSimpleJobで実行する場合のコードを記載します。

    SimpleJob job = new SimpleJob(client);   
                
    job.setMapperClass(WordCountMapper.class);
    job.setCombinerClass(WordCountReducer.class);
    job.setReducerClass(WordCountReducer.class);
    job.setInputGID(input);
                                  
    GroupID result = job.execute();
    System.out.println("output data deployed - " + result);

セッターを利用してMapper、Combiner、Reducerのクラス、及び入力のGroupIDを指定します。 その上で、SimpleJob#executeメソッドを実行するだけです。出力結果のTupleGroupはSimpleJob#executeメソッドの戻り値として取得できます。

詳細についてはJavaDocを参照して下さい。

Powered by Google Project Hosting