My favorites | Sign in
Project Home Downloads Wiki Issues Source
READ-ONLY: This project has been archived. For more information see this post.
Search
for
ProgrammingGuideContinuous  
SSS Mapreduce Programming Guide - Continuous Mapreduce
ja, en
Updated Feb 27, 2013

Continuous Mapreduce

SSS Mapreduceでは継続的にジョブの実行を続ける「Continuous Mapreduce」の機能を提供しています。 Continuous Mapreduceは以下の2つの機能により構成されています。

  • 定期的なジョブツリーの実行
  • 破壊的な読み取り

定期的なジョブの実行

JobEngine#execメソッドではなく、JobEngine#contExecを使って実行すると一度の実行ではなく、ジョブツリーを定期的に実行します。 ジョブツリーはJobEngine#stopContExecで停止を指示するまで、繰り返し実行されます。

また、ジョブの実行管理はクライアント行なっているため、クライアントを終了すると停止します。

デフォルトではジョブは1000ミリ秒毎に実行されます。 実行間隔を変更するにはJobEngine#setIntervalを利用します。

public void setInterval(long interval);

引数には実行間隔をミリ秒で指定します。

破壊的な読み取り

Continuous Mapreduceでは同じTupleGroupから定期的にデータを読み取ります。 そのため、一度処理したデータを次の実行でも再び読み込んでしまいます。 そこで、SSS Mapreduceでは「破壊的読み取り」の機能を提供しています。

破壊的読み取りでは、読み込み処理と同時に読み込んだTupleをTupleGroupから削除します。 これにより、同じデータを何度も処理することを防いできます。

破壊的読み取りはGroupID#createRandomでTupleGroupを生成する際に、destructiveフラグをtrueに設定することで有効になります。 このフラグを有効にした場合、このTupleGroupからTupleを読み込むとTupleはストレージサーバー上から削除されます。

Powered by Google Project Hosting