|
ProgrammingGuideContinuous
SSS Mapreduce Programming Guide - Continuous Mapreduce
ja, en Continuous MapreduceSSS Mapreduceでは継続的にジョブの実行を続ける「Continuous Mapreduce」の機能を提供しています。 Continuous Mapreduceは以下の2つの機能により構成されています。
定期的なジョブの実行JobEngine#execメソッドではなく、JobEngine#contExecを使って実行すると一度の実行ではなく、ジョブツリーを定期的に実行します。 ジョブツリーはJobEngine#stopContExecで停止を指示するまで、繰り返し実行されます。 また、ジョブの実行管理はクライアント行なっているため、クライアントを終了すると停止します。 デフォルトではジョブは1000ミリ秒毎に実行されます。 実行間隔を変更するにはJobEngine#setIntervalを利用します。 public void setInterval(long interval); 引数には実行間隔をミリ秒で指定します。 破壊的な読み取りContinuous Mapreduceでは同じTupleGroupから定期的にデータを読み取ります。 そのため、一度処理したデータを次の実行でも再び読み込んでしまいます。 そこで、SSS Mapreduceでは「破壊的読み取り」の機能を提供しています。 破壊的読み取りでは、読み込み処理と同時に読み込んだTupleをTupleGroupから削除します。 これにより、同じデータを何度も処理することを防いできます。 破壊的読み取りはGroupID#createRandomでTupleGroupを生成する際に、destructiveフラグをtrueに設定することで有効になります。 このフラグを有効にした場合、このTupleGroupからTupleを読み込むとTupleはストレージサーバー上から削除されます。 | |