My favorites | Sign in
Project Home Downloads Wiki Issues Source
READ-ONLY: This project has been archived. For more information see this post.
Search
for
ServerConfiguration  
SSS Mapreduce server side configuration
ja, en
Updated Feb 27, 2013

サーバーサイドの設定

SSS Mapreduceのワーカーサーバーは環境変数MAPREDUCE_HOME以下のconf/mapreduce.server.propertiesから設定を読み込みます。 設定項目を以下に示します。

項目名 デフォルト値 説明
mapreduce.server.io.get.batchcount 整数 1024 一度のリクエストでストレージサーバーから取得するTupleの最大個数
mapreduce.server.io.get.limit_nbytes 整数 131072 一度のリクエストでストレージサーバーから取得するTupleの集合の最大サイズ(バイト)
mapreduce.server.io.put.batchcount 整数 1024 一度のリクエストでストレージサーバーへ書き込むTupleの最大個数
mapreduce.server.input.threads.max 整数 16 ストレージサーバーからのデータの読み込みを行うためのスレッドプールのスレッド数の数の最大値
mapreduce.server.output.threads.max 整数 16 ストレージサーバーからのデータの読み込みを行うためのスレッドプールのスレッド数の数の最大値
mapreduce.server.worker.threads.max 整数 16 Map/Reduce処理を実行するためのスレッドプールのスレッドの数の最大値
mapreduce.server.map.output.cache.nbytes 整数 131072 MapperがTupleを出力する際に利用するスレッドローカルなバッファのサイズ
mapreduce.server.reduce.output.cache.nbytes 整数 131072 ReducerがTupleを出力する際に利用するスレッドローカルなバッファのサイズ
mapreduce.server.inputtp.workqueue.limit 整数 16 ストレージサーバーからのデータの読み込みを行うためのスレッドプールのキューの最大サイズ
mapreduce.server.outputtp.workqueue.limit 整数 16 ストレージサーバーからのデータの読み込みを行うためのスレッドプールのキューの最大サイズ
mapreduce.server.wktp.workqueue.limit 整数 16 Map/Reduce処理を実行するためのスレッドプールのキューの最大サイズ
mapreduce.server.map.output_queue.multiplicity 整数 2 Mapper/Combinerにより生成されたTupleの書き込みバッファの個数
mapreduce.server.map.output_queue.limit_nbytes 整数 2097152 Mapper/Combinerにより生成されたTupleの書き込みバッファのサイズ(バイト)
mapreduce.server.reduce.output_queue.multiplicity 整数 2 Reducerにより生成されたTupleの書き込みバッファの個数
mapreduce.server.reduce.output_queue.limit_nbytes 整数 2097152 Reducerにより生成されたTupleの書き込みバッファのサイズ(バイト)
mapreduce.server.combine.queue.multiplicity 整数 2 Combiner用のバッファの個数
mapreduce.server.combine.queue.limit_nbytes 整数 2097152 Combiner用のバッファのサイズ
mapreduce.server.db.factory.class DBクラス org.sss.mapreduce.TTDBFactory ストレージサーバーにアクセスするためのクラスの名前
mapreduce.server.db.use.vanilla ブール値 false 利用するストレージサーバーのTokyoTyrantに付属のパッチを当てている場合にはfalseを、当てていない場合にはtrueを指定する
mapreduce.server.io.stream.protocol ブール値 false TokyoTyrantではなくDataServerを利用する場合にはtrueを指定する

Powered by Google Project Hosting