My favorites | Sign in
Project Home Downloads Wiki Issues Source
READ-ONLY: This project has been archived. For more information see this post.
Search
for
CommandLineTools  
SSS Mapreduce command line tools
en , ja
Updated Feb 27, 2013

コマンドラインツール

ここではSSS Mapreduceの現在のリリースに含まれているコマンドラインツールについて説明します。 文中において$MAPREDUCE_HOMEで示されるのはSSS Mapreduceのインストール時に指定した環境変数MAPREDUCE_HOMEです。 これはシステムにSSS Mapreduceをインストールしたディレクトリへのフルパスになります。

コマンドラインツールはすべて$MAPREDUCE_HOME/bin以下にあります。

TupleGroupの一覧を取得する -- lstg.sh

分散キー・バリューストアを利用して実現されているSSSのストレージサーバーに対して 現在格納されているTupleGroupの一覧を問い合わせるスクリプトです。

以下に実行例を示します。

$ ${MAPREDUCE_HOME}/bin/lstg.sh
1f99f70f5-f0b2-43fe-9055-c8c4ead3ee2b
18e256df6-9809-46db-8b98-635cfcb8617f
16cef36b6-2e9d-4ec1-9a8a-de9b0d0a566d
$

この例では3つのGroupIDが出力されているので、 ストレージサーバー上に存在するTupleは3つのTupleGroupのどれかに属することになります。

Tupleを数える -- cnttuples.sh

GroupIDを指定してSSS Mapreduceのストレージサーバー上に存在しているレコードの数を問い合わせるスクリプトです。 以下に実行例を示します。

$ ${MAPREDUCE_HOME}/bin/cnttuples.sh 1f99f70f5-f0b2-43fe-9055-c8c4ead3ee2b
WARNING: this command is very very slow.
1073741824
$

この例ではTupleGroup 1f99f70f5-f0b2-43fe-9055-c8c4ead3ee2bには1073741824個のTupleが存在していることがわかります。

TupleGroupを削除する -- rmtg.sh

指定したGroupIDのTupleGroupをSSS Mapreduceのストレージサーバー上から削除します。 以下に実行例を示します。

$ ${MAPREDUCE_HOME}/bin/lstg.sh
1f99f70f5-f0b2-43fe-9055-c8c4ead3ee2b
18e256df6-9809-46db-8b98-635cfcb8617f
16cef36b6-2e9d-4ec1-9a8a-de9b0d0a566d
$ ${MAPREDUCE_HOME}/bin/rmtg.sh 1f99f70f5-f0b2-43fe-9055-c8c4ead3ee2b
Removed 1073741824 items.
$ ${MAPREDUCE_HOME}/bin/lstg.sh
18e256df6-9809-46db-8b98-635cfcb8617f
16cef36b6-2e9d-4ec1-9a8a-de9b0d0a566d
$

rmtg.shの実行後、GroupIDの一覧リストからは1f99f70f5-f0b2-43fe-9055-c8c4ead3ee2bが消えていることがわかります。

Powered by Google Project Hosting