2009年9月9日水曜日

HadoopとHBaseのInstall

基本的にHbaseはHadoopの上で動くけど、Stand-aloneで動かす場合はHadoop無くても良いみたい。
まぁ試すのであればショボイPC沢山集めてクラスタした方がおもしろそうだけどね。

■Hadoop/Hbase Clusterの構築 - LunaBiblos
に纏めてみた。

■JavaのInstall
sudo apt-get install rsync ssh sun-java6-jdk sun-java6-jre
これでやるとJavaが/usr/bin/javaに入る筈。whichコマンドで一応確認しておく事。

■Hadoopユーザの追加
sudo adduser hadoop

■Hadoopを取得してInstall
2009年9月9日時点での最新版は0.2っぽい。
wget http://www.meisei-u.ac.jp/mirror/apache/dist/hadoop/core/hadoop-0.20.0/hadoop-0.20.0.tar.gz
tar xzf hadoop-0.20.0.tar.gz
ln -s hadoop-0.20.0 hadoop

■Hadoopの設定ファイルを編集する
vi hadoop/conf/hadoop-env.sh
で開いてJavaホームを追記。今回の場合は/usr/bin/javaだったんでそれを入れるんだけど、それだとErrorが出た。という事で動く様にするには最初の/usrだけで良いみたい。
export JAVA_HOME=/usr

取り敢えず以上でHadoopは終わり。
次は本命Hbase。

■HbaseのInstall
Install先は/opt/hbase-XXXにしています。ここは好きな様に変えて。2009年9月9日時点での最新版は0.2。
wget http://ftp.riken.jp/net/apache/hadoop/hbase/stable/hbase-0.20.0.tar.gz
tar xzf hbase-0.20.0.tar.gz
chown -R hadoop:hadoop hbase-0.20.0
export HBASE_HOME=/opt/hbase-0.20.0

■Hbaseの設定
sudo vi /opt/hbase-0.20.0/conf/hbase-env.sh
でJavaホームを追記する。
export JAVA_HOME=/usr/

■Hbaseの起動
/opt/hbase-0.20.0x/bin/start-dfs.sh

■HBaseの動作確認
/opt/hbase-0.20.0x/bin/hbase shell
help
create table myTable;
helpでなんかだーっと出て、SQLでErrorはかなきゃOK

じゃ次はクラスタだな。

参考サイト
■MapReduceのJava実装 Apache Hadoopを使ってみた
■HBase 0.20.0 API
■[VirtualPC][Fedora][Hadoop] FedoraにHadoopを入れたときのメモ。
■[Hadoop][hBase][Fedora]FedoraへHBaseをインストール
■Running Hadoop On Ubuntu Linux (Single-Node Cluster)
■Fedora7 Xen上でHadoop Clusterを試す
■Hadoopを用いたクラスタコンピューティング環境の構築
■Hadoopのインストールとサンプルプログラムの実行
■複数マシンへHadoopをインストールする
コメントを投稿