2011/08/12

VirtualBox・CentOS に Hadoop をインストール

作成したVMにHadoopを「擬似分散モード」で導入してみる。

インストール手順はこんな感じ(バージョンは0.20.2)
  1. パッケージの入手
  2. Hadoop用ユーザとグループの設定
  3. Hadoopパッケージの展開と配置
  4. Hadoop用設定
  5. Hadoop用ディレクトリ設定
  6. SSH公開鍵の配布
 参考にしたのはこの本


----------------------------------------------------------------
 1. パッケージの入手
http://www.apache.org/dyn/closer.cgi/hadoop/common/
ここからミラーサイトを表示して、目的のバージョンのパッケージを入手。
今回は、hadoop-0.20.2.tar.gz をゲット

2. Hadoop用ユーザとグループの設定
参考文献の例に倣って、hadoopユーザとhadoopグループを作成。
※ユーザ名、グループ名は任意に設定することもできるみたい。

3. Hadoopパッケージの展開と配置
入手したパッケージを展開し、/usr/localに配置。
シンボリックリンクと環境変数「HADOOP_HOME」を作成。

4. Hadoop用設定
HADOOP_HOME配下にある以下の設定ファイルを編集する。
  • conf/core-site.xml
  • conf/hdfs-site.xml
  • conf/mapred-site.xml
  • conf/mapred-site.xml
5. Hadoop用ディレクトリ設定
4の設定で定義したディレクトリを作成。

6. SSH公開鍵の配布
公開鍵を作成して、スレーブサーバに対して配布。

=====
今日の環境
VirtualBox 4.0.10
ホストOS:WindowsXP sp3
ゲストOS:CentOS-5.6(64 bit)
Hadoop 0.20.2

0 件のコメント:

コメントを投稿