2011/08/19

EclipseでMapReduceプログラミング

この記事でとりあえず開発環境ができたので、
MapReduceのベーシックなサンプルでもあるWordCountをEclipseで書いてみる。
  1. 新規プロジェクトの作成
  2. WordCountの作成
  3. プログラムの実行
----------------------------------------------------------------
1.新規プロジェクトの作成
Eclipseにhadoopのプラグインを入れているので、
「新規プロジェクト」ダイアログから「Map/Reduce Project」を選択できるようになっている。
なので、「Map/Reduce Project」を使って新規プロジェクトを作成。

はじめて作成するので、「Configure Hadoop install directory ...」
からWindowsにインストールしておいたHadoopのインストールディレクトリを設定。

2. WordCountの作成
Hadoop徹底入門を参考に、WordCountのプログラムを書き書き...
こちらのサイトも参考に...
Hadoop WordCountメモ(Hishidama's Hadoop tutorial WordCount Memo)

3. プログラムの実行
[実行]-[Run on Hadoop]を使いこなせなかったので、
2で参考にしたサイトの「Eclipseからデバッグ実行」をお手本にJavaアプリケーションとして実行してみた。

MapReduceはうまく動いたけど、Run on Hadoopで実行してみたかったな...
Run on Hadoopって分散モードで実行するときに使うのかな?だとしたら、分散モードで使えるように設定を変更しなきゃなのかな?
この件は引き続きがんばる。

=====
今日の環境
OS:WindowsXP sp3
Hadoop 0.20.2

0 件のコメント:

コメントを投稿