MacでHadoop【スタンドアロンモード編】

サーバが複数台なくてもHadoopは使えます（知ってるわ！という話かもしれませんし、早い処理はできませんが）。
勉強のためMacにHadoopを入れてみました。

http://ftp.yz.yamagata-u.ac.jp/pub/network/apache/hadoop/common/stable2/
にてhadoop-2.2.0.tar.gzをダウンロード（2系初の安定板！）。

hadoopと打ってみる。

$ /usr/local/bin/hadoop-2.2.0/bin/hadoop
Usage: hadoop [--config confdir] COMMAND
       where COMMAND is one of:
  fs                   run a generic filesystem user client
  version              print the version
  jar <jar>            run a jar file
  checknative [-a|-h]  check native hadoop and compression libraries availability
  distcp <srcurl> <desturl> copy file or directories recursively
  archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive
  classpath            prints the class path needed to get the
                       Hadoop jar and the required libraries
  daemonlog            get/set the log level for each daemon
 or
  CLASSNAME            run the class named CLASSNAME

Most commands print help when invoked w/o parameters.

Usage出たー！

ファイルとディレクトリを用意。

$ mkdir input
$ vim input/test.txt
To be or not to be, that is the question.
$ mkdir output

jarファイルを実行してみる。

$ hadoop jar hadoop-mapreduce-examples-2.2.0.jar wordcount input output/wordcount

よし！

$ ls output/wordcount/
_SUCCESS	part-r-00000
$ cat output/wordcount/part-r-00000
To	1
be	1
be,	1
is	1
not	1
or	1
question.	1
that	1
the	1
to	1

Hadoopをどこに置くか（/usr/bin/と/usr/local/bin/の差異）
http://oswald.hatenablog.com/entry/20100416/1271368477

Hadoop事始め
http://www.scienceq.com/itinfra/index.php?Hadoop%2F%A5%A4%A5%F3%A5%B9%A5%C8%A1%BC%A5%EB