HadoopのWebUIを見てみる！【HDFS編】

Web UIでHDFSやMapReduceを確認したい！と思い
やってみました。

http://localhost:50030　JobTracker→MapReduce
http://localhost:50070 NameNode→HDFS

※50030番はやっているところです。

$ hadoop namenode -format
必要なデータのフォーマットを行う。

$ start-all.sh
起動しようとする。
しかしlocalhost::22にsshできないというエラー。

$ ps aux | grep sshd
sshdが起動していない。。

$ /usr/sbin/sshd 
Could not load host key: /etc/ssh_host_rsa_key
Could not load host key: /etc/ssh_host_dsa_key
なんかホストキーがロードできないと言っている。。

$ sudo ssh-keygen -N "" -f /etc/ssh_host_rsa_key
$ sudo ssh-keygen -N "" -f /etc/ssh_host_dsa_key
鍵を作って

$ sudo /usr/sbin/sshd
起動！sudoがいります。

$ ssh localhost
いけた(´∀｀)

$ start-all.sh

WebUI〜♩

見られない(￣□￣|||)

$ jps
2848 Jps
2812 NodeManager
2720 ResourceManager
NameNodeとDataNode、JobTracker、TaskTrackerが起動してないやんか！

$ stop-all.sh
一旦終了。

$ vim etc/hadoop/core-site.xml
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

NameNodeの設定をする。

$ vim etc/hadoop/hdfs-site.xml 
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

DataNodeの設定をする。

$cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
$ vim etc/hadoop/mapred-site.xml
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>

JobTrackerを設定。

$ hadoop namenode -format

ちなみに
share/hadoop/common/templates/core-site.xml
share/hadoop/hdfs/templates/hdfs-site.xml
はディレクトリ名の通りテンプレートであって、ここを編集しても意味はない。

$ start-all.sh

$ jps
6098 Jps
5738 DataNode
6065 NodeManager
5971 ResourceManager
5850 SecondaryNameNode
5648 NameNode

JobTrackerが立ち上がってない？
だから
http://localhost:50070
HDFSはOKだけど
http://localhost:50030
は見られない。なぜ。
原因は調べときます。

Hadoop
http://codezine.jp/article/detail/2485
SSH
http://stmind.hatenablog.com/entry/20110802/1312302164