読者です 読者をやめる 読者になる 読者になる

Learn to Live and Live to Learn

ITに関する記事を読んで,考えて,使ってみたことをまとめる場.読書が好きでnoteに感想を書いています(宣伝)→https://note.mu/a_01

HadoopのWebUIを見てみる!【HDFS編】

Hadoop

Web UIでHDFSやMapReduceを確認したい!と思い
やってみました。

http://localhost:50030 JobTracker→MapReduce
http://localhost:50070 NameNode→HDFS

※50030番はやっているところです。

$ hadoop namenode -format
必要なデータのフォーマットを行う。
$ start-all.sh
起動しようとする。
しかしlocalhost::22にsshできないというエラー。
$ ps aux | grep sshd
sshdが起動していない。。

$ /usr/sbin/sshd 
Could not load host key: /etc/ssh_host_rsa_key
Could not load host key: /etc/ssh_host_dsa_key
なんかホストキーがロードできないと言っている。。

$ sudo ssh-keygen -N "" -f /etc/ssh_host_rsa_key
$ sudo ssh-keygen -N "" -f /etc/ssh_host_dsa_key
鍵を作って

$ sudo /usr/sbin/sshd
起動!sudoがいります。

$ ssh localhost
いけた(´∀`)
$ start-all.sh

WebUI〜♩

見られない( ̄□ ̄|||)

$ jps
2848 Jps
2812 NodeManager
2720 ResourceManager
NameNodeとDataNode、JobTracker、TaskTrackerが起動してないやんか!

$ stop-all.sh
一旦終了。

$ vim etc/hadoop/core-site.xml
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

NameNodeの設定をする。

$ vim etc/hadoop/hdfs-site.xml 
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

DataNodeの設定をする。

$cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
$ vim etc/hadoop/mapred-site.xml
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>

JobTrackerを設定。

$ hadoop namenode -format

ちなみに
share/hadoop/common/templates/core-site.xml
share/hadoop/hdfs/templates/hdfs-site.xml
はディレクトリ名の通りテンプレートであって、ここを編集しても意味はない。

$ start-all.sh

$ jps
6098 Jps
5738 DataNode
6065 NodeManager
5971 ResourceManager
5850 SecondaryNameNode
5648 NameNode

JobTrackerが立ち上がってない?
だから
http://localhost:50070
HDFSはOKだけど
http://localhost:50030
は見られない。なぜ。
原因は調べときます。

Hadoop
http://codezine.jp/article/detail/2485
SSH
http://stmind.hatenablog.com/entry/20110802/1312302164