読者です 読者をやめる 読者になる 読者になる

Learn to Live and Live to Learn

ITに関する記事を読んで,考えて,使ってみたことをまとめる場.読書が好きでnoteに感想を書いています(宣伝)→https://note.mu/a_01

JobHistoryをWebUIで見る。

Hadoop2系ではMRv1(MapReduce Version1)に代わり
YARN(Yet Another Resource Negotiator)及びYARN上で動作するフレームワーク=MRv2が使われます。
JobTrakerとTaskTrackerは廃止され、ResourceManagerとNodeManagerが動作しています。

HDFSはそのままなので
NameNode http://localhost:50070/
は利用できます。

しかし
JobTracker http://localhost:50030/

JobHistory http://localhost:19888/
( ResourceManager http://localhost:8088/ )
( NodeManager http://localhost:8042/ )
になりました。

ちなみにJobHistoryは

$ mr-jobhistory-daemon.sh start historyserver

で起動できます。



参考URL
http://metasearch.sourceforge.jp/wiki/index.php?Hadoop2.2%A5%BB%A5%C3%A5%C8%A5%A2%A5%C3%A5%D7
https://syncsortkb.syncsort.com/KBArticleView.aspx?ID=46584
http://www.cloudera.co.jp/blog/mr2-and-yarn-briefly-explained.html