Learn to Live and Live to Learn

IT(たまにビジネス)に関する記事を読んで、考えて、使ってみたことをまとめる場。

JobHistoryをWebUIで見る。

Hadoop2系ではMRv1(MapReduce Version1)に代わり
YARN(Yet Another Resource Negotiator)及びYARN上で動作するフレームワーク=MRv2が使われます。
JobTrakerとTaskTrackerは廃止され、ResourceManagerとNodeManagerが動作しています。

HDFSはそのままなので
NameNode http://localhost:50070/
は利用できます。

しかし
JobTracker http://localhost:50030/

JobHistory http://localhost:19888/
( ResourceManager http://localhost:8088/ )
( NodeManager http://localhost:8042/ )
になりました。

ちなみにJobHistoryは

$ mr-jobhistory-daemon.sh start historyserver

で起動できます。



参考URL
http://metasearch.sourceforge.jp/wiki/index.php?Hadoop2.2%A5%BB%A5%C3%A5%C8%A5%A2%A5%C3%A5%D7
https://syncsortkb.syncsort.com/KBArticleView.aspx?ID=46584
http://www.cloudera.co.jp/blog/mr2-and-yarn-briefly-explained.html