行ってきました。黄色いゾウと会える会。講演の動画や資料は Hadoop Conference Japan 2014 Tickets - Eventbrite からご覧いただけます。全体の印象としては、YARNやHadoopを活用した事例の紹介が多かったです。 Hadoop Summitに行った先輩方が YARNとTezの…

最近、仕事でよくPigを使います。 ただ、先輩の真似をしているだけなので 勉強していきたいと思います。PigはPig Latinという言語を使って、簡単にjoin・group・filter・sortをしたり sumやcountをしたりできるものです。まずはPigのダウンロード。http://pi…

やってみました。 $ hadoop/bin/hadoop jar hadoop/share/hadoop/tools/lib/hadoop-streaming-2.2.0.jar \ -input '/input/attempt.tsv' \ -output '/output' \ -mapper "awk '{ num = split( $1, aryData, "," ); for ( i=1; i<=num; i++ ) { print aryData…

入力データ用のディレクトリを作成。 $ hadoop fs -mkdir /inputデータをput＝アップロード。 $ hadoop fs -put input/test.txt /input/毎度おなじみワードカウント。 $ hadoop jar hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar word…

Web UIでHDFSやMapReduceを確認したい！と思い やってみました。http://localhost:50030 JobTracker→MapReduce http://localhost:50070 NameNode→HDFS※50030番はやっているところです。 $ hadoop namenode -format 必要なデータのフォーマットを行う。$ star…

サーバが複数台なくてもHadoopは使えます（知ってるわ！という話かもしれませんし、早い処理はできませんが）。 勉強のためMacにHadoopを入れてみました。http://ftp.yz.yamagata-u.ac.jp/pub/network/apache/hadoop/common/stable2/ にてhadoop-2.2.0.tar.g…