読者です 読者をやめる 読者になる 読者になる

Learn to Live and Live to Learn

ITに関する記事を読んで,考えて,使ってみたことをまとめる場.読書が好きでnoteに感想を書いています(宣伝)→https://note.mu/a_01

Hadoop Conference Japan 2014

行ってきました。黄色いゾウと会える会。講演の動画や資料は Hadoop Conference Japan 2014 Tickets - Eventbrite からご覧いただけます。全体の印象としては、YARNやHadoopを活用した事例の紹介が多かったです。 Hadoop Summitに行った先輩方が YARNとTezの…

Pigのインストール

最近、仕事でよくPigを使います。 ただ、先輩の真似をしているだけなので 勉強していきたいと思います。PigはPig Latinという言語を使って、簡単にjoin・group・filter・sortをしたり sumやcountをしたりできるものです。まずはPigのダウンロード。http://pi…

Hadoop StreamingでUNIXコマンドを実行

やってみました。 $ hadoop/bin/hadoop jar hadoop/share/hadoop/tools/lib/hadoop-streaming-2.2.0.jar \ -input '/input/attempt.tsv' \ -output '/output' \ -mapper "awk '{ num = split( $1, aryData, "," ); for ( i=1; i<=num; i++ ) { print aryData…

データをputしてhadoopを実行

入力データ用のディレクトリを作成。 $ hadoop fs -mkdir /inputデータをput=アップロード。 $ hadoop fs -put input/test.txt /input/毎度おなじみワードカウント。 $ hadoop jar hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar word…

HadoopのWebUIを見てみる!【HDFS編】

Web UIでHDFSやMapReduceを確認したい!と思い やってみました。http://localhost:50030 JobTracker→MapReduce http://localhost:50070 NameNode→HDFS※50030番はやっているところです。 $ hadoop namenode -format 必要なデータのフォーマットを行う。$ star…

MacでHadoop【スタンドアロンモード編】

サーバが複数台なくてもHadoopは使えます(知ってるわ!という話かもしれませんし、早い処理はできませんが)。 勉強のためMacにHadoopを入れてみました。http://ftp.yz.yamagata-u.ac.jp/pub/network/apache/hadoop/common/stable2/ にてhadoop-2.2.0.tar.g…