読者です 読者をやめる 読者になる 読者になる

Learn to Live and Live to Learn

ITに関する記事を読んで,考えて,使ってみたことをまとめる場.読書が好きでnoteに感想を書いています(宣伝)→https://note.mu/a_01

D3.jsでヒートマップっぽいものを作ってみた

概要 地域データを扱うことが多いので,可視化の方法としてD3.jsを勉強しました. (可視化は手段なんで,RでもTablueauでも状況に合わせて使い分ければいいと思います) D3.js(Data Driven Documents)は ウェブブラウザで動的コンテンツを描画するJavaScr…

PHPで実践する動的計画法

※Qiitaに”動的計画法とメモ化”を説明する記事を書きましたので,こちらにも記載したいと思います.内容は全く同じです(>_<) qiita.com 動的計画法とメモ化 動的計画法(Dynamic Programming)とメモ化(Memorization)は,競技プログラミングなんかでよく使…

いきなりRxAndroid

RxAndroidを使う機会があったので,調べたことをまとめました. ※理解が浅いので間違っている箇所はご指摘いただけると嬉しいです>< RxAndroidとは Reactive Extentions Androidの略で,RxJavaを内包しAndroidで利用するための機能を追加してあります.ソ…

[Android] 画像・動画ファイルをアルバムから削除する

サンプルコード import java.io.File; import android.content.Context; String outputPath = <ファイルのパス>; Context context = this; File file = new File(outputPath); if (file.exists()) { file.delete(); // ファイル自体の削除 context.getConten…

実験版『人を動かす』

デール・カーネギーさんの名著『人を動かす』を読みました. 名前は知っていたのですが,最近ハマっている漫画『ACMA:GAME』で 主人公が読んでいる本の中にこれを見つけて速攻買いました. 人を動かす 新装版 作者: デールカーネギー,Dale Carnegie,山口博 …

非エンジニアの方にSQLを伝える

非エンジニアの方もほしいデータをサクッと出せる環境を作りたい (社内でHiveQLを簡単に使えるツールができたので、それを利用できたらいいな) と思っていたところにこんな記事が。 営業さんまで、社員全員がSQLを使う 「越境型組織」 ができるまでの3+1の…

「女子エンジニアのためのDesignワークショップ」に初参加

女子エンジニアのためのDesignワークショップに行ってきました。女子エンジニアのためのPhotoshopデザイン講座♥開催recruit-tech.co.jp普段、開発をしているエンジニア(あるいは未来のエンジニア)が この日はコードから離れてデザインの勉強をしましょう、…

データ可視化を学ぶ Part1

データ可視化。 自分の考えを伝えるための手段。 ただ、手段だからと侮ると痛い目を見るというのを最近つくづく感じます(笑)。 「同じことを言っていてもデータの見せ方で相手の理解度が違う」 「可視化が上手いとできる人っぽく見える」 そこでデータ可視…

標準エラー出力を上手く使う。

今までおざなりにしてきた標準出力や標準エラー出力を教えてもらったのでまとめときます。 コマンド > ファイル名 2>&1 表記 意味 > リダイレクト。1>=標準出力を意味する。 &1 ファイル名 2> 標準エラー出力を意味する。 cronで使うときは、crontabに 0 0 …

Rで作ったチャートを保存

R

histとかplotとかで作ったチャートを画像として保存したい というとき、キャプチャを撮ってもいいのですが 以下の方法で指定の場所に、指定の名前で、保存しちゃえます。① jpeg("ファイルのパス+ファイル名") ※ png形式ならpng()という感じです。 ② 保存し…

vimでずれずにペースト

vimにコピーしたものを貼り付けるとき 普通に iで入力できる状態にしてペーストすると、インデントがずれる という初歩中の初歩な問題を今更解決できたのでその方法です。ペーストする前に :set pasteするだけです\(^^)/

Hadoop Conference Japan 2014

行ってきました。黄色いゾウと会える会。講演の動画や資料は Hadoop Conference Japan 2014 Tickets - Eventbrite からご覧いただけます。全体の印象としては、YARNやHadoopを活用した事例の紹介が多かったです。 Hadoop Summitに行った先輩方が YARNとTezの…

REST入門

Web

yohei-y:weblog: REST 入門 を紹介してもらい、読んでみたまとめです。 (あくまで自分の理解です) RESTとはREpresentation State Transferの略で、アーキテクチャスタイルのひとつである。 RESTはアーキテクチャスタイルの中のクライアントサーバから派生…

rtrimで最後のカンマを削除。

PHP

$str = 'hoge,piyo,fuga,'; $str = rtrim( $str, ',' ); echo $str; hoge,piyo,fuga 最後のカンマが消えます!配列の値をforeachで読み込んで foreach ( $ary as $item ) { $str .= $item; $str .= ','; } こんな感じに作った後に最後のカンマを外したりする…

Pigのインストール

最近、仕事でよくPigを使います。 ただ、先輩の真似をしているだけなので 勉強していきたいと思います。PigはPig Latinという言語を使って、簡単にjoin・group・filter・sortをしたり sumやcountをしたりできるものです。まずはPigのダウンロード。http://pi…

git grep

Git

Git grepを便利に使う-eオプションについて - Qiita を参考にgit grepを使ってみました。 git grepとは、gitで管理しているリポジトリ内「だけ」をgrepするコマンド です。 -eオプション -eの後にgrepしたい条件を書くことで、正規表現による絞り込みができ…

スマホが振られたのを検知してみる。

一ヶ月振りの更新。 加速度センサーを利用して、スマホを振ったのを検知してみました! ネットで拝借したソースコードにコメントアウトで解釈(間違いがありましたらご指摘ください)を加えたものを以下に記述させていただきます。 ざっくり言うと、ある程度…

スプラッシュ画像の表示方法

アプリを立ち上げたときに出てくるスプラッシュ画像。 設定してみました。① 最初に表示したい面を用意します。 splash.xml

Unable to execute dex…

Androidプロジェクトを起動しようとするとこんなエラーが出ました。 [2014-02-10 00:58:34 - Dex Loader] Unable to execute dex: Multiple dex files define Landroid/support/v4/accessibilityservice/AccessibilityServiceInfoCompat$AccessibilityServic…

途中でAPIレベルを変更する方法

androidアプリを作っていて、途中で使いたいと思ったデザインが あるAPIレベル以上じゃないと利用できない、でも最初に設定した ミニマムSDKバージョンはそれに達していない…!ということ、ありませんか。そんなときはManifestファイルです。use-sdkタグの変…

NetworkOnMainThreadExceptionの解決方法

APIを叩くAndroidアプリ作ってたらこんなエラーが出ました。 android.os.NetworkOnMainThreadExceptionAndroid 開発Tips: FTPファイル送信 によるとAndroid3.1からStrictModeがデフォルトでオンになっていて 解除する必要があるそうです。解除は StrictMode.…

SPARQLを使ってみる。

SPARQL(スパークル)はRDBで言うSQL言語=クエリ言語です。 それを利用して、RDF(Resource Description Framework。web上にあるリソースを記述するための枠組み) から必要な情報を取り出したいと思います。以下は SPARQL で RDF データを検索する に書かれ…

Eclipseで実行時に引数を渡す方法

public static void main(String[] args) {←このargsを受け取りたいってときの方法です。 Eclipseでコマンドライン引数を与えて実行する方法 | 学習B5デスノート にある通りなんですが、mainメソッドのあるファイルを右クリック →実行 →実行の構成 →(x)= 引…

TDDに挑戦【Java】

TDDとはTest Driven Development(テスト駆動開発)の略です。 テストコードを書いてから実装しましょう、という開発手法です。 今回は実際にどうやるのかバグがないプログラムのつくり方 JavaとEclipseで学ぶTDDテスト駆動開発 (Be agile!)作者: 川端光義,…

Perlでベンチマーク

Perlではその名もBenchmarkというモジュールを使うと 簡単にベンチマーク=性能比較を行えます。まずはやってみました。 #!/usr/bin/perl -w use strict; use Benchmark qw/timethese cmpthese/; my $result = timethese( 10000, { loop1 => sub{ my $i = 0;…

mapを使って配列からハッシュを作成

「バタバタしていて…」と心の中でできない社会人の典型な言い訳している内に ブログの最終更新日から10日も経っていました。反省します。今日、知ったこと map関数を使うと配列からハッシュを作れる。 例えば配列の要素をキーにして、バリューには1を入れた…

Hadoop StreamingでUNIXコマンドを実行

やってみました。 $ hadoop/bin/hadoop jar hadoop/share/hadoop/tools/lib/hadoop-streaming-2.2.0.jar \ -input '/input/attempt.tsv' \ -output '/output' \ -mapper "awk '{ num = split( $1, aryData, "," ); for ( i=1; i<=num; i++ ) { print aryData…

JavaでマルチスレッドプログラムーRunnableインターフェイス実装編ー

昨日に引き続き今日は、Runnableインターフェイスを実装する場合のマルチスレッドプログラムです。Q. Runnableインターファイスを実装するのはどんなとき? A. 他に継承する必要のあるクラスがあり、Threadクラスを継承できないとき。Q. どうやって実装する…

Javaでマルチスレッドプログラム

マルチスレッドってそれとなくわかった気になって、使っていたのですが 改めて調べ直してみました。マルチスレッドとは 複数の処理が一つのプログラム上で動いているように見せる方法。種類 Threadクラスを継承 Runnableインターフェイスを実装 shynchronize…

Androidのモック作成

今までEclipseで直接xmlを書いたりGraphical Layoutを使ったりしていました。 もっと簡単に(開発!と意気込まずに、アイデア練るくらいで利用可能) デザイナーさんっぽく(テンション上げたい) モック作りがしたいと思いました。そこで無料のUI設計ツール…

PHPでMySQL

やり方を忘れて調べ直すことが多いのでまとめておきます。

JobHistoryをWebUIで見る。

Hadoop2系ではMRv1(MapReduce Version1)に代わり YARN(Yet Another Resource Negotiator)及びYARN上で動作するフレームワーク=MRv2が使われます。 JobTrakerとTaskTrackerは廃止され、ResourceManagerとNodeManagerが動作しています。HDFSはそのままなので …

ポートが開いているか確認

HadoopのWebUIが見たいのに見られへん!という件の続きです。 Hadoopは実行できるのでJobTrackerが起動していないわけではなさそうです。 ポートが開いていないのでは…?と思いtelnetしてみました。 telnet ホスト名(IPアドレス) ポート番号$ telnet localho…

データをputしてhadoopを実行

入力データ用のディレクトリを作成。 $ hadoop fs -mkdir /inputデータをput=アップロード。 $ hadoop fs -put input/test.txt /input/毎度おなじみワードカウント。 $ hadoop jar hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar word…

Rでデータの視覚化【棒グラフ編】

R

棒グラフ barplot(データ, biside=, horiz= ,col=, legend= )※データは必須。Rが用意してくれているデータを読み込んどきます(=data関数)。 > data(VADeaths)一番ベーシックな書き方。 > barplot(VADeaths)biside=TRUEだとこんな感じ。 > barplot(VADeath…

配列の添字

配列の添字に正の数と0以外を設定した場合の挙動を調べてみました。 負の値を添字に指定すると、添字の中で最大のものを-1に割り当てて、絶対値が大きくなるに連れて配列を逆向き(末尾から先頭)に見ていきます。 例、 要素数3である@fredを使用。 $fred[-1…

Rの関数を使いこなす。

R

1. 関数を組み合わせる 2. 関数を自作する 3. 比較・判断文に、繰り返し文 4. 入力・編集 関数を組み合わせる 下記のように関数を組み合わせて出力することができます。 > life1 [,1] [,2] [,3] [,4] [1,] 101 120 70 35 [2,] 153 162 88 46 [3,] 89 135 78 …

Iterator

HadoopのReducerや、Androidアプリによく登場するIterator。いつも書き方を調べてしまうので自分用にまとめます。例、 public void reduce ( Text key, Iterator<IntWritable> values, OutputCollector<Text, IntWritable> output, Reporter reporter ) throws IOException { int sum = 0; wh</text,></intwritable>…

シンボリックリンクを作る。

リンクとは、ファイルやディレクトリを移動したりコピーしたりせずとも、違うファイル・ディレクトリのように扱える機能です。シンボリックリンク: 元ファイルのパスを指し示す擬似的なファイルを作成。 元ファイルを消すとエラー。 $ ln -s ファイル名 リ…

HadoopのWebUIを見てみる!【HDFS編】

Web UIでHDFSやMapReduceを確認したい!と思い やってみました。http://localhost:50030 JobTracker→MapReduce http://localhost:50070 NameNode→HDFS※50030番はやっているところです。 $ hadoop namenode -format 必要なデータのフォーマットを行う。$ star…

MacでHadoop【スタンドアロンモード編】

サーバが複数台なくてもHadoopは使えます(知ってるわ!という話かもしれませんし、早い処理はできませんが)。 勉強のためMacにHadoopを入れてみました。http://ftp.yz.yamagata-u.ac.jp/pub/network/apache/hadoop/common/stable2/ にてhadoop-2.2.0.tar.g…

Cookieって何?

Cookieはよく耳にするのですが何者なのかわかっていなかったので調べました。HTTPはステートレスな(クライアントの状態=ステートを管理しない)プロトコルです。 Cookieは、複数のアクセスが同一のクライアントから来たものだ、とサーバが知るための技術で…

Rで基本統計量

R

Rで基本統計量を求める方法をまとめました。1. 合計 sum(ベクトル)2. 比率 > library(sca) > noquote(percent(ベクトル/sum(ベクトル),d=1))3. 平均 3.1 算術平均 mean(ベクトル)3.2 最頻値 最頻値が直接求められる関数はありません。 tableは要素が何回出て…

Shell Scriptで正規表現

shell スクリプトでファイルから1行ずつ読み込んだデータを正規表現を使って欲しい情報のみを別のファイルに書き出す 2 - xai1981's blog を読んでいて、正規表現と言うとPerlを連想してしまうのですが、Shell Scriptでもできる!と知ったので(むしろ今まで…

Rの基本関数

R

JIN'S PAGEでRを勉強しているのですが 基本的な関数の理解(「Rでのデータの編集と演算」まで)は終わりました。 そこまででちょっとつまったところをまとめておきたいと思います。1. Rにあるデータをファイルに書き出す「write」 2. 行列を指定した行でソー…

変数名を明示的に書く方法

変数名は、意味をなす限り、できるだけ長くなるように解釈されます。 (初めてのPerl P40) Perlでは、変数名に英数字またはアンスコを続けると それも変数名だと解釈されます。 #!/usr/bin/perl use strict; use warnings; my $what = "brontosaurus steak"…

ブログ始めます。

初めまして。 技術情報の発信と受信のためブログを始めたいと思います。 目標は一日一記事! 今までもtumblr http://a0001.tumblr.com/ で書いていたのですが やっぱり技術ブログははてなかなーと思い直し、引っ越しを考えている状態です。 (とりあえずお試…