まず最初に、下記のコードの様に、パッケージの宣言とインポートを行なう。Analogは、Sampleパッケージに所属する。(適切なパッケーイ名の付け方ってあるのかな) package Sample; import java.io.IOException; import java.util.ArrayList; import java.util…

http://d.hatena.ne.jp/naoya/20080511/1210506301 こちらのMapReduce::LiteのサンプルプログラムであるAnalogを、 javaで書いてHadoopで実行させてみた。 下記がjavaのソース。力業感たっぷり。 package Sample; import java.io.IOException; import java.u…

http://codezine.jp/article/detail/2485 こちらのサイトで紹介されているHadoopのサンプルプログラム WordCount(WordCount.java)と同じ事を行なうものを、 MapReduce::Liteで書いてみた。 WordCountはスペース区切りで並べられた単語を数えるプログラムであ…

前回 うお、リンク貼ると自動的にトラックバックを送信するようになってたのか。恐れ多い事してもうた。 mapreduce mapreduceメソッドの中では、do_map,do_reduceが順に呼び出されている。 do_map( $spec ); do_reduce( $spec ); これらのメソッドを順に見て…

id:naoyaさんが書いたMapReduce::Liteのコードを読んでみた。 http://d.hatena.ne.jp/naoya/20080511/1210506301 このエントリーにあるapacheのアクセスログを解析するサンプルコードを辿っていく。 MapReduce::Lite mainパッケージから辿っていく。まずはシ…

概要 MapReduceは、複数のマシンを使って分散的にデータ処理を行う仕組みである。MapReduceには、大きく分けて２つのフェーズがあり、それぞれ「Map」「Reduce」と呼ばれる。MapReduceは、この２つの処理を複数のマシンに同時に行わせる形で、分散処理を行な…