Hadoop Archive

第16回GREE OSSテクノロジー勉強会でHadoopのお話をさせて頂きました。

• 第16回 オープンソーステクノロジー勉強会
• 第16回 オープンソーステクノロジー勉強会トラックバック一覧

前半は僕の方からMapReduceの簡単な紹介と実装。話を聞きに来られる方々の層が分かってなかったのですが、懇親会で話した方の様子を見てると、もうちょい進んだ内容でも良かったなと思いました・・・。

予め参加者のプロファイル(差し支えない範囲での所属や肩書き, ブログURL, などなど)を渡してもらえると発表者としては嬉しいかなとか思いました　＞　いちーさん、ふじもとさん

後半はohkura先生によるblogeyeの構築事例の紹介。個人でMax 80台まで使ってデータ処理をするという衝撃的な事例で、非常に面白かったです。

その後の飲み会では色々な方とお話させて頂き、普通におもろかったです。楽天安武さんがいらっしゃったり、id:vivier氏大人気だったり、LuxIOフィーバーが有ったり。なんかメンバーが楽し過ぎで、帰ったら３時でしたｗ

というわけで、GREEの皆様、ありがとうございましたー！もちろん次回からも参加予定です。

あとYahooの人はもっとHadoopの情報を出すべき。使ってないのかな???

@kisさんに誘って頂き、プレゼンさせて頂くことになりました。@kisさんとはSWoPP2008で初めてお会いして、なぜか最近良くお会いします。

• JJUG Cross Community Conference
• JJUGクロスコミュニティカンファレンスでのショートプレゼン by @kisさん

「100行で書く分散検索エンジン」という題です。Hadoop+Luceneで分散検索エンジンを作る話です。基本的にはこれの解説と続きです。
ちなみに最初に覚えたプログラミング言語はJavaですがいまいち好きでは有りませんｗ でもScalaには興味が有るので水島さんのセッションも楽しみ。
ちなみにポロリは無いよ！

Hadoop (0.17系) + Lucene (2.3系) で検索用インデックスを分散インデクシングするコードを公開してみます。HDDに眠らせてるのはちょっともったいない。

Continue reading

PFIの方からHadoopの解析資料を公開しました。

- オープンソース分散システム「Hadoop」解析資料

Googleの論文に書かれている機能を列挙し、それがHadoopに実装されているかどうかを比較しています。それに加えてソースコード解析、簡単なベンチマークなどを記述しました。これでHadoopを実際のシステムに使ってみようという人が増えてくれると非常に嬉しいです。

この資料はNTTレゾナントの金田有二さんと共同で作成しました。いろいろと手伝って頂いて有難うございました > 金田さん

- blogeyeの実装に学ぶ、Amazon EC2/S3でのHadoop活用術

大倉さんによるHadoop記事第4回が公開されました！Hadoopを使用したサービスの具体的な構成方法・Amazon EC2/S3上でHadoopを動かすための具体的な方法が解説された貴重な記事です。是非お楽しみ下さい！

過去記事はこちらになります。

• Hadoop、hBaseで構築する大規模分散データ処理システム
• Hadoopのインストールとサンプルプログラムの実行
• 複数マシンへHadoopをインストールする

次回は連載最終回で、BigTableのクローン「hBase」の紹介を行う予定です。