P.S.
佐賀は日本酒旨いです。蛍川が気に入りました！

大倉さんによるHadoop記事第4回が公開されました！Hadoopを使用したサービスの具体的な構成方法・Amazon EC2/S3上でHadoopを動かすための具体的な方法が解説された貴重な記事です。是非お楽しみ下さい！

過去記事はこちらになります。

• Hadoop、hBaseで構築する大規模分散データ処理システム
• Hadoopのインストールとサンプルプログラムの実行
• 複数マシンへHadoopをインストールする

次回は連載最終回で、BigTableのクローン「hBase」の紹介を行う予定です。

なんだかCRFが分かった気になる貴重な3時間の講義でした。おかだいさんの説明/発表はいつ聞いても良いですね。物凄く分かった気になるｗ

あとは色々知り合いの方がかけつけて下さり、飲み会も非常に楽しかったです。tabateeさんが幸せそうだったのが僕はとりわけ印象的でしたｗ また適当にやりましょうー > いちーさん

これが安定すれば、ログファイル等をどんどん追記して、半リアルタイムで解析するような基盤を簡単に作れるようになるでしょう。

そのほかにもHadoopは色々と開発が進んでいて、一部がTomWhiteさんのエントリにまとまっています。どんどん便利に、かつカスタマイズ可能になって行くので楽しいです。以下に簡単にまとめておきます。

• JobSchedulerの改善(現在はFIFOしか無いが、Facebookから公平性を考慮したスケジューラーの実装が上がっている)
• HDFSのブロック配置アルゴリズムをプラッガブルに
• InstrumentationAPIで各種ログ機構と統合し、クラスタ内の状態を詳しく把握
• Thrift/GoogleProtocolBufferを使用したシリアライズフレームワークの改善
• LifeCycleインターフェースの導入
• コードの循環依存の撤廃

僕もソースコードは大体把握したので、コードでコントリビューションして行こうと思っています。

P.S.
はてなさんでは既にログ解析にHadoopを使用されているらしいです :-)

• 関連エントリー機能のリリースについて
• はてなブックマークの関連エントリー機能開発、PFI さんとの合宿 by naoya
• はてなブックマークの関連エントリー機能開発 by oxy
• はてブ関連エントリ 技術解説 by nvaca

僕は主にoxyの作ったエンジン(reflexaに使われている奴)をThriftのマルチスレッドサーバー上に載せる仕事をしました。マルチスレッド周りでエンジンに数箇所バグが有ったのでそれを取り、負荷生成ツールを作ってCPUを完全に使い切る所まで持っていくことができました。今までシングルスレッドで動かしてたんですよねー。

エンジン自体は行列を圧縮したり、上手く探索を枝狩りしてたりと、アルゴリズム部分は相当頑張って実装されていたので、今回はその外堀を上手く埋めることが出来てよかったと思います。oxyたん、流石です。

mysqlのdumpはこうやるんだよ！とC言語でMySQL C APIを叩き出したnaoyaさんは素敵でした。あとこんなUIが欲しい！この条件でソートして表示して欲しい！と叫んでみたらすぐに作ってくれるので非常にやりやすかったです。僕ら画面作るの苦手なんですよね。

第２弾、第３弾と続くと思うので、また楽しみにしておいて下さい。

これで勝ったら田中さん神。

C++で真ん中に突っ込むだけの馬鹿探査機を一通り書いた後、Haskell Masterがコーディングしてる横について色々と突っ込んでました。Haskell凄いよHaskell。

でも壮絶にバグ取りづらいｗ

というわけで今年は田中さんのエントリに誘導ー。

• Googleビデオ
• ニコ動

ちょくちょく入るshinhさんの突込みが面白いのと、質疑応答でIPLの方の激しい突っ込みに、きちんと答えられない僕が写ってますよ！

あの方ともうちょっと話したかったな・・・。

しかし自分のビデオは恥ずかしいですね。「まあ」って言いすぎなの直そうと思いますｗ

• ProtocolBuffers, our serialized structured data, released as Open Source
• プロトコルバッファー
• チュートリアル

おーおーお、GoogleTestといい何かオープンソース化ラッシュですね。FacebookのThriftと比較してC++, Java, Pythonしかバインディングが無いので、PHPとかPerlとか使ってる場合はまだ移行できなさそう。

この２つは週末に時間とってじっくり調べてみようー。

追記:
RPCの部分は無くて、シリアライズのところしかなかった・・・。

追記:
RPC有るっぽ。

お題はHadooooooooop!です。

- 第88回カーネル読書会のおしらせ

是非お越しくださいませ :-)

今回はついに複数マシンでHadoopを動作させる方法を解説しています。次回は大倉さんの記事になります。

第１回、第２回は以下になります。

• Hadoop、hBaseで構築する大規模分散データ処理システム
• Hadoopのインストールとサンプルプログラムの実行

id:nishidakeisukeさんも最近書かれていましたね。

- インテル スレッディング・ビルディング・ブロック

オライリーの本自体は４月ぐらいに読み終わっていたのだが、実際に試してなかったので試してみた。

なんかmake installが無い。とりあえずビルドされたものが出来てるディレクトリに謎のシェルスクリプトを発見。sourceしてみた。

[code] pficore% cat build/linux_em64t_gcc_cc4.1.2_libc2.5_kernel2.6.20_release/tbbvars.sh #!/bin/sh [ -z "${TBB21_INSTALL_DIR}" ] && export TBB21_INSTALL_DIR="/home/kzk/tarball/tbb21_20080605oss" # tbb_bin="${TBB21_INSTALL_DIR}/build/linux_em64t_gcc_cc4.1.2_libc2.5_kernel2.6.20_release" # if [ -z "$CPATH" ]; then # export CPATH="${TBB21_INSTALL_DIR}/include" # else # export CPATH="${TBB21_INSTALL_DIR}/include:$CPATH" # fi # if [ -z "$LIBRARY_PATH" ]; then # export LIBRARY_PATH="${tbb_bin}" # else # export LIBRARY_PATH="${tbb_bin}:$LIBRARY_PATH" # fi # if [ -z "$LD_LIBRARY_PATH" ]; then # export LD_LIBRARY_PATH="${tbb_bin}" # else # export LD_LIBRARY_PATH="${tbb_bin}:$LD_LIBRARY_PATH" # fi # # pficore% source build/linux_em64t_gcc_cc4.1.2_libc2.5_kernel2.6.20_release/tbbvars.sh pficore% echo $TBB21_INSTALL_DIR /home/kzk/tarball/tbb21_20080605oss [/code]

これで動くだろうけどなんか嫌だ。install target作って欲しいです > Intelの中の人。

次は適当にビルドして実行する。コードはこんな感じ。

[code] #include #include #include #include #include #include #include using namespace std; double gettimeofday_sec() { struct timeval tv; gettimeofday(&tv, NULL); return tv.tv_sec + (double)tv.tv_usec*1e-6; } int main(int argc, char **argv) { int s = 500000000; vector v(s); for(unsigned int i=0; i

2Gをソートしてみます。Core 2 Duo 6600 2.4G でビルド & 実行。

[code] pficore% g++ -o parallel_sort -O2 -I${TBB21_INSTALL_DIR}/include parallel_sort.cpp -ltbb pficore% time ./parallel_sort std sort time: 70.4624 ./parallel_sort std 76.36s user 1.85s system 99% cpu 1:18.86 total pficore% time ./parallel_sort tbb sort time: 41.6624 ./parallel_sort tbb 86.31s user 1.90s system 176% cpu 50.020 total [/code]

ちゃんと速くなってますね、すばらしい。

インストール問題さえ無ければ手軽に並列化出来てよい感じ。

行ってきました。初mixiオフィス。

Dynamoのアルゴリズムに関しては知ってる話だったので、僕としてはErlangの実装の所が色々と楽しかったです。プログラミング言語Erlangを４月に読んで、結局実際に書かずじまいになってるので良くないなあ。

あとTokyoTyrantではepoll(2)で読み込み可能なfdをゲットしてそれをqueueに入れて、スレッドプール(8 thread)で同期的にread(2)して処理しているらしい。

それだとまだ届いてないパケットが有る時にread(2)がブロックして最大性能が出ない気がするのですが、mixiで実際に運用してる所をみるとあんまり関係無いのかしら。

僕はいつもepoll(2)ループでプロトコルの終端までread(2)してから、その内容と共にqueueに突っ込んでたので、あれ？と思ってしまった。

打ち上げではid:tasukuchan、瀧内さん、みかかの人達と分散系・アルゴリズム系の話をしていた。余りにも面白かったので、一部の人としか話せなかったのはちょっと勿体無かったかな・・・。

僕が一番最初に書いたプログラム。このコンテストは結局落選したんだけど、色々と楽しい思い出が。

当時、布留川さんが簡易シューティングゲームを作るような記事を書かれていて、そのソースを印刷して勉強してた。ネストしたforの動作が分からなくて悩んでた記憶がある。

Javaの入門書とか読んでもつまらんサンプルしか無いので、今考えてもこの勉強の仕方は良かったな。

公開されてたシューティングゲームをデコンパイルしてソースを読んで複雑な敵の動き方の実現方法とかを勉強した。なんでいきなりデコンパイルを覚えてたのかは謎。絵は友達にペイントで書いてもらった。

アプリを10kに収めないといけないので、ループ変数をstaticにして縮めた。そのせいでスレッドを使ってループを回すとバグって、その原因を見つけるのに１週間かかったりとか。確か適当に衝突判定ループ全体をsynchronizedとかで囲んだ気がする。

10kって10000byteじゃなくて10240byteだったときは嬉しかった。

オブジェクト指向とか知らんから、適当にドット付けてコンパイルが通ったらラッキーってな感じで開発してた。

そのくせ数十万ＤＬ有ったりとか。電車で隣の人が僕のゲームやってた時はコンピューターってすげえ！インターネットってすげえ！って思った。プログラミングで、UO & Diablo中毒が治った。