moratorium

2008年07月28日

HDFSでアトミックな追記操作がサポート

今週末、HDFS(Hadoop Distributed File System)についにアトミックな追記操作をサポートするパッチがコミットされたようです！

- HADOOP-1700

これが安定すれば、ログファイル等をどんどん追記して、半リアルタイムで解析するような基盤を簡単に作れるようになるでしょう。

そのほかにもHadoopは色々と開発が進んでいて、一部がTomWhiteさんのエントリにまとまっています。どんどん便利に、かつカスタマイズ可能になって行くので楽しいです。以下に簡単にまとめておきます。

JobSchedulerの改善(現在はFIFOしか無いが、Facebookから公平性を考慮したスケジューラーの実装が上がっている)
HDFSのブロック配置アルゴリズムをプラッガブルに
InstrumentationAPIで各種ログ機構と統合し、クラスタ内の状態を詳しく把握
Thrift/GoogleProtocolBufferを使用したシリアライズフレームワークの改善
LifeCycleインターフェースの導入
コードの循環依存の撤廃

僕もソースコードは大体把握したので、コードでコントリビューションして行こうと思っています。

P.S.
はてなさんでは既にログ解析にHadoopを使用されているらしいです :-)

Permalink
by
at 10:12
Comments (0)
Trackbacks (0)

2008年07月15日

はてな合宿

６月の週末にはてなさんの京都オフィスにお邪魔して３日間の合宿を行いました。その時にnaoya, oxy, kzkチームで作った「はてブ関連エントリー機能」が今日公開されました。

僕は主にoxyの作ったエンジン(reflexaに使われている奴)をThriftのマルチスレッドサーバー上に載せる仕事をしました。マルチスレッド周りでエンジンに数箇所バグが有ったのでそれを取り、負荷生成ツールを作ってCPUを完全に使い切る所まで持っていくことができました。今までシングルスレッドで動かしてたんですよねー。

エンジン自体は行列を圧縮したり、上手く探索を枝狩りしてたりと、アルゴリズム部分は相当頑張って実装されていたので、今回はその外堀を上手く埋めることが出来てよかったと思います。oxyたん、流石です。

mysqlのdumpはこうやるんだよ！とC言語でMySQL C APIを叩き出したnaoyaさんは素敵でした。あとこんなUIが欲しい！この条件でソートして表示して欲しい！と叫んでみたらすぐに作ってくれるので非常にやりやすかったです。僕ら画面作るの苦手なんですよね。

第２弾、第３弾と続くと思うので、また楽しみにしておいて下さい。