2008年07月28日
HDFSでアトミックな追記操作がサポート
今週末、HDFS(Hadoop Distributed File System)についにアトミックな追記操作をサポートするパッチがコミットされたようです！
これが安定すれば、ログファイル等をどんどん追記して、半リアルタイムで解析するような基盤を簡単に作れるようになるでしょう。
そのほかにもHadoopは色々と開発が進んでいて、一部がTomWhiteさんのエントリにまとまっています。どんどん便利に、かつカスタマイズ可能になって行くので楽しいです。以下に簡単にまとめておきます。
- JobSchedulerの改善(現在はFIFOしか無いが、Facebookから公平性を考慮したスケジューラーの実装が上がっている)
- HDFSのブロック配置アルゴリズムをプラッガブルに
- InstrumentationAPIで各種ログ機構と統合し、クラスタ内の状態を詳しく把握
- Thrift/GoogleProtocolBufferを使用したシリアライズフレームワークの改善
- LifeCycleインターフェースの導入
- コードの循環依存の撤廃
僕もソースコードは大体把握したので、コードでコントリビューションして行こうと思っています。
P.S.
はてなさんでは既にログ解析にHadoopを使用されているらしいです :-)
- by
- at 10:12
comments