Home > Hadoop > HDFSでアトミックな追記操作がサポート

HDFSでアトミックな追記操作がサポート

  • 2008-07-28 (Mon) 10:12
  • Hadoop
  • hatena button
  • hatena count
  • save this page del.icio.us

今週末、HDFS(Hadoop Distributed File System)についにアトミックな追記操作をサポートするパッチがコミットされたようです!

- HADOOP-1700

これが安定すれば、ログファイル等をどんどん追記して、半リアルタイムで解析するような基盤を簡単に作れるようになるでしょう。

そのほかにもHadoopは色々と開発が進んでいて、一部がTomWhiteさんのエントリにまとまっています。どんどん便利に、かつカスタマイズ可能になって行くので楽しいです。以下に簡単にまとめておきます。

  • JobSchedulerの改善(現在はFIFOしか無いが、Facebookから公平性を考慮したスケジューラーの実装が上がっている)
  • HDFSのブロック配置アルゴリズムをプラッガブルに
  • InstrumentationAPIで各種ログ機構と統合し、クラスタ内の状態を詳しく把握
  • Thrift/GoogleProtocolBufferを使用したシリアライズフレームワークの改善
  • LifeCycleインターフェースの導入
  • コードの循環依存の撤廃

僕もソースコードは大体把握したので、コードでコントリビューションして行こうと思っています。

P.S.
はてなさんでは既にログ解析にHadoopを使用されているらしいです :-)

Similar Posts:

Comments:0

Comment Form
Remember personal info

Trackbacks:0

Trackback URL for this entry
http://kzk9.net/blog/2008/07/hdfs.html/trackback
Listed below are links to weblogs that reference
HDFSでアトミックな追記操作がサポート from moratorium

Home > Hadoop > HDFSでアトミックな追記操作がサポート

お薦め本
広告
Archives
Categories

Return to page top