BlueGeneのアーキテクチャ超適当まとめ

私的メモエントリです。IBM製のスパコン、BlueGeneの特徴をまとめてみます。

以下参考URL。

• IBM Research | Blue Gene
• IBM Journal of Research and Development, Vol 49, 2005
• Early Evaluation of BlueGene/P, SC2008
• Toward Message Passing for a Million Processes: Characterizing MPI on a Massive Scale Blue Gene/P, ISC2009
• An Overview of the BlueGene/L Supercomputer, SC2002
• Wikipedia: BlueGene

以下、特徴を箇条書き。

• PowerPCベースのプロセッサ。BG/Lは700MHz, BG/Pは850MHz。BLG/Lは2コア、BG/Pは4コア。各コアに1個ずつ、DoubleFPUが付属。BG/PからはL2にSnoopFilterが設置され、コア間のcache coherenceが保たれる。これによりマルチスレッドアプリが書けるようになった。
• 消費電力辺りの計算能力を最重要視し、それを並べまくる。プログラミングモデルはMPI。メモリ/ネットワークインターフェースなど、全てをチップ状に実装する(システムオンチップ)ことで故障率を下げる。
• 3種類のネットワークを持つ。「3D Torus」, 「Global Collective Network」, 「Global Interrupt Network」。順番に、P2P&Multicast・One-to-All・Barrier用途。I/OノードはGbit Etherで並列ファイルシステムと通信。
• 計算ノードではCNK(ComputeNodeKernel)と呼ばれる超軽量OSが走る。コンテキストスイッチをサポートしていないため、コア数以上の数のスレッドを作ることはできない。そのほかにも仮想メモリ・I/O機能などを提供しないことで、OSのjitterの影響を最低限に抑える。OS jitterについては以下の論文が参考になる。I/OリクエストはI/Oノードにフォワードされる。
  • The Influence of Operating Systems on the Performance of Collective Operations at Extreme Scale, Cluster2006
• I/OノードではLinuxが走る。計算ノードからフォワードされてきたI/Oリクエストを実際に実行する。I/Oノードは計算ノードとチップ的には同じだが、ノードボードのGBitの口と接続されている点が計算ノードと異なる。通常、計算ノード64ノードに対し、I/Oノード1ノードが割り当てられる。I/O Forwardingについては以下の論文が参考になる。
  • High Performance File I/O for The Blue Gene/L Supercomputer, HPCA2006
  • ZOID: I/O-Forwarding Infrastructure for Petascale Architectures, PPoPP2008
• ラックが斜めになっているのは見た目のためじゃない。ヒートアイル/クールアイル方式をより効率化させるためにそうなっている。
• BlueGene/Q(aka IBM Sequioa)が目下開発中

気づいたら、適当に追加していきます。

Similar Posts:

• インターン6週間経過 / BlueGenePツアー
• EMobile: D01NE
• SOSP 2009適当まとめ