ANL Intern 2009 Archive

早いもので、4週が経過しました。

1～2週目で、「こやつは好きにやらせても大丈夫だフラグ」を立てることに成功したので、がんがんコミットしてます。gitを大体覚えました。たまたま、WEB+DB Press持ってきて良かったです。残り1カ月でアイデアの実装/負荷テストまでは一通り終われそうな感じです。実アプリ/ベンチマークでの検証作業は、日本帰ってからかな～という感じ。

3週目にはshi3zさんがLog Angelesから大陸鉄道Amtrakで40時間かけて来てくれて、シカゴ市内を色々と一緒に観光しました。相当楽しくて、良い息抜きになりました。

台北101/エンパイアステートビルに続き、今回の観光でシアーズタワーの模型をゲットしました。いつかブルジュ・ドバイにも行きたいです。

• Facebookの写真

そういえば、タクシーの運転手と聞き返すことなく話せるようになってて自分でちょっと感動しました。リスニング力は大分向上しているようです。昼飯時も結構会話に参加できるようになってきた ! 仲良くなって名前を覚えてもらって、向こうから呼び掛けてもらえると、嬉しいですね。

インド系なまりは何故か得意なようなのですが、イギリス系?ヨーロッパ系?のスピーディーな英語はまだまだ厳しい…。まあ3回ぐらい聞き返せばいいんですけどね～。

でも流石にそろそろちょっと帰りたくなってきた…。日本のご飯が大分恋しいっす。観光は終わったので、来週末からは超暇なのでどうしようかと悩んでおります。

以下、宣伝です。

Continue reading

私的メモエントリです。IBM製のスパコン、BlueGeneの特徴をまとめてみます。

以下参考URL。

• IBM Research | Blue Gene
• IBM Journal of Research and Development, Vol 49, 2005
• Early Evaluation of BlueGene/P, SC2008
• Toward Message Passing for a Million Processes: Characterizing MPI on a Massive Scale Blue Gene/P, ISC2009
• An Overview of the BlueGene/L Supercomputer, SC2002
• Wikipedia: BlueGene

以下、特徴を箇条書き。

• PowerPCベースのプロセッサ。BG/Lは700MHz, BG/Pは850MHz。BLG/Lは2コア、BG/Pは4コア。各コアに1個ずつ、DoubleFPUが付属。BG/PからはL2にSnoopFilterが設置され、コア間のcache coherenceが保たれる。これによりマルチスレッドアプリが書けるようになった。
• 消費電力辺りの計算能力を最重要視し、それを並べまくる。プログラミングモデルはMPI。メモリ/ネットワークインターフェースなど、全てをチップ状に実装する(システムオンチップ)ことで故障率を下げる。
• 3種類のネットワークを持つ。「3D Torus」, 「Global Collective Network」, 「Global Interrupt Network」。順番に、P2P&Multicast・One-to-All・Barrier用途。I/OノードはGbit Etherで並列ファイルシステムと通信。
• 計算ノードではCNK(ComputeNodeKernel)と呼ばれる超軽量OSが走る。コンテキストスイッチをサポートしていないため、コア数以上の数のスレッドを作ることはできない。そのほかにも仮想メモリ・I/O機能などを提供しないことで、OSのjitterの影響を最低限に抑える。OS jitterについては以下の論文が参考になる。I/OリクエストはI/Oノードにフォワードされる。
  • The Influence of Operating Systems on the Performance of Collective Operations at Extreme Scale, Cluster2006
• I/OノードではLinuxが走る。計算ノードからフォワードされてきたI/Oリクエストを実際に実行する。I/Oノードは計算ノードとチップ的には同じだが、ノードボードのGBitの口と接続されている点が計算ノードと異なる。通常、計算ノード64ノードに対し、I/Oノード1ノードが割り当てられる。I/O Forwardingについては以下の論文が参考になる。
  • High Performance File I/O for The Blue Gene/L Supercomputer, HPCA2006
  • ZOID: I/O-Forwarding Infrastructure for Petascale Architectures, PPoPP2008
• ラックが斜めになっているのは見た目のためじゃない。ヒートアイル/クールアイル方式をより効率化させるためにそうなっている。
• BlueGene/Q(aka IBM Sequioa)が目下開発中

気づいたら、適当に追加していきます。

シカゴに来て、早くも一週間が過ぎました。

人とプロジェクトの把握をする/どういう作業をするか決める/仕事の進め方を把握する、のに数日かかりましたが、週の後半にはいくつかパッチも作って、コミットされそうで良かったです。

ANLにはHPC分野で有名なソフトウェアの主要開発者が同じ階にそろっていて、廊下を歩くだけでワクワクします(NetCDF, MPICH2, ROMIO, IOFWD, BMI, PVFS)。無理やり例えるならRoR・Rubyインタプリタ・mod_ruby・Apache・MySQLの作者が全員同じ廊下に同居してるみたいな感じでしょうか。

下位レイヤ/上位レイヤで分からないことが有ったらすぐに聞けるのは、ソフトウェアの研究を進める上でもの凄く大きなアドバンテージだと感じました。いくら車輪の再発明といわれようが、重要な部分をインハウスで作るのは非常に重要ですね(当たり前ですけど)。ここの場所で、毎日ゆっくりと/長期的にみると劇的に、何かが変わっていくんだなあと実感します。

マネージメントをどうしてるかも気になるので、その辺は是非盗んで帰りたいな。目下の課題は、お昼ご飯の時の会話(政治/経済の話とか全然ついていけねー)です。単語力が全然足りないよ！それと毎日のクッキング！です。

無事、シカゴのアパートに到着しました。特にトラブルも有りませんでした。以下雑感。

• 当たり前だけど、英語が通じる! Taxiドライバーの人が英語を喋れるのは相当な安心感が有る。
• 部屋が相当広くて、快適! 東京と家賃同じなのに…。
• EC2へのRTTが50msで快適! 今まで遅かったサービスが俄然快適に…。
• 備え付けのテレビが大きい!

今日はもう疲れたので、寝ようと思います。明日は食糧調達ルートを確立せねば。料理ほとんどしないので、大丈夫かなー。

2009/6月～2009/7月に、Argonne National Laboratory, Mathematical and Computer Science Divisionでサマーインターン(修士生受け入れプログラム)をしてきます。僕の指導教官の石川大先生のツテです。

アルゴンヌ国立研究所は、現在Top500で第5位のBlueGene/P(163,840 Processors)が設置されているアメリカの研究機関です。

• Argonne National Laboratory
• Argonne National Laboratory, Mathematical and Computer Science Division

HPC環境、特にBlueGene/P上でのソフトウェアスタック(ZeptOS, PVFS, MPICH2, etc)を作っているチームで、何かやる予定です。凄い人たちが世界中から集まっているので、今からgkbrしています。

今年度はインターンでの成果をまとめて修士論文にし、卒業する予定です(学生生活もついに後１年)。10月投稿期限の国際学会に出して、それを修士論文に持って行くというのが理想パターンですね。卒論よりは余裕を持ちたい所です。

最近ようやく渡米のための書類処理が終わったところです。もしシカゴにいらっしゃる/住んでた方がいらっしゃいましたら、是非かまってやって下さい。

メールの反応など悪くなるかもしれませんが、お許し願いますm(_ _)m 今まで2か月も外国に居たことがないので、流石にJapan Sickになりそう。