【GPUではなく、AI専用プロセッサーという選択肢】AIモデル開発にCerebras×Superdome Flex

[KotaroS]

■オンラインセミナー開催決定！詳しくはこちら。

皆様、初めまして。
ミッションクリティカルサーバーのプリセールスを担当しております坂井です。

今回は、巨大なチップを備えたディープラーニング専用システムであるCerebras CS-2(以下、Cerebras)、そしてHPC用途にも最適なHPE Superdome Flex Family(以下、Superdome Flex)を組み合わせた新しいソリューションについてご紹介します。

また本稿は、Cerebrasの販売代理店をされています東京エレクトロン デバイス株式会社様(以下、TED様)との連載ブログとなっています。TED様のブログも併せてご覧ください。

※HPE Superdome Flex Familyについては、こちらの記事に詳しく記載されていますので、ぜひご参照ください。

■圧倒的な学習性能で、大型AIモデルに最適なCerebras

大型AIモデルの学習を実行しようとした場合、どのようなシステムを想像されるでしょうか？各ノードにたくさんのGPUを取り付け、大規模なクラスターとして構築する複雑なシステムを思い浮かべる方が多いのではないでしょうか。
元来、画像処理用として開発されたGPUは、演算性能に対して低コストで機械学習に応用できることからHPCの分野でも重宝されてきました。

一方で、近年AIモデル学習で注目を集めているのがAI専用システムです。この中でもディープラーニングに最適化され、多数のGPUで構成された従来システムと比べて低い消費電力で高速な学習処理を実現するのがCerebrasです。

Cerebrasの高い性能の秘密は、システムの中に搭載されている1辺20cm越えの巨大なチップ、WSE 2（ウェハースケールエンジン 2）にあります。例えば、WSE 2には以下のような特徴があります。

• 85万コア、2.6兆個のトランジスタを搭載するなど、一般的なGPUと比べて桁違いのスペック
• 効率的なデータアクセスを実現するコア毎の高速なローカルメモリ
• コア間での非常に高速な通信

このような従来の概念を超越したチップを備え持つことにより、大型のAIモデルに対しても優れた学習性能を発揮します。

Cerebrasのより詳しい情報は、TED様のWebサイトに記載されていますので、ぜひご確認ください。

■Cerebrasを支えるSuperdome Flexとは？

冒頭でCerebrasとSuperdome Flexの新しいソリューションとご紹介しましたが、他方Superdome Flexとはどのようなサーバーなのかをこちらで簡単にご紹介いたします。

1. 最大48TB搭載可能なメモリにより、必要なデータを即座に準備することが可能。
2. 最大32個搭載可能なCPUにより、大規模データの高速処理が可能。
3.  幅広くサポートされたI/Oカードを最大128枚搭載可能。

このような優れた拡張性を1ノードで使用することが出来る高性能なサーバーとなっています。またx86サーバーですので、汎用サーバーと同じような使い心地でご使用いただけます。
このSuperdome Flexが、Cerebrasを用いたAIモデル開発にどれだけ寄与できるかを現在、TED様と検証しております。こちらの検証内容やSuperdome Flexの役割については、TED様のブログで解説していただきたいと思います。

※Superdome Flexの動画を前編 / 後編として公開しておりますので併せてご覧ください。また、Superdome Flex 280の動画も現在制作中です。こちらは少しお待ちいただけますと幸いです。

■Cerebrasの実機を拝見して感銘を受ける

ここからは、検証のためSuperdome Flex 280をTED様のデータセンターに搬入させていただいた際の様子をご紹介いたします。

データセンターに入室させていただきました私たちは、まずCerebrasの実機を見せていただきました。

Cerebrasの筐体

最初に受けた印象として、クラスター級の性能と伺っていたのですごく大きなマシンなのかなと思っていたのですが、想像していたよりもコンパクトだと感じました。これが15Uに収まっていることを思うと、素晴らしい技術の結集だと感銘を受けました。
続いて、Cerebrasの内部の仕組みもご紹介いただきました。

Cerebrasの上面の様子

通常のサーバーの場合、CPUは正面から見て水平方向に搭載されていることが多いですが、Cerebrasの場合、WSE 2が垂直方向に搭載されており驚きました。
またこの際、WSE 2の展示を見せていただいたのですが、1辺がだいたいA4サイズの短辺と同じくらいの長さと教えていただき、改めてその大きさに圧倒されました。

WSE 2の展示

その後、水冷システムということで背面部分を拝見しました。
以下の写真のように、背面から2本のパイプが伸びており、そこに水が流れることで筐体を冷やしていると学びました。

Cerebrasの背面部分 水冷システム

一通りご紹介いただいた後、Superdome Flex 280の搬入作業を行いました。
今回検証で使用する機材は、Superdome Flex 280の特徴の一つでもあります、それぞれ4CPUを備えた2つの筐体をUPIケーブルで接続して1つのサーバー(8CPU)として利用する構成になります。このスケールアップ型サーバーが良い検証結果を出してくれることを願って一生懸命設置しました。

Superdome Flex 280設置時の様子

設置完了後のSuperdome Flex 280とCerebras

 設置が終了した際の様子が上の写真になります。非常に良い位置に設置させていただきました。
これからの検証を考えるとワクワクが抑えきれません。今後の検証結果にご期待ください！

■Cerebras × Superdome Flexセミナー開催決定

最後に、HPEとTED様でオンラインセミナーを行うことが決定しました。

今回ご紹介しましたCerebrasとSuperdome Flexの新しいソリューションについて、さらに深く掘り下げた内容をお届けする予定です。

開催日時は2022年11月8日(火) 11時～12時となっております。
お申込みはこちらのサイトからお願いいたします。

AIモデルの新たなアプローチについて熱くディスカッションされるとのことですので、ぜひご参加ください！

以上、いかがでしたでしょうか？
CerebrasとSuperdome Flexの最強タッグに胸が高鳴る筆者でした。
最後までお読みいただきありがとうございました。

---

• HPE.com
• HPE Superdome Flex Family
• HPE Blog, Japan
• 東京エレクトロン デバイス株式会社様 公式サイト
• Cerebras CS-2
• 東京エレクトロン デバイス株式会社様 公式ブログ
• オンラインセミナー 申込みサイト