【HPE AI Japan】HPEの生成AIオファリング

[AI_Japan]

こんにちは、HPEでインフラ周りのプリセールスをしている片山です。

前回に続きまして、オンプレプライベート生成AIの需要に即して、HPEがどのようなオファリングをご用意しているかをご紹介します。

LLMの開発・利用ステップから見る計算リソース

LLMを例にあげると、モデルを作るTrainingフェーズから、モデルをカスタマイズするTuningフェーズ、モデルを使うInferenceフェーズとステップが分かれます。モデルを一から作るフェーズから始める場合は自由度が高い反面、必要となる計算リソースも膨大になり、その規模はGPUx数百枚～、数十日～、かかると言われています。また、必ずしも良質なモデルができるかわからない、というのが企業投資観点で見てもどこのフェーズから始めるのか判断が難しいところに思われます。

 そのため、まずはMeta社のLlama 3に代表されるようなオープンソースで提供されるLLMを活用して、RAG：Retrieval Augmented Generation（検索拡張生成）を利用したモデルを使うInferenceフェーズから始めることが考えられます。

再掲になりますが、RAGを利用する場合でもモデルがクラウド上にホストされる場合、固有のデータもクラウドに流れてしまう仕組みのため、Inferenceフェーズからオンプレミスを検討する必要性が出てきます。

AI特化のNew汎用HPE ProLiantサーバーラインナップ

2024年6月17日～20日にかけてHPE Globalでの年次イベントであるHPE Discover Las Vegas 2024が開催されました。様々な発表があったものの、その中心はNVIDIA社との協業、およびAIにフォーカスした内容でした。

汎用サーバーであるProLiantシリーズはInference～Tuningフェーズを中心に支える基盤の位置づけとなりますが、2024年7月23日にMeta社のLlama 3.1 405Bモデルがリリースされ、Inferenceのみでも16bit Floatで利用しようとすると405 x 2(Byte) = 810GB +α 以上のGPUメモリが必要となってくるので、このタイミングで汎用サーバーでのGPU拡充化は非常によいタイミングに思えます。

＜参考出典＞Meta社Llama 3.1

HPEの生成AIオファリング

HPEでは、汎用サーバーのGPU拡充化に伴い、最適化されたハードウェアおよび、各種HPEが提供可能なAIプラットフォームソフトウェアを合わせたソリューションオファリングを整備しております。

前述におけるHPE Discover Las Vegas 2024では、“NVIDIA AI Computing by HPE”と題して、HPEとNVIDIAが密に連携して共同開発および共同で市場開拓を実施する取り組みを促進していくことを発表しました。その具現化の一つの形として、共同開発したエンタープライズAIソリューションである“HPE Private Cloud AI”は、数多あるAIプラットフォームソフトウェアやモデルをオンプレミスのプライベートクラウドとして使いやすく・運用しやすく提供するターンキーソリューションとして大々的に打ち出しています。

 ＜参考出典＞

HPEとNVIDIAのAI活用への取り組み

HPE Private Cloud AI

HPE Private Cloud AIはInference～Tuningフェーズにフォーカスしたソリューションですが、

HPEではCrayサーバーやMachine Learning Development EnvironmentソフトウェアをベースにTrainingにフォーカスした“Machine Learning Development System”、

水冷スパコンをベースとした“Super Computing Solution for Generative AI”などのHPC＆AI系ソリューション、

HPE Private Cloud AIでは少しオーバースペック気味なお客様向けに、LLM Sandboxと呼ばれる構築サービス付きのスターターキット、

Inference用途特化として、協業パートナー企業のソフトウェアをホストして１サーバー＋1GPUから始められるソリューションなど、

生成AI開発・利活用ステップのフェーズ毎にご用意しております。

ご興味ございましたらぜひ弊社営業までお問い合わせください。