YouTube動画は、こちら。
以下では、動画の会話内容を簡単にまとめ、内容を補足してご紹介します。
■省電力／サステナビリティ／地球環境へ配慮した取り組み／省電力サーバーのビジネス展開
今回、「HPE社員がこんなことをやってみた」という動画を作ることになりました。第１回は、省電力ARMサーバーでAIを動かす話です。
昨今のITの世界において、省電力やサステナビリティに代表される地球環境に配慮した取り組みや、人間の脳の働きをコンピューターで模倣するAI、人工知能の活用が非常に重視されるようになっているのはみなさんもご存じかと思います。そして、ITの世界では、持続可能な取り組みの一つとして、インフラの省電力化があります。
また、昨今の第３次AIブームにおいて、非常にパワーのあるサーバーが必要とされる中、サステナビリティや省電力を維持しつつも、AIを取り入れたいといったお客様の声が非常に増えています。
HPEは、以前からサスティナビリティへの取り組みを推進していて、ARMプロセッサー搭載の業務用サーバーのHPE ProLiant RL300 Gen11（エイチピーイー・プロライアント・アールエル・さんびゃく・ジェンイレブン）のリリースもその一つです。プロセッサーの処理能力を向上させつつも、省電力を実現する、いわゆる「省電力メニーコアサーバー」を市場に展開しています。
これらを踏まえ、その省電力メニーコアサーバーの「HPE ProLiant RL300 Gen11」で、具体的にどういったAIの活用ができるのかについて若手スーパーエンジニアと語るというのが本企画の内容です。
■AIを勉強するきっかけは、社内の”ゆるいけどマニアックなAIサークル勉強会”とアニメ・ゲーム
今回は、HPE入社2年目の関根がRL300を使ったAIの検証を行いました。彼は、普段、IceWall（アイスウォール）と呼ばれるログイン認証に関係した機能を提供する製品をお客様にお届けする業務を担当していますが、最近は、会社内のAIサークル（エンジニアが集うゆるい社内コミュニティ）の勉強会にも継続的に参加しています。
彼いわく、AI・機械学習の社内サークルで繰り広げられる非常にマニアックなAIの技術情報や最近のAIトレンドを聞くうちに自分の中でのAIに対する興味に突然火が付き、AIを猛勉強するようになったそうです。
ちなみに、HPEでは、彼以外にもAI基盤についての知識や知見をもっている社員が何人もいます。ハードウェアのプリセールス部門の社員もいれば、彼のようなサービス部門の社員、博士号を持っている社員なども、コミュニティメンバーとしてこのAIサークル勉強会に参加しています。非常に高度な内容を語り合うことが多いのですが、筆者も、毎週、このAI勉強会に参加していて、AIに関する様々な情報を共有しています。
また、彼曰くは、子供のころからAIをテーマとしたアニメやゲームで遊んできた世代なので、まだまだ夢のような話だと思っていたAIが、もうここまで日常生活に入り込んで発展しているのかと衝撃を受けたことも、AIを猛勉強するきっかけの一つだったそうです。
■どのようなものを作成し、どのような結果が得られたの？
今回、彼が選んだテーマは、「メンタルヘルスに関するチャットボット基盤制作」です。
チャットボットというのは、わかりやすく いうと、コンピューターとおしゃべりするサービスみたいなものです。人間が入力した文章で、AIと会話ができます。
動画で見てもらうとわかるのですが、文字を入力するとAIから回答が返ってきて、本当に人間と雑談しているような感じです。まさに、話相手って感じのユーザー体験が得られます。
一般に、AIの品質は、そのモデル（いわゆる、脳みそに相当するもの）の出来具合に依存しますが、このチャットボットシステムは、うまく返事ができていないことも学習して、その脳みそのAIモデルがどんどん賢くなっていくというわけではありません。すなわち、学習せずに、すでにあるAIモデルをそのまま使っています。
なので、既存のAIモデルを使って、AI学習なしで、AI推論のみの状態で、いろいろ質問を工夫して動かしてみるという処理をこの省電力メニーコアサーバー１台で実行している、というわけです。
ちなみに、彼いわく、このAIには、会話開始前に、よく相手の話を聞いて共感するように指示を出しているとのこと。 また、しゃべりすぎてもメンタルヘルスの診断に影響がでるので、あまりしゃべりすぎないように指示も出しているそうです。本当はもっとおしゃべりなAIらしいのですが、話す量を抑えているそうです。
AIチャットボットに対する命令は、通常、プロンプトとよばれる入力欄があり、その入力欄に「共感して表示してください」とか、「簡潔な言葉で表現してください」とか「箇条書きで表示してください」などの命令を入力します。そういた命令は、プロンプトエンジニアリングと呼ばれており、生成AIをうまく使うで重要なタスクの一つです。
「共感しろ」と言われたり、「あんまりしゃべるな」と言われたりで、AIも大変でしょうけど、何一つ文句もいわず、もくもくと回答を返すことを頑張ってくれている、それが生成AIです。
まあ当然、AIですから、とんちんかんな回答もあるわけですが、動画で見ていただくとお分かりのとおり、けっこう普通に返事ができています。こんな話相手の生成Aiを省電力メニーコアサーバー１台だけで実現できているわけです。
■そもそもなぜこの企画に興味を持ったの？
筆者は、この企画を進めるにあたって、一つ彼に聞きたいことがありました。それは、本企画への参画の動機です。本来なら、サーバーインフラのエンジニアの社員が「サーバーでAIを動かす動画を作ってみたいです！」となるのなら出演動機として、理解できなくもないのですが、なぜ、そもそもサーバー事業とあまり深い関係にない彼が、なぜこの省電力メニーコアサーバーで生成AI環境を動かしてみようと思ったのか。
それは、彼が、とある資料をみたことがきっかけだったそうです。その資料とは、厚生労働省が出している統計情報です。厚生労働省の統計情報を見ると、現在の日本では、非常に多くの方が仕事などでメンタルの不調を感じているというデータが出ています。
実際、関根の知人も、調子を崩してしまったみたいなことは耳にしたそうです。
幸いにも、彼自身は、頼りになる上司や同僚のおかげで充実した日々を送れているとのことなのですが、今は問題がないとしても、これからこの会社で長く仕事を続けていく上で、メンタルヘルスの管理、すなわち、心の健康を維持することは非常に重要だなと感じるのだそうです。
一般に、そういったメンタルヘルスを維持するためには、家族との会話や、友人との会話、あるいは、会社の産業医の方への相談が非常に大切ですが、そういった周りの人に相談するとなると、ちょっと身構える感じになりがちですよね。
そこで彼は、気軽に普段の話を聞いてもらえるような、なにげない日常の会話が延々とできる話相手のAIがあれば、メンタル的にかなり楽になるのではないかと思ったそうです。なので、その話相手を生成AIがやってくれれば、誰もが気軽に話すことができる、さらにそのような雑談から精神状態を分析できたりすれば、医療の現場とかでITがすごく貢献できるのではないかと思ったそうです。
■GPUサーバーを大量に導入するのは困難を伴う
一般に、生成AIに関する海外の導入事例は、ものすごく巨大なシステムで構成されていることが少なくありません。 生成AIは、普通、CPUではなく、GPU（ジーピーユー）と呼ばれるハードウェアを使って動かしますが、このGPUがかなり電力を消費します。GPUだけでも、すごい電気を使うのにもかかわらず、電気代が安い国、土地代が安い国、気温の寒い国に設置するなどの対策を行って、膨大な数のサーバーを導入しているというのが海外の事例です。
ちまたで有名なインターネット経由で利用が可能なChatGPT（チャット・ジーピーティー）は、非常に高精度な生成AIを実現するために、サーバーの導入台数がとんでもないことになっています。
しかし、これは、メンタルヘルスの維持に関わる会社や医療関係者からすると、そんな「生成AIによるチャットに、何千台ものGPUサーバーを搭載した巨大システムなんて入れられないよ」ってなってしまいます。
滅茶苦茶精度が高い会話型AIが実現できなくてもいいので、人間の悩みの相談相手をほどよくやってくれるぐらいの会話型AIが省電力メニーコアサーバーで動いたら、日本の医療や介護とか、そういった分野にも活用できるのではないかと思います。
日本は、世界的に見ても、電気代も土地代も高い国なので、AIのシステムにも省電力メニーコアサーバーが求められる機会があると筆者は思います。
■生成AI基盤のシステム構成や機能は、どんな感じ？
今回は、省電力サーバー１台で、しかもGPUは非搭載の機種ですから、そんな無茶苦茶高精度の生成AIは実現できません。
サーバー１台でしかも、シンプルで、比較的に導入が簡単にできないといけません。
では、今回のメンタルヘルスにまつわるチャットボットシステムが、具体的にどのようなシステム構成で動いているかをご紹介します。
まず、サーバー台数は、先程から説明しているとおり、物理サーバー１台で構成されており、その１台の省電力ARMサーバーのみでメンタルヘルスのAIチャットボットを稼働させています。他の計算サーバーと協調して動くといったことも一切ありません。管理ノードが別途必要というわけもなく、本当に１台の物理サーバーのみを用意して動かしています。
また、サーバー用のARMプロセッサを搭載しているので、ARM版のサーバーOS（AlmaLinux 9）が稼働しています。そのAlmaLinuxの上で、生成AIの会話ができるソフトを動かしています。
生成AIエンジンとの会話を行うためのブラウザによる入力画面が提供されているので、使う側に、なにか特殊なソフトを入れないといけないっといったことも一切ありません。使う人は、ブラウザがあればOKです。
さらに、生成AIとの会話の内容から、メンタルヘルスの状態をエクセルに見える化できます。今回は、関根が、精神状態を見える化するマクロも作りました。これも動画の中で触れているので、是非画面の様子などをご覧ください。
また、JupyterLab （ジュピターラボ）と呼ばれるAI開発者向けソフトもこの省電力メニーコアサーバーの上で動かしているので、開発業務もブラウザで快適に動きます。
ちなみに、ARMと聞くと、IoT界隈でよく目にする手のひらサイズの小型マシンが有名ですが、小型ARMマシンへのLinuxのインストールは、特殊な場合が少なくありません。でも、このRL300 Gen11ならば、x86サーバーのLinuxのインストールと全く同じなので安心です。
Linuxの導入のハードルが低く、生成AIソフトを簡単に動かすことができ、そしてメンタルヘルス状態を見える化できる、AI開発も省電力メニーコアサーバー１台で相乗りできているので、必要最低限のAI環境を詰め込んで、コンパクトにパッケージ化されている感じがしますよね。筆者も、AIをスモールスタートしたい、かつ、電力も節約したいという日本のお客様にもってこいだと本当に思います。
■よかった点／x86と比べてみて気づいた点は？
AI環境を実際に構築した彼いわく、「ARMマシンは、オープンソースソフトも普通にインターネットからダウンロードして楽にインストールできて、普通に動くので、全然違和感がなく、ソフトはコンテナで動くし、Dockerとかも不自由なく入れられたので、ここまでくると、x86サーバーとの違いは全然気にならなかった」とことです。
また、「RL300 Gen11のマザーボードに搭載されているiLO（アイロ）経由で自宅からブラウザを使って、電源ON・OFFや、BIOS画面の操作も普通にできて、本当にx86サーバーのiLOと全く同じなんだと思った」とのことです。
実は、彼自身、ARMサーバーを全く触ったことがなかったらしいのですが、そんな彼でもすぐに操作できたので、ハードウェアを管理される部門の方にとっても、ハードルはとても低いと感じたそうです。
マザーボードに搭載されている遠隔管理チップであるiLO（アイロ）を触ったことがある方なら、ご存じかと思いますが、ARMサーバーのiLO 6も普通にリモート管理ができるので、迷うことはありません。直観的に管理できるので、そのあたりは心配しなくてもよいかと思います。ちなみに、今回、AlmaLinuxがRL300 Gen11で動いているのですが、OSのインストールは、iLO 6が提供する仮想DVDドライブ機能で行ったので、USB接続の物理的なDVDドライブやAlmaLinux入りのUSBメモリなどを物理的に接続することなくOSのインストールもできています。
さらに今回は、生成AIの簡易性能テストも実施いただきました。複数の人が一斉にアプリの画面にアクセスするようなケースを想定し、負荷を高くしてみるテストを行いました。彼いわく、複数同時にアクセスした場合、結構負荷が高くなるものの、ARMプロセッサーが128コアががんばって処理して乗り切れた、とのことでした。
この負荷への対処については、やはり128コアというメニーコアの処理能力が効いてるのが大きいと思います。
さらに、’消費電力も計測していただきました。CPUをぶん回しているときは、負荷高いときでも400～500ワットぐらいに収まった感じだったそうです。また、チャットボットを使っていないときは、アイドル状態が続いて消費電力も150ワットぐらいになるので、たしかに「結構、エコなシステムだな」と感じます。
ちなみに、今回の動画では紹介していませんが、この消費電力は、iLO 6の管理画面で確認できます。
■AIは人間くさく、夢がある分野／省電力サーバーで動かす機会もますます増加
関根は、最後にこのように締めくくっています。
「今回、いろいろとわかったことは、やはりAIってすごく人間くさいなってことでした。また、こういった夢のあるAIは、今後も増えてくると思っています。それに、AIの効率化はどんどん進んでいくので、ますますこういったサーバーで動かす機会は増えていくと思います。」
サービス業であれば「接客」、医療機関であれば「診断」、生保業界であれば「保険商品の提案」、製造業なら「予知保全」や「ロボットによる自動化」など、人間がやってる泥臭い作業や面倒な作業は、その企業や組織体を下支えする差別化要素やユーザー体験に直結する場合が少なくありません。そして、それらの泥臭い作業は、生成AIによって大きく変わろうとしています。
もちろん、現在の生成AIでは、100パーセントの精度の完璧な結果は出せませんし、省電力サーバーでできる処理能力にも限界があるため、超高速でなんでもかんでも完璧な回答が生成されるAIをこのサーバー１台だけで実現するのは不可能です。
しかし、かといって、巨大なデータセンターに、大量のGPUサーバーを導入するのかというと、それはそれで、いくら予算があっても足りません。
世の中には、「精度が低いことや応答速度が遅くてもある程度許容できる」というユースケースも存在します。そういった分野では、まさに、省電力でコンパクトながらも、完璧ではないにせよ、ほどよい回答が得られる生成AIサーバーのニーズは、この日本において、意外とあると思います。
みなさんも、生成AIに限らず、伝統的なAIも含め、是非、自社のシステムなどに省電力ARMサーバーとAIを入れて、どのような業務に適用できそうか、今一度、検討してみてください。
KOGA MASAZUMI (@masazumi_koga)
【参考情報】HPE ProLiant RL300 Gen11（エイチピーイー・プロライアント・アールエル・さんびゃく・ジェンイレブン）
- 1ソケットで128コアの3GHzの高速64ビットARMプロセッサ搭載！
- x86サーバーと全く同じ遠隔管理チップiLO 6を搭載し、遠隔からの電源ON/OFF、遠隔からのBIOS操作、遠隔からのLinux OSインストール、遠隔からの温度、電力表示が可能！
- Rocky Linux 9 for ARM、AlmaLinux 9 for ARM、Ubuntu Server 22.04 LTS、Ubuntu Server 24.04 LTSが普通にインストールできる！
- DockerエンジンやLinux/KVM仮想化エンジンも普通に動く！
Masazumi_Koga
米国Hewlett Packard Enterprise公式AIアンバサダーで、オープンソース・Linuxテクノロジーエバンジェリストの古賀政純が技術情報や最新トピックなどをお届けします。保有認定資格：NVIDIA-Certified Associate: AI Infrastructure and Operations (NCA-AIIO)/CCAH(Cloudera Hadoop)/RHCE/RHCVA/Novell CLP/Red Hat OpenStack/EXIN Cloud/HP ASE DataCenter and Cloud等