金融データ分析基盤では、なぜEzmeral（エズメラル）が採用されるのか

[Masazumi_Koga]

■金融におけるビッグデータ・AI活用のニーズ

みなさんは、金融システムというと、どのようなIT基盤を想像しますか？海外や日本の証券取引所、大手銀行のATM業務、株式などがニュースで取り上げられることがありますが、その後ろには、とてつもなく巨大なサーバー基盤があると想像される方もいるかもしれません。実際に、銀行ATMなどの金融系のITシステムでは、Windowsとかではない「特殊な無停止型マシン」として有名なHPE NonStopサーバーが採用されており、24時間365日止まらない業務システムを支えています。無停止型サーバーのような非常に頑健なITシステムによる業務は、ミッションクリティカル業務と呼ばれます。24時間365日稼働、高可用性の確保、業務継続計画などが厳格に決められ、停止すると社会に大きな影響を与えかねないシステムです。HPEは、合併前の旧タンデムコンピューターズが手掛けていた「無停止サーバー」の製品を世代交代させながら、現在も提供し続けており、1970年代からミッションクリティカル業務のシステム基盤を多く手掛けている会社です。旧タンデムコンピューターズ時代から、海外だけでなく、日本でも多くの金融のお客様で無停止型サーバーをご導入いただいているため、HPEとお付き合いのある金融業界の「シニアのお客様」は、昔のタンデムコンピューターズのイメージが強いためか、「無停止というと、タンデム」とか「UNIXやWindowsではなくて、特殊なNonStop OS」「無停止ハード、無停止OS、無停止SQL」という言葉を口にされる方もいらっしゃいます。

しかし、近年、日本の金融業の「若いお客様」の方にお会いすると、無停止サーバーの話以外に、少し毛色の違う声も聞こえてきます。例えば、以下のようなご相談内容です。

「顧客一人一人のニーズをリアルタイムに把握して、個人に合った金融商品の提案をAIで行いたい」

「多品種の金融商品開発の高速化、AI活用による評価は、どうすればよいのか」

「クレジットカードの不正取引のデータ分析基盤の精度向上のために、分析アプリの開発、実行、更改の頻度を上げたい」

「自動車、IoT家電、電気、ガス、水道と、金融を結びつける街づくりといったデジタルトランスフォーメーション（DX）において、金融における個人や法人向けのデータ活用は、どうすればよいのか」

このように、前世紀からHPEが手掛けてきた銀行や証券の「頑健なオンライントランザクションのデータベースシステムの無停止基盤構築の話」とは全く異なる方向性のご相談も増えています。これらの金融のお客様は、なぜこのような「今までとは全く異なる方向性の話」を相談するようになってきたのでしょうか。

現在、日本の金融業界の大きな問題の一つに、金融事業のグローバル化があげられます。ここでのグローバル化とは、単なる銀行の支店を海外に出すということではなく、国内外の金融商品や金融システム自体が、新しいITを駆使した形で、世界規模で競争にさらされている、いうことです。いわゆる「金融の黒船」や「金融以外の業界」が、金融の世界で、次々と新しい魅力的な解決策をITを駆使する形で打ち出してきている、という状況です。例えば、実現できるかどうかは別にして、以下のような非常に先進的な金融ITシステム化構想が挙げられます。

「顧客個人個人にマッチした金融商品を自動的にスマホに表示し、収入と支出の状況からリスク評価を簡単に可視化でき、SNSとAIで相談できる」

「今までとは比べものにならないくらい安い取引手数料で海外の金融資産や暗号資産を取引できる」

「金融取引を暗号資産にするか、従来の円ベースでするか、複数のAIから投資プランを提示して比較検討する」

「証券取引と暗号資産取引の利用状況、資産残高の推移から、金融商品、自動取引、現物取引、先物取引について、おススメの取引の仕方やそれらに関連する金融商品とリスク分析結果をAIで自動的に提示する」

このように、データ分析や機械学習・AIを駆使し、非常に先進的な金融のITシステムの提案が求められている、というわけです。

また、国内外の投資家が、それらの魅力的で将来性のある斬新な金融ソリューションのベンチャー企業や国策レベルの新規事業に投資したり、取引所などが実施する魅力的な期間限定のサービスなどにより、既存の金融機関から暗号資産取引所などに資産を移すことも頻繁に発生するようになってきています。しかも、機関投資家ではない「投資の素人の一般人」に対しても、先進的な投資情報や金融商品の情報提供が、従来に比べてお手軽で「わかりやすい形」で提供されるようになってきています。円ベースだけでなく、外貨や暗号資産に至るまで、使いやすい金融データ分析ツールやAIを駆使した金融商品の提示など、投資や取引のハードルの低減、投資意欲の向上の施策やツールなどが次々と考案されて、実際に生まれているという、まさに金融DXまったなしの状況なのです。

■金融商品開発や顧客分析に必要なITの技術要素

上記のような全く新しい金融システム、金融商品の提案に対しては、様々な取り組みが行われていますが、金融のサービスを提供する側にとって非常に重要なのは、金融商品に興味を抱く顧客、取引を行う顧客の情報を収集するということです。顧客情報の集約と分析を行わなければ、おススメ情報も提示できませんし、金融商品を提示するAIもできません。そのため、海外の金融業では、ビッグデータ分析基盤に顧客の取引情報などを格納している場合が少なくありません。日本でも、オンライントランザクションの取引情報は、共有ストレージ型で、かつ、災害対策が施されたミッションクリティカルシステムのRDBMSで処理・保存する一方で、顧客の取引データの分析は、別のビッグデータ分析基盤で行っている、というケースが多く見られます。実際、そのようなシステムでは、取引情報などから、マーケット調査や顧客ニーズの発掘を目的として、様々なデータ分析が行われています。

データ分析は、ミッションクリティカルではなく、どちらかというと、バックエンドでの付加価値創出のための業務です。国内でも、最近では、このデータ分析や金融シミュレーションにGPUサーバーを使うケースが見られます。

しかし、海外でも、データ分析基盤や金融シミュレーション基盤では、分析やシミュレーションのアプリケーション、可視化ソフトウェアなどの更改には、頭を悩ませていることが少なくありません。金融商品の開発にかかわるシミュレーション計算は、その計算基盤の性能の問題だけでなく、アプリケーションの更改も頻発します。一般に、金融商品の開発では、モンテカルロ法とよばれる、いわゆるシミュレーション計算が利用されており、AIの学習でも利用される高性能なGPU（グラフィックボード）を搭載したサーバーで計算が行われます。近年は、金融商品の複雑化によって、そのようなシミュレーションの計算アプリや、顧客分析、可視化などを行うアプリケーション更改（開発ツールの入れ替え、アプリ内のパラメータ変更、バージョンアップ、複数部門での並行稼働、計算処理の拡張、縮小、削除）という頭の痛い問題が頻発するようになってきています。

■性能と利便性を同時に満たすコンテナ技術

では、そのよう膨大な計算が必要な分析アプリケーションや、GPUを駆使する金融商品の開発基盤におけるアプリケーションの更改、開発、実行は、どうすれば簡単にできるようになるでしょうか。データセンターのマシンに人がいちいちログインし、仮想化環境上のLinuxをユーザー用に用意して、膨大な量のアプリケーションのインストーラーを起動して、アプリのパラメーターを調整し、ユーザーにメールでお知らせする、といった「誰もやりたくない、めんどくさい作業」を続けるのでしょうか？

そこで登場するのが、「コンテナー技術」です。コンテナーは、「従来の仮想化に比べて、性能劣化のない、軽量で、すぐに起動、拡張、縮小、廃棄ができるアプリケーション環境」と思えばよいでしょう。

例えば、一つのLinux OSの上でコンテナーエンジンが動いていれば、Ubuntuベースの金融アプリのコンテナその１、Red Hatベースの金融計算のアプリのコンテナその２、最新バージョンのRed Hatベースのアプリ開発用のコンテナその３といった具合に、同時にアプリ環境を複数個動かせます。また、コンテナーならば、従来のハイパーバイザー型の仮想化ソフトのような性能劣化もないため、仮想化のように、「物理サーバーで動かしたときに比べて、動作がもっさりしている」ということもありません。

コンテナの元となる１つのコンテナイメージから、大量のコンテナを同時に起動することで、処理をスケールアウトしたり、逆に、不要になったコンテナを削除して、空きリソースを確保するといったことが素早く行えます。そのため、仮想化に比べて、コンテナは集約率が高い故に、大量のコンテナを同時に稼働できます。

さらに、コンテナイメージは、従来の仮想化基盤上の仮想マシンイメージ（VMイメージファイル）に比べて、非常にサイズが小さいことも特徴的です。コンテナイメージを一つのファイルとして保管しておき、別のコンテナーエンジンが稼働するIT基盤にコピーして、すぐに起動させるといった「高い可搬性」も提供します。

■大量のコンテナと大量のデータをどうやって管理するのか

そういったことを聞くと、コンテナをいかに効率よく管理するかといったIT部門の運用面の話が持ち上がります。小規模で、金融商品のシミュレーション用の計算アプリ入りのコンテナを5～6個ぐらい動かすといった場合なら、IT部門の人間で手動で管理できるでしょうが、１つのIT基盤に複数部門が相乗りし、かつ、部門間のセキュリティを担保した形で、1つの部門で大量のコンテナが動くとなると、キチンとしたコンテナ管理ソフトウェアが必要です。

しかも、金融シミュレーションや分析では、膨大なデータを利用します。すなわち、分析用のストレージ基盤のデータをコンテナからアクセスできないといけないのです。アプリ入りの複数コンテナと、社内の複数のデータ基盤をうまく繋げて、IT部門は、簡単に管理でき、ユーザーは、簡単に利用できなければなりません。

このようなIT部門とユーザーの悩みを解決するのが、まさに、HPE Ezmeral Runtime Enterprise（通称、ERE）です。このEREは、コンテナ基盤ソフトウェアで、複数コンテナをうまく管理する仕組みを提供します。また、部門（＝テナント）の作成、テナントの管理者の作成や、テナントユーザーの作成・削除といったコンテナアプリを利用するユーザーの管理も可能です。

さらに、社内にある別建ての既存のデータ基盤（Hadoop（ハドゥープ）クラスターや、NFSサーバーや、Ezmeral Data Fabric（旧称：MapR）クラスター）と接続する機能を持っています。これにより、現在のデータ資産を使って、ERE上のコンテナアプリから分析するといった業務を簡単に行えます。今あるデータは活用したい、しかし、アプリは頻繁に変わるし、アプリの量も性能も自由に変更したいという場合に、データ基盤と接続できるEREが威力を発揮するわけです。

■コンテナ技術に目をつけた米国の金融機関

米国の金融機関では、スケールアウト型の超高速Hadoopとして知られるMapR（現、Ezmeral Data Fabric - Customer Managed）やオープンソース版のHadoopでデータ分析が行われています。金融取引で生まれるデータを複数のHadoopサーバー基盤に取り込んで、分析を行うといった具合です。しかし、通常は、複数のHadoopサーバー基盤が乱立し、データ分析を行う部署でデータの分断（サイロ化という）が発生し、効率よく分析が行われていないことも少なくありません。米国の証券取引所のデータ分析基盤では、Hadoopクラスターが乱立することもあり、その上で動く分析アプリケーションの入れ替えも手動である場合が多く、IT部門と分析の部門の双方にとって非常に面倒で、作業の負担も大きく、要は、「硬直化したシステム」も少なくないわけです。

このような諸問題に対処するために、米国の金融機関のデータ分析基盤では、部門に対してビッグデータ分析をサービスとして提供するビッグデータ・アズ・ア・サービスを実現するコンテナ基盤ソフトウェアのBlueData EPIC（現、Ezmeral Runtime Enterprise）が、すでに7～8年前から利用されていました。従来のHadoopサーバー基盤群をそのまま活用しつつも、分析アプリケーションや機械学習アプリケーションをコンテナーで利用するシステムです。ERE自体も、普通のLinuxが動く汎用サーバーで構成され、ユーザーのニーズに応じて性能が必要になった場合は、容易にEREのシステム自体を拡張しています。

実際、米国の金融機関のデータ分析部門では、このコンテナ基盤ソフトウェアのEREを導入し以下のようなメリットが得られています。

1. 展開の簡素化と高速化：　コンテナ技術を活用することで、必要なライブラリやツールを効率的にパッケージ化し、展開を迅速に実現。これにより、新しいビジネスチャンスをすぐに評価し、市場投入までの時間を短縮。

2. パフォーマンスの向上：　ビッグデータ処理に関しても、複数の部門が同時に相乗りしても、パフォーマンス劣化がなく、取引データを効率的に処理。機械学習ソフトウェア（例：TensorFlowやSpark MLlib、各種Pythonプログラムなど）の異なるバージョンを同時に実行可能。

3. 柔軟な環境提供：　複数のデータサイエンス部門や事業部門の利用ニーズに対して、IT部門が柔軟なアプリ実行環境を提供。各部門のニーズに合わせて、ITのリソースを自由に変更可能。構築が非常に難しいとされるマルチテナント型（複数部門相乗り型）のIT基盤をすぐに提供でき、データサイロ化も解消。各部門におけるビッグデータの利用が容易になり、データ活用の業務の効率化を実現。これにより、ビジネスの俊敏性が向上し、市場へ迅速に参入。

4. データの複製の効率化：　EREが持つ「既存のHadoopなどのデータ保管庫との接続機能（DataTap™と呼ばれる）」により、コンピューティングとストレージの分離を実現。複数部門のデータ基盤間でのデータの複製や展開に関連する課題に対処。

5. 持続的なビジネスイノベーション：　ビジネスエコシステムソフトウェアをコンテナ化して、EREに簡単に追加可能。ビジネスニーズの要件の変化に柔軟に対応。新しい金融製品の開発プロジェクトが立ち上がっても、インフラ全体の再構築は不要。

6. コスト削減：　既存のHadoopインフラを大幅に見直す必要がないため、効率的にビッグデータの展開が可能となり、初期投資を少なくして、スモールスタートできるため、意思決定のストレスを低減。さらに、従来のHadoopクラスターが乱立するベアメタル型のシステムに比べて、効率的なITリソースの利用により、大幅なコスト削減を実現（ナスダックの場合は、70％のコスト削減）を実現。

7. セキュリティの確保：　非常に厳しいセキュリティ要件にも対応。（SECへの回答が必要な規制対象の証券取引所でも利用）

EREによって、ビッグデータ基盤とコンテナアプリケーションを効率的に利用できることは、DXを推進するIT部門や、エンドユーザーのデータサイエンスチーム、アプリケーション開発者にとって非常に有用です。

EREならば、最低4台のLinuxマシン（コントロールノード、ゲートウェイノード、Kubernetesマスターノード、Kubernetesワーカーノード）で非常に小さく始められます。コンテナ基盤だからといって、何か特殊なOSが必要ということもなく、普通のRed Hat Enterprise Linuxの上で動きます。コンテナーオーケストレーションエンジンも普通のKubernetesを搭載しており、ワーカーノードのLinuxサーバーを追加しても、EREが提供するWebブラウザベースのGUI理画面からKubernetesクラスター自体も簡単に作成できます。また、Kubernetes管理下のコンテナアプリを部門に見せることも簡単にできるので、総じて、IT部門の学習コストも劇的に低減できます。

既存のHadoopクラスターにあるデータを活用したい、データのサイロ化は解消したい、マルチテナント型でコンテナアプリをクラウドのように素早く社内ユーザーに提供したい、といった場合にEREを検討してみてはいかがでしょうか。

Masazumi Koga (@masazumi_koga)