ビッグデータ基盤ソフトでHPEが選ばれる10の理由 ～ Ezmeralの機能とCIOの着眼点 ～

[Masazumi_Koga]

日本のビッグデータ基盤において、HPE Ezmeral Data Fabric - Customer Managed（通称：EDF-CM、旧称：MapR）が採用されています。日本では、100社以上に採用されている非常に実績の豊富なソフトウェアです。なぜ、日本のお客様は、EDF-CMを選ぶのでしょうか？今回は、EDF-CMが選ばれる理由を10件について、IT部門が求める機能面とCIOの観点で簡潔にまとめてご紹介します。

■理由その１：膨大な数のファイル、数千台の物理ノード、エクサバイト級に対応

HPE Ezmeral Data Fabric - Customer Managed（EDF-CM）は、データ処理と管理ソリューションを提供するソフトウェアです。数千台のクライアントホスト、クラスター基盤、サーバーラックが並ぶ巨大システムに対応しています。増え続けるデータに対応できる安定したIT基盤を提供します。

★CIOの着眼点：データを効率的に処理し、高パフォーマンスを維持しつつも、膨大なデータの増加や性能のニーズに対応できる点は、AIやビッグデータを駆使するビジネス展開において、非常に重要です。

■理由その２：場所を意識することなく、一元的にファイルにアクセス

ユーザーは、ファイルの物理的な場所を意識することなく、ファイルに対して一元的な表示、アクセスが可能です。一か所のデータセンター内だけでなく、異なる地理的な場所に散在するデータに効果的にアクセスできるわけです。これにより、ファイルをエッジ、オンプレミス、クラウドに分散できるようになります。サイロ化を防ぎつつも、データ管理が容易であるため、分散されたスケールアウト型のシステム構成が実現できます。

★CIOの着眼点：遠隔地のビッグデータを効果的に活用でき、リアルタイムのデータ分析が行えると、ビジネスのグローバル展開のハードルを下げることにつながります。地理的に離れたEDF-CMクラスターにアクセスできるため、別々の部門間や地理的に離れた事業所でのデータ共有、リモートワークなどに有用である点は、働き方改革を含めたITによる業務改善にもつながります。

■理由その３：従来型のアプリだけでなく、コンテナアプリも動く

EDF-CMを使用することで、NFSベースのアプリケーションとコンテナーベースのアプリケーションの両方を展開できます。異なるタイプのデータに対して、別々にEDF-CMクラスターを立ち上げる必要はありません。異なる環境（NFSベースのアプリケーションとコンテナーベースのアプリケーション）を1つのデータ基盤（EDF-CMクラスター）で実現できます。

★CIOの着眼点：異なる種類のアプリケーションを同じ環境で運用することができることで、シームレスなデータの共有や処理が可能になり、データ基盤自体の効率性も向上し、結果的に、IT基盤全体の運用コスト削減に貢献します。巨大データを取り扱う上で、運用面での効率化、コスト面での優位性は、非常に重要です。

■理由その４：データを自動的に仕分けできる

EDF-CMは、データのアクセス頻度（ホット、ウォーム、コールド）に応じて、異なる待機状態を各データに合わせて保持します。さらに、アクセス頻度に応じて適切なノードにデータボリュームが配置され、アクセス頻度が変化すると、データボリュームは、自動的にストレージ階層間を移動します。

データの最終更新時間、データのサイズ、データの所有者、所有グループによって、EDF-CM上にデータを保持するのか、外部のS3ストレージに逃がすのかとった「データの自動仕分け」が可能です。

★CIOの着眼点：自動データ階層化により、投資した容量を常に効率的に管理し、最大限に活用することができるかどうかです。データの使用頻度、仕分けされたデータは、そのデータに関連するビジネスへ投資すべきかどうかの判断材料になります。経営層への判断材料を提供できる点は、データ主導型のDXを軸にしたビジネス展開において、非常に重要です。

■理由その５：オンプレミスへの導入だけでなく、パブリッククラウド上にも導入できる

EDF-CMは、オンプレミスのデータセンターに設置された最新の高性能サーバーだけでなく、拠点に置かれたエッジサーバー、そして、パブリッククラウド上のLinux VMでも動作します。また、サードパーティ製のVPNサービス（オープンソースのVPNソフトウェア等）をEDF-CMクラスター上で稼働させることで、オンプレミスとパブリッククラウドのEDF-CMクラスター同士で通信させることも可能です。

★CIOの着眼点：オンプレミス、パブリッククラウドの如何に関わらず、需要に応じてシステムを拡張・縮小できる点は、IT投資へのリスクを低減できます。また、VPNで安全な通信を確立できるため、ビジネス規模の拡大に応じて、グローバルにデータ保管の拠点が増えても、サイロ化することなく、セキュアな通信でデータ共有が行えるため、ビジネスの多国籍展開のハードルを下げられます。

■理由その６：データを複数サーバー、複数ラックに跨いでコピーを保持、複数拠点間でミラーも可能

EDF-CMは、データをしっかり守るためのしくみを持っています。EDF-CMクラスターに保管されるデータは、EDF-CMクラスターを構成する複数のLinuxサーバーに多重化されて保存されます。

EDF-CMクラスターを複数ラックに跨いで構成した場合、データは、複数ラックを跨いで分散して保存されます。トポロジ認識機能により、データセンター全体でEDF-CMクラスターノードがどのようにラック上に配置しているかを意識した管理が可能です。

また、地理的に離れた複数のEDF-CMクラスター同士でデータをミラーすることも可能です。また、カスケード式のミラーも可能なため、複数の拠点へのミラー先が存在する場合でも、ミラー元の負荷を減らすことが可能です。

★CIOの着眼点：事業継続計画の立案を行う上での懸念事項を払拭できます。また、障害に非常に強いデータ基盤を構成できるため、データ保護に対する信頼性の向上、企業イメージUPの施策にも貢献できます。拠点間ミラーによって、災害対策が可能な点は見逃せません。

■理由その７：アクセス制御、暗号化対応

EDF-CMには、マルチテナント機能が組み込まれています。EDF-CMには、ボリュームと呼ばれるデータの管理単位があり、ユーザーは、ボリュームレベルで分離が可能であり、テナントレベルごとにクォータを設定できます。また、業界標準の認証機能、暗号化、監査機能に加えて、Access Control Expression (ACE) と呼ばれる独自の機能を提供しています。

このACEにより、ユーザーは、ボリュームへのアクセス許可・拒否を設定できます。このACEの機能を駆使し、マルチテナント型データ基盤を実現します。

★CIOの着眼点：異なるテナントや部門がデータを分離して管理できることで、企業内におけるセンシティブな情報を保護できるため、コンプライアンスの順守の取り組みに貢献でき、データガバナンス戦略を強化するのに役立ちます。データの取り扱いに対する透明性を確保し、データの正確性と信頼性を高めることに繋がります。

マルチテナント型データ基盤は、異なる部門がデータを共有しながらもセキュリティを保ちつつ、迅速な意思決定を可能にします。CIOはデータのシームレスな共有を支援し、組織内でのデータ利活用を促進できます。また、特に、マルチテナント利用においても重要視されるクォーター設定によるリソース制限は、限られたIT資源の有効活用を促進するため、投資対効果を高める施策にも有用です。

■理由その８：ストレージの速度とコストを最適化する柔軟性

EDF-CMは、パフォーマンス重視のアプリケーションで利用されるSSDのシステム構成だけでなく、アクセス頻度の低いアーカイブ用途の磁気ディスク（HDD）構成もサポートされています。EDF-CMクラスターノードの内蔵ディスクとして、SDDやHDDを組み合わせて構成できます。SSDのストレージプール、HDDのストレージプールといった具合に、性能の異なるディスクの種類でストレージプールを分けることもでき、かつ、ディスク増設により、ストレージプール自体の拡張も容易です。

★CIOの着眼点：ストレージの種類に選択肢があり、それらを混在させて利用できれば、容量や性能を向上させるIT基盤の拡張計画に柔軟性をもたらします。これにより、ストレージ選択時の投資面での意思決定に関するプレッシャーを抑えられます。容量重視の低コストなHDD構成と、速度重視のSSDを自由に構成できるため、ビジネスのニーズに合わせたデータ基盤への投資を調整できることが重要です。

■理由その９：様々なオープンソースのデータ分析、AI処理、データクエリをスケールさせることが可能

ユーザーは、分析を行う際、EDF-CMクラスター上に保管されたデータを別の分析専用の’システムにコピーする必要はありません。データ分析のためだけに、EDF-CMクラスターからデータを移動する必要がないため、データ保管、データ分析、データへのクエリは、1つのEDF-CMクラスターで済みます。高速インメモリ分析、SQLクエリ、機械学習ソフトウェア、そして、レガシーなHadoopの分散処理を1つのEDF-CMクラスターで実行で、かつ、ノードを追加することで、これらの処理性能をリニアに向上させることが可能です。

★CIOの着眼点：異なるデータ処理ワークロードを統合できれば、別々にシステムを保持するよりも、データ駆動型の意思決定を強化でき、かつ、運用コストも削減できます。データの移動やコピー作業にかかるリソースと時間を最小限に抑えることができ、全体的な運用効率を高める施策が打てます。高速インメモリ分析からレガシーなHadoop処理まで多彩なワークロードをスケールさせることで、ビジネスの成長や変化に柔軟に対応できる点は非常に魅力的です。

■理由その１０：NFSベースのNASストレージにもなれる

EDF-CMクラスターは、NFSサービスを外部のクライアントマシンに提供します。シンプルなNFS、または、POSIXによるアクセス方法で、データをEDF-CMクラスターに取り込むことが可能です。NFSマウントしてデータをコピーできるため、複雑なHadoop系の管理コマンドを使わずに済むため、非常に使いやすいのが特徴です。

業界標準のオープンプロトコルであるNFSが利用可能なので、とにかく、NFSマウントさえできれば、レガシーアプリケーションでも、新しいアプリケーションでも、EDF-CMをデータ保管先として利用可能です。また、EDF-CM内蔵のNFSサービス自体の設定も非常に簡素で、NFSサービスの起動や停止もGUI画面から簡単に管理できます。

★CIOの着眼点：NFS経由でデータを保管するレガシーアプリケーションが利用可能であれば、IT資産の有効利用が可能になり、投資面でも有利です。また、データを取り込むためだけに、複雑なHadoop系ツールを使いこなす必要がないため、単純なNFS NASとして管理できるので、全体的なIT基盤の管理負担（ITの学習コスト）の抑制が期待できます。

■DX実現に欠かせないビッグデータ基盤ソフトウェア

DX実現には、その規模の大小に関わらず、多くのケースで重要になるのがビッグデータ基盤の検討です。HPEのEDF-CMが日本の多くのお客様で検討される理由は、単に「Hadoopに比べて、非常に高速だから」という理由だけではなく、上記のようなCIOのニーズに応えられるからです。EDF-CMが選ばれる代表的な理由とCIOの着眼点を10個挙げてみましたが、みなさんも、データ基盤の検討において、どのようなニーズがあるのか、CIOやIT部門の着眼点は何か、今一度、整理してみてはいかがでしょうか。

Masazumi Koga (@masazumi_koga)

【書籍のご案内】HadoopとMapRと機械学習を学べる本

MapR（現在の名称：HPE Ezmeral Data Fabric - Customer Managed）は、Hadoop互換でありながら、Hadoop HDFS（Hadoop分散ファイルシステム）よりも圧倒的に高速なMapRファイルシステムを搭載しています。その非常に高いI/O性能に加え、高可用性NFSサービスを提供する単純なNASとしても利用できます。それらの使い勝手の良さから、大手自動車会社の自動運転車のAI開発基盤や、インド政府のマイナンバーシステムで採用されているデータ基盤ソフトであり、日本国内でも100社以上の導入実績を誇ります。本書では、その豊富な導入実績をもとに、頻繁に利用されている基礎技術を「Hadoopクラスター構築実践ガイド」に収録しています。主に、以下に挙げるMapRとその上で動くオープンソースソフトウェアのノウハウを学べます。
●Hadoop v3とMapR v6の構築手順
●運用管理手法
●Spark：SQL、Streaming、GraphX、R、MLlibの使用法
●ニューラルネットワークによる学習
●データベース操作（Hive、Impala、HBase、MapR-DB、Pig）
●データのインポートとエクスポート（Sqoop、Flume）
フライトデータ分析、植物の分類、おすすめ映画のタイトル表示、Wikipediaドキュメント分類といった具体例をもとに、ステップバイステップで学べる一冊です。