コミュニティ
HPE Blog, Japan
1751924 メンバー
4810 オンライン
108783 解決策
新規ポスト
 
RSS フィードを購読する
|
Kohei_Kubo

データドリブン経営に向けたインテリジェントなデータ基盤

‎03-24-2021 10:55 PM

はじめに

多くの企業がAI/IoT/5Gなどのテクノロジーを活用したビジネスのデジタル化により、ビジネスモデル変革や、新しい顧客体験、新規製品・サービスの創出に取り組んでいます。これらデジタル変革の成功の鍵を担うのがデータ活用です。

デジタル変革の対象領域は、ビジネスのバリューチェーン全体にまたがり、データもその多くがデータセンターの外（このブログではエッジ環境と呼ばせてもらいます）で生成されると予想されています。これに伴い、意思決定を行うためのアクションもエッジからクラウドまでビジネス環境全体で効率的に行えることが重要となります。

また、これまでのような経理・業務・顧客データなどの構造化されたデータだけではなく、 IoTや動画・音声、ソーシャルメディアなどの非構造化されたデータの活用も求められています。これらの変化に伴い、データの集約、蓄積、分析、活用などの仕組みもエッジからデータセンターまでを視野に入れ、また構造化データと非構造データを統合的に扱える基盤構築が必要となります。すなわち、構造化データ分析のデータウェアハウス環境だけではなく、大量の非構造化データを効率的に処理できるデータレイク環境も求められます。

DataImage.jpg

 

データ戦略の現状

HPEが昨年8月に世界で実施した調査で企業におけるデータ戦略の成熟度やについて 3,830名に尋ねたところ下記の回答を得ました。

DataMaturity.JPG

 

地域別では、どの地域でも 80% 前後の回答者が成熟した、もしくは熟慮されたデータ戦略を持っていると回答しています。　成熟したデータ戦略を持つという回答率はインドが高く、日本は低い値となっています。また、職種別ではデータサイエンティストが一番多く、しっかりとしたデータ戦略を持っていると回答しています。

しかし、データドリブン経営に向けてAIや機械学習が利用されている割合について質問したところ30% 前後の利用にとどまっています。　多くの回答者がデータ戦略を持ち、ビジネスインテリジェンス的なデータ可視化などは進めていると思われますが、AIや機械学習を活用した予測や意思決定などはこれからと思われます。

AIML-Data.JPG

 

日本情報システム・ユーザー協会の企業IT動向調査報告書 2020によると日本の企業では、組織横断的にデータ活用できる環境を構築している企業は全体の5 分の1程度となっています。また、データの種類も業務データが中心で、非構造データの活用は少数であり、データストア環境もデータウェアハウスが主体でデータレイクの構築をしている企業は20%と少数にとどまっています。

 

データドリブン経営に向けたデータ分析基盤 – HPE事例

では、組織横断的なデータ活用を実現するためには何を検討し、どのようなアプローチで進めるべきなのでしょうか？　一つの例として、HPE自身がグローバルの社内ユーザーに社内横断的な高度な分析サービスを提供し、データドリブンな意思決定を実現するために取り組んできたデータ分析基盤構築のご紹介をします。

数年前の課題
 
下記は、データ管理や分析に関連して弊社が抱えていた問題のいくつかです。複雑化するシステムやデータの一貫性、リアルタイム性、分析スピードなどに課題がありました。

  • 複雑・肥大化するシステム (60以上のBIプラットフォーム/サイト、4万以上のインターフェイス、8以上のマスターデータレポジトリ、1900万バッチジョブ/月)
  • セールスパイプラインなどデータ取得に長時間 (場合によっては48時間以上)
  • レポート作成における多くの手作業やデータ遅延
  • リアルタイム性の不足
  • 数百のシャドーサイトやデータコピーによる重複などデータ一貫性の課題

変革へのアプローチ

これらの課題解決に向けて目指したことは、エンド・ツー・エンドでの組織横断的なデータ利用や分析がセルフサービスで迅速に可能となるアーキテクチャーへの見直しと変革の推進でした。

  • 大規模な一体化されたモノリシックなプラットフォームから、セルフサービスと自動化機能を備えた、オープンでAPI中心のアーキテクチャーに移行
  • 再利用可能なコンポーネントのライブラリを含むマイクロサービスベースのフレームワークによるデータ展開のスピードアップ
  • HPEビジネス全体でデータを接続・連携し、高度な分析とデータ可視化を通じて迅速なインサイト取得を可能にする
  • データレイク内の単一の正確な情報から、データ、ダッシュボード、レポートをリアルタイムに簡単かつ安全に検索、作成、操作可能にする

EAP-1.JPG

また、データを利活用する社内関係者には、データカタログやセルフサービスを中心とした、いろいろなデータサービスを提供します。

EAP-2.png

 

統合データ分析基盤の全体像　

下記は、データの収集から集約、蓄積、分析・活用にいたるデータパイプラインやアーキテクチャ－の概念図となりますが、組織横断でのデータ利用や分析を可能とするデータレイクの構築も大きな柱でした。

EAP-3.JPG


もう少し掘り下げた内容が下記となります。

  • データソース
    • データベース、ファイルデータ、ストリーミング、APIなど、さまざまなデータソースからデータを収集。　データの種類は構造化、非構造化、半構造化データなど
  • データの収集と集約
    • データをリアルタイムのストリーム、もしくはバッチ処理でデータレイクに取り込む
  • データの蓄積
    • 論理的にグループ化されたメタデータ付きデータセット。マスターデータセットは柔軟なデータスキーマでクレンジング、保護、保管
  • メタデータによるクエリ
    • クエリのパターンや分析のユースケースに応じてリアルタイム、または、バッチで実行されるデータ取得
  • データ分析と活用
    • 異なるツールで利用されるデータセット

EAP-4.JPG

 

また、統合データ基盤の構築にあたっては、アーキテクチャー以外にも、下記のようなデータモデル、データガバナンスやデータセキュリティの検討も重要となります。

  • データモデル
    • ファクトテーブルとディメンションテーブルをその論理的モデルとともに使用し、現在や将来の検索ニーズに柔軟に対応できるよう設計
  • データガバナンス
    • オペレーティングモデル、メタデータ管理、データヘルス監視、アクセスコントロールなど
  • データセキュリティ
    • データ、リソース、サービスへのアクセスと制御を管理するための認証やデータ保護、監査と報告など

データファブリックの必要性

HPEの事例から話は変わりますが、エッジからクラウドにわたる環境の中で、大規模で分散されたデータ管理を簡素化するデータプラットフォームとしてデータファブリックのニーズも高まっています。　Hadoop、Spark、機械学習 (ML)、AIツールなどの新しい技術を組み合わせながら、コンテナー化による大規模化、信頼性、弾力性の最適化を実現する、独自の画期的なアプローチが求められているのです。　そこでは、下記のような機能が求められます。

  1. さまざまなデータをサポート
    規模の大小や構造化の有無、テーブル、ストリーム、またはファイル、IoT、センサーのいずれのデータであるかを問わず、あらゆるデータソースやデータタイプをサポート

  2. 多様なコンピューティングツールおよびフレームワークを支援
    Hadoop、Spark、ML、TensorFlowなど

  3. AIおよび分析アプリケーションの同時実行
    複数のクラスターを必要とせず、データサイエンティストやアナリストが同一データセットを使用することで一貫性の向上を実現

  4. 信頼性、セキュリティ、スケール
    グローバルでミッションクリティカルな本番環境のAIおよび分析アプリケーションでの運用に対応

  5. オンプレミスとクラウド間のデータおよびアプリケーションの移動を簡素化
    Kuberneteを使用したステートフルなアプリケーションサポート

  6. グローバルデータファブリックを実現
    データの取得、保存、管理、処理、適用、分析を同時実行

HPE Data Fabricソフトウェア（旧MapR Data Platform）は、コンピューティングにおける新たな技術やツールによる利用をシンプルにするために、大規模でのデータ取得、保存、管理を行います。HPE Data FabricはHPE Container Platformと統合されており、Kubernetes上のデータ駆動型アプリケーションを、オンプレミス、複数のパブリッククラウド、またはエッジのいずれかのインフラストラクチャ上で展開できます。

まとめと関連情報

  • 全社横断的なデータ分析を可能とする統合データ基盤の構築では、しっかりとしたアーキテクチャーや、データモデル、データガバナンスやデータセキュリティの検討が必要となります。アーキテクチャーについては、セルフサービスと自動化機能を備えた、オープンでAPI中心のアーキテクチャーとマイクロサービスベースのフレームワークへの移行や、多様なデータソースを一つのデータレイクに一元化が重要となります。これにより正確な情報源からリアルタイムな分析を組織横断的に行うことが可能となります。

  • 4月7日(水) には、多様なデータソースを一つのデータレイクに一元化し、分散されたデータ管理を簡素化して、データサイエンス、分析、およびビジネスチームを支援可能なHPE Ezmeral Data Fabricのご紹介ウェビナーを開催します。是非ご参加ください。

 

　　その他関連情報


     Enterprise.nxt の記事から

 

 

寄稿者
久保 耕平
Hewlett Packard Enterprise において、ヨーロッパ、アジア・太平洋地域のインダストリ・ワークロードマーケティングチームに所属し、HPEのエッジからクラウドまでのソリューションを推進

 

EMEA & APJ Industry and Workload Marketing Manager at Hewlett Packard Enterprise
0 感謝
作者について

Kohei_Kubo

EMEA & APJ Industry and Workload Marketing Manager at Hewlett Packard Enterprise

上記の意見は、Hewlett Packard Enterpriseではなく、著者の個人的な意見です。 このサイトを使用することで、利用規約と参加規約に同意したことになります 。