HPE Blog, Japan
1748269 メンバー
3441 オンライン
108760 解決策
新規ポスト
KazuhiroH

行動分析による情報漏洩予測導入事例

データ利活用分析基盤導入事例

~ 企業における内部情報漏洩防止のためのセキュリティログ分析 ~

前回のブログでは、データの蓄積方法の例を紹介いたしました。実際にどんなデータを、どのような器に蓄積するのかは企業によって様々であり、「蓄積したデータから作用するデータを特定し知見を得て、ビジネスに有効活用する」ことは簡単なことではありません。

今回は、企業内部からの情報漏洩を複数ログにより特定する、予防するための行動分析の導入事例を紹介させて頂きます。 

SIEMイベント、Routerログ、Syslog、データベース監査ログ等をDX基盤に集約する

企業内部で情報漏洩が発生すると、複数のツールを駆使して漏洩の原因となるイベントを特定しなければなりません。これらの複数のトラッキングは情報システム部門においては多大な時間及び労力を必要とし、企業の経営層から早期解決のプレッシャーにさらされます。

これまでの特定方法では、数十万レコードに及ぶデータから、複数のツールにより情報漏洩の原因となるイベントを検索し分析していました。漏洩となる原因の特定には、条件によっては数ヶ月が必要となり、より迅速に解決できる方法の検討が必要になりました。メモリーリミットがあるデータベースからデータを抽出し、例外処理を検出しクエリーの改良を繰り返す手法から、データを連続的に摂取し分散処理を実行できるEzmeral Data Fabricの導入により、これまでの多くの課題を解決することに成功しました。

非構造化データをHadoop互換のMapR-FSに全て格納する

これまでの分析アプローチでは、データの種類に応じたシステムに格納していました。結果としてデータのサイロ化が原因となり、適切なタイミングでデータへのアクセスを分析者全員に提供できていませんでした。

これらの課題を解決するため、MapR-FSMapRファイルシステム、現、HPE Ezmeral Data Fabric File Store)により全てのデータ統合及びデータへのアクセスが確立されました。MapR-FSHDFSHadoop Distributed File SystemHadoop分散ファイルシステム)のウィークポイントである、Write Once及びgarbage collectionによる性能インパクトから解放するため、スクラッチでPOSIXレベルから記述されたNFSのスケールアウト型分散ファイルシステムです。NFSでデータ摂取のためのマウントができるため、コネクター等の特別なツールを必要としない多様なデータ摂取が可能になりました。この分析システムでは、必要に応じfluentd等も併用し、行動分析に必要なデータを摂取します。摂取したデータは、JSON形式でMapR-DB(現、HPE Ezmeral Data Fabric Database)に格納します。また、イベントの特定のためにANSI SQLのクエリーにApache Drillが活用されます。

 Spark ML LibによるAnomaly Detection

データが蓄積され続ける間に、20分毎にFolder Watch ServiceSparkの機械学習(ML lib)により、異常値の検出が実行されます。異常値が検出されたら、ホスト及びサブネット情報をマージし、MapR-FSに書き戻した後にElasticserachによりインデックス化を行います。Kibanaのダッシュボードにおいて、セキュリティアナリストが情報漏洩につながる行動を認識し、Apache Drillのクエリーにより、原因となる行動を特定します。

スケールアウト型のインテグレーションにより、年間で数百万レコードに及ぶ多様なデータ分析が可能になりました。分析精度の向上のためのデータ蓄積は重要な課題であり、レコード数の要求に応じたスケールアウトでの分散処理が必要とされます。Ezmeral Data Fabricは分析における課題を解決する、SDS型の次世代データレイクハウスです。

Sec_Log.png

 

次回以降では、このHPE Ezmeral Data Fabricの特徴をさらにご紹介していく予定です。ご期待ください!

0 感謝
作者について

KazuhiroH

Promotion of Ezmeral portfolio with focus on DX integration