古賀政純（こがまさずみ）による先進のビッグデータ処理基盤とオープンソース技術に関する講演

[Masazumi_Koga]

2016年5月19日に東京の渋谷ヒカリエで「スケールアウト ソリューション フォーラム 2016」が開催されました。このイベントは、スーパーコンピューターなどの超高速計算を行うサーバーに関する先進技術や最新ハードウェアを知ることができるイベントです。毎年開催されていますが、近年は、ビッグデータ・IoT・人工知能の内容が盛り込まれています。今年は、古賀が先進のビッグデータ処理基盤の講演を行いました。ビッグデータというと、Hadoopを思い浮かべる方も多いかもしれませんが、今、人工知能、IoT時代を見据えたビッグデータ基盤において、新潮流があります。それは、Apache Sparkを使ったインメモリ処理です。Hadoopに比べて圧倒的な処理速度を実現できるApache Sparkに熱い視線が送られています。しかし、先進のビッグデータ処理基盤とは、Apache Sparkのクラスターを構築し、高速処理することを意味するのでしょうか？単に最新の1Uや2Uのサーバーをずらずら並べるだけなのでしょうか？SSDを使ってディスクI/Oの高速化を図ることなのでしょうか？Hadoop＋Sparkをクラウド上で動かすことなのでしょうか？今回は、そんなHadoop+Sparkの在り方を根本から変える先進のビッグデータ基盤について、考え方、アーキテクチャ、具体的な手法、先進事例を交えてご紹介しました。また、次世代のビッグデータ基盤でキーとなるオープンソース、運用の在り方、メリットについてもご紹介しました。

ちなみに当日は、古賀がHadoop＋Sparkのビッグデータセッションのスピーカー兼Hadoop＋Sparkのデモ説明員兼省電力のHPE Moonshotサーバーのデモ説明員兼ビッグデータを検討されているお客様やパートナー様の相談員兼Docker説明員を担当するということで、午前中からずっとHadoop＋Spark＋Docker＋省電力サーバー漬けのノンストップ状態でした…

展示ブースでは、省電力のHPE Moonshotの管理デモも行いました。Moonshotの管理画面でマウス操作で簡単にカートリッジ型サーバーの電源On/Offできることや、SSHコマンドでHPE Monoshotの管理モジュールにアクセスし、管理対象のカートリッジ型サーバーに仮想シリアルコンソールでアクセスし、OS起動時のブート画面などを見たり、コマンドライン操作ができることなどをご紹介しました。

また、Hadoop＋Sparkの高速処理のデモも行いました（写真）。高速インメモリ処理の様子を初めて見るという方も多く、みなさん興味深々でした。Hadoop＋Spark基盤の威力を目で見て体感できたということで、自社にどのように利活用できるかをお客様と一緒に考え、情報交換することができました。スケールアウトソリューションフォーラムは、サーバーを並べて超高速処理を行いたい方、最新サーバーの実物を見たいという方にはたまらないイベントかと思いますので、今後も是非お見逃し無く。

Masazumi Koga （Twitter: @masazumi_koga）