ビッグデータ基盤の書籍「Hadoopクラスター構築実践ガイド」 を出版しました。

[Masazumi_Koga]

「Hadoopクラスター構築実践ガイド」は、古賀政純の実践ガイドシリーズ第５弾です。Hadoopは、ビッグデータ分析基盤ソフトウェアですが、本書は、単なるHadoopのインストール手順だけを記載している本ではありません。ビッグデータの概要、知的情報処理基盤の概要、沿革、導入時の考慮点、ハードウェアの構成、インストール手順や使用法を知ることができます。そのため、現場の技術者だけでなく、IT基盤の導入の意思決定を行うCIO、IT部門長の方にも有用です。

また、今回は、Hadoopだけでなく、機械学習ソフトウェアや、インメモリ型の分析ソフトウェアなど、周辺ソフトウェアの構築、使用例も豊富に記載しました。Hadoopそのものの構造の深堀りというよりは、むしろ、Hadoopを軸にしたビッグデータ知的情報処理基盤の基礎を知ることができます。

書籍の主な内容

• Bigdata分析基盤の概要
• Hadoopの種類、沿革、システム構成
• Apache Hadoop 3の特徴
• Hadoopシステム構成、導入前検討項目
• ハードウェアコンポーネントの検討
• Hadoop 3, MapR 6クラスターのハードウェア構成例
• Hadoopクラウドの概要
• ハードウェアの設定
• Hadoop 3, MapR 6クラスターのインストール
• Hadoop 3, MapR 6クラスターの運用管理
• Spark SQLによるデータベース操作
• Spark Streamingによるデータのストリーム処理
• Spark GraphXによるグラフデータ処理
• Spark RによるR言語を使ったデータ操作例
• Spark MLlibによる機械学習, ニューラルネットワーク
• Hiveによるデータベース作成、データ操作
• Impalaによるデータ操作
• HBaseによるデータベースの作成、データ操作
• Pigによる簡単なETL処理
• SqoopによるRDBMSからのデータのインポート
• Flumeによるデータの取得
• Mahoutによる機械学習

Apacheコミュニティ版のHadoop 3.1系だけでなく、商用版HadoopのMapR 6も記載した書籍は、世界初です。また、機械学習では、構築手順、使用法を含めてステップバイステップで解説しています。Hadoopの導入検討、インストール、動作確認、周辺ソフトウェアの使用例などを具体的に掲載しましたので、現場で使える一冊です。

筆者は、90年代にAI・人工知能、ニューラルネットワークなどの知的情報処理分野を研究していました。当時は、C言語やFORTRAN 77を駆使してニューラルネットワークのソフトウェアを記述していましたが、現在のような便利な関数も高速計算用のクラスターシステムもなく、非常に苦労した覚えがあります。しかし、現在では、様々なプログラミング言語や便利な関数、HadoopやSparkなどの高速並列分散処理の仕組みが整っており、機械学習のプログラミングのハードルも前世紀に比べれば、非常に低くなっています。本書では、Python、Scalaなどを駆使した機械学習の非常に簡素なサンプルプログラムも掲載しています。簡素なサンプルプログラムですので、高機能ではありませんが、全く機械学習プログラミングをしたことがない入門者でも、とりあえず、機械学習の初歩的なプログラムを動かすことで、知的情報処理を体感できます。

是非、本書を使ってHadoopクラスターを構築し、ビッグデータ分析や機械学習による知的情報処理の世界に飛び込んでみてください。

「Hadoopクラスター構築実践ガイド」

Masazumi Koga (Twitter: @masazumi_koga)