AI/IoT Data Pipline Lab - Google Cloud Visual Inspection AIを使用した外観検査ソリューションの検証 ～ モデル評価編

[ayonekura]

「AI/IoT Data Pipline Lab - Google Cloud Visual Inspection AIを使用した外観検査ソリューションの検証 ～ モデル作成編」では、Visual Inspection AIで外観検査用のモデル作成する方法ついてお伝えしました。本稿では、作成したモデルの評価とテストする方法についてお伝えします。コンソール画面上での操作で完結するものになっています。モデルのトレーニングは数時間～1日かけて行われ、モデルの作成が完了したことはメールにて通知されます。評価・テストは、メール通知の確認を待って実施することとなります。

モデルの評価とテスト

モデルの評価

Cloud Consoleにログインし、[ナビゲーションメニュー]から[Visual Inspection AI]を選択してください。VIAIのダッシュボード画面は以下のようになっているかと思います。なお、画面表示例は検証時から変更されている場合もあります。ご了承ください。左ナビゲーションメニュより[Models]をクリックします。

Visual Inspection AIのダッシュボード

データセット作成時に指定した名前でModelsが作成されます(画面表示例では、2つのModelsが表示されています)。[Datasets and Models]列の該当Modelsのプルダウンを展開して[Defects]リンクをクリックすると評価結果画面が表示されます。

Visual Inspeciton AIのモデル画面

結果が表示されるところからもわかるように、モデルの評価はモデル作成後に自動で行われています。評価で使用するデータは、データセットの中から自動で選択されます。AIの精度評価する際によく用いられる混同行列やAUC(Area Under The Curve)が表示されています。

Visual Inspection AI モデル評価

モデルのテスト

モデルのテスト用に画像データをCloud Storageにアップロードします。モデル作成時に画像データをアップロードした要領で、テスト用の画像データをアップロードしておきます。また、画像データ配置場所をリストしたファイルも同じように作成し、Cloud Storageにアップロードしておきます。なお、モデルのテストで使用できる画像データは最大20となります。

モデルのテストを実施します。テスト用モデルをエクスポートします。エクスポートしたモデルはコンテナイメージの形式で保存されます。[TEST & USE]タブに遷移し、[CREATE SOLUTION ARTIFAC]をクリックしパラメータを入力し作成します。

Visual Inspection AI のモデルテスト

[Usage Type]は[Online Testing]を選択してください。テスト用にモデルをエクスポートする場合は、無料で作成・利用することができます。数分でモデルを含んだコンテナイメージが作成されます。

テスト用モデルのエクスポート

続いて、作成したモデルコンテナを使ってテストを実施します。[CREATE TEST]をクリックします。

モデルのテスト開始

テスト用パラメータの入力画面が開きます。[Solution Artifact]では、前のステップでエクスポートしたモデルコンテナを指定します。対象のモデルコンテナは時間から判断して選択します。テスト用画像データ(Select an Input file on Cloud Storage)は、事前にアプロードしておいたテスト用画像データのパスをリストしたファイルを選択します。推論結果を配置する場所(Select where to store batch predictions)は、Cloud Storage上の任意の場所を指定します。

モデルのテスト 実施画面

テストが完了すると、表内の[Storage]列にリンクが表示されます。リンクをクリックするとテスト結果が確認できます。

モデルテスト結果の保存先

テスト結果の画面では、画像のプレビューが確認できるようになっていて、元画像に不良箇所を重ね合わせた画像が表示されます(少し見ずらいですが薄い緑で不良箇所が表されています)。[Preview Images]のプルダウンを選択すると、テスト用の画像を選択できるようになっていて、各画像で不良として検知した箇所を確認できるようになっています。

テスト結果の表示

まとめ

今回は、機械学習モデルの評価とテストについての操作性を確認しました。モデルの評価は、モデル作成後に自動で実行され評価指標が作成されました。モデルのテストも簡単なマウス操作にて行えることが確認できたかと思います。

関連リンク

• AI/IoT Data Pipline Lab - Google Cloud Visual Inspection AIを使用した外観検査ソリューションの検証

1. 概要編
2. モデル作成編
3. モデル評価編 (本稿)
4. モデル展開編
5. エッジ展開編
6. 制御システム連携編