３D画像での異常検知システム（3DのAI・深層学習）

本ページは3D画像を用いた「異常検知 画像解析」の技術解説に特化し、3Dデータの種類・深層学習モデル・PointNet++による実装手順を詳しく扱います。3D AI・深層学習を活用したソリューション全体像は3D画像での異常検知システム（3DのAI・深層学習）をご覧ください。

3Dデータを用いた異常検知・画像解析は、2Dカメラでは捉えきれない凹凸・シワ・形状変形を高精度で検出できるため、製造業の品質管理や医療診断など幅広い分野で注目されています。本記事では、3Dデータの種類と特徴から、代表的な深層学習モデル、そして実際に開発・実証した3D異常検知システムの具体的な内容までを体系的に解説します。

3Dデータとは？種類と特徴

写真等の一般的な2Dデータは、ピクセル（画素）の縦×横という2次元の配列で表現されます。では3Dデータはどのように表現されるのでしょうか。3Dデータには複数の表現方法があり、用途・精度要件・計算コストによって使い分けられています。代表的な形式として「ボクセルデータ」「ポリゴンメッシュデータ」「点群データ」の3種類が挙げられます。

ボクセルデータ

ピクセルの配列で表される2Dデータの考え方をそのまま3Dに拡張したのがボクセルデータです。ボクセル（2Dにおけるピクセルに相当する立体的な単位要素）の縦×横×高さという3次元の格子状配列で物体を表現します。物体の内部構造を細かく記録できるため、医療用CTスキャンや工業用非破壊検査など、内部の情報まで把握する必要がある分野で広く用いられます。一方、解像度を上げるほどデータ量が3乗で増大するため、高解像度処理にはメモリ・計算資源の制約が伴います。

ポリゴンメッシュデータ

単に「メッシュ」と呼ばれることが多い形式です。立体を、頂点と辺で構成される多角形（ポリゴン）の集合として表現します。多角形には一般的に三角形が用いられ、「三角形メッシュ」とも呼ばれます。物体の表面形状だけを記述する形式であるため、内部情報を持たない分ボクセルに比べてデータ量を大幅に抑えられます。3DCGや製品設計のCADデータ、ゲームの3Dモデルなどで標準的に採用されており、深層学習においても専用のネットワーク研究が進んでいます。

点群データ

対象物の表面や空間上の点を座標値の集合として記録した3Dデータです。ボクセルも点の集合とみなせますが、ボクセルは格子状に整然と並んでいるのに対し、点群データは点の位置に制限がなく不規則な分布を持ちます。LiDAR（Light Detection and Ranging）や構造化光式3Dスキャナーなど、3次元測定器で撮影して得られるデータは基本的に点群として出力されるため、実測データとして最も普及した形式です。自動運転・ロボット工学・建設の3D測量など応用範囲が広く、深層学習研究においても特に盛んに研究が進められています。

これら3種類の表現形式を適切に選択・活用することで、2Dデータだけでは困難だった形状の凹凸検出・三次元的な位置関係の把握・奥行きを含む計測など、多様な問題へのアプローチが可能になります。

3Dデータにおける深層学習モデル

2Dデータ向けに成功を収めたCNN（畳み込みニューラルネットワーク）を3Dへ直接応用しようとする場合、点群を一度ボクセルに変換してからCNNを適用する手法が当初は主流でした。しかしこの変換は解像度低下やデータ量増大を招くため、点群データをそのまま扱える専用のニューラルネットワーク研究が急速に発展しました。

PointNet

PointNetは、3D点群データをボクセルへの変換なしにそのまま入力として扱い、深層学習による高精度な分類・セグメンテーションを実現した先駆的なネットワークです（論文はこちら）。点群は順序のない集合（unordered set）という性質を持つため、入力の順序が変わっても同じ結果を返す「置換不変性」を担保する工夫がアーキテクチャに組み込まれています。各点を独立に変換した後、対称関数（max pooling）で集約することで、点の順序によらない特徴表現を獲得します。

PointNetの応用範囲としては、物体全体のクラス分類・部分領域ごとの部分セグメンテーション・シーン全体を点ごとに意味付けするセマンティックセグメンテーションなどが挙げられます。3D異常検知の基盤技術としても広く参照されるモデルです。

PointNet++

PointNetはグローバルな特徴を効率よく抽出する一方で、局所的な幾何学的構造を十分に活かせないという課題がありました。PointNet++は、PointNetのネットワークに階層的な構造を加え、局所的な近傍点群から段階的に特徴を抽出できるように改良したモデルです（論文はこちら）。細部の形状変化を捉える能力が向上しており、製造部品の微細な傷や変形の検出など、異常検知タスクに適しています。

PointNet#（弊社独自開発）

PointNet++をさらに発展させた独自ネットワーク「PointNet#」を開発し、「色情報と時系列情報を付与した3次元点群の分類」として人工知能学会で発表しました。PointNet++の特徴抽出入力の構造を変更し、空間座標に加えてRGB等の色情報を特徴量として追加したモデルです。これにより、形状だけでなく色の変化・色ムラも含めた複合的な異常を判定できるようになりました。例えば素材の変色を伴う劣化や、色と形状が複合した不良品の検出精度が向上しています。

MeshNet

点群データではなく、ポリゴンメッシュを直接入力として扱う深層学習の研究です（論文はこちら）。メッシュは表面の連続性や面の向き（法線ベクトル）などの情報を持つため、表面形状の微細な変化をより豊かに表現できる可能性があります。CADデータやスキャンデータをメッシュ形式で保有している場合には、点群への変換なしに直接学習・推論できる利点があります。

3D異常検知システムの実装

2D画像では捉えきれない物体の凹凸・シワ・微細な形状変形を、3Dデータ解析によって検知することを目的として、一連の3D異常検知システムを開発・実証しました。以下にその処理フローと各ステップの詳細を示します。

① 3D点群データの取得

3次元測定器（3Dスキャナー）で対象物を撮影すると、表面上の点の座標データ＝点群データが得られます。撮影中はリアルタイムで撮影状況をモニタリングできる仕組みを組み込んでおり、取得品質の確認を行いながら安定したデータ収集が可能です。撮影環境の照明条件や対象物の素材によって点群の密度・精度が変わるため、安定した異常検知精度を維持するためのデータ品質管理も重要な工程です。

② 3D点群データベースへの蓄積

取得した3D点群データをデータベースに蓄積・管理します。蓄積されたデータは可視化ツールで確認できるほか、後工程の異常検知モデルの学習データとして活用されます。製品ロット・撮影日時・検査結果などのメタ情報と紐付けて管理することで、品質トレンドの分析や再学習時のデータ活用がしやすくなります。

③ 3Dモデルの作成

取得した点群データから、深層学習モデルへの入力に適した3Dモデルを生成します。独自に開発した処理手法により、高速な変換・前処理が可能です。点群のノイズ除去・ダウンサンプリング・座標正規化などの前処理も、この工程でまとめて実施します。

④ 学習・判定

構築した3Dデータを用いて、PointNet++ベースのモデルで異常検知およびパーツごとの分類を行います。2Dカメラでは正確に把握しにくい凹凸やシワなどの立体的な異常を、3Dデータを使ったアプローチによって2Dよりも高精度に検出できます。

具体的な実施例として、家具製品の3Dスキャンによるデータ構築と不良判別があります。手順は以下の通りです。

1. 家具を3Dスキャンして点群データを取得
2. GAN（敵対的生成ネットワーク）を活用して学習データを水増し（データ拡張）
3. PointNet++で正常品・不良品の分類モデルを学習
4. 新たなスキャンデータに対して異常・正常の判定を実施

実証実験ではシワのない立方体（正常品）とシワのある立方体（不良品）の3Dデータを用いて検証を行い、識別精度はおおむね90〜95%を達成しています。2Dカメラによる外観検査と比較した場合、照明条件や撮影角度による影響を受けにくく、形状の微細な変化を定量的に捉えられる点が3Dアプローチの強みです。

PointNet++の応用：為替情報の幾何学的特徴を用いた売買アルゴリズムの検討

3D点群処理向けに開発されたPointNet++の枠組みを、金融データの分類へ応用した研究も実施しました。目標は、為替取引（ドル円）に対して機械学習を用いたアプローチによってリターンを向上させることです。

具体的な手法は以下の通りです。

• PCA（主成分分析）およびt-SNEを用いてインプット情報を3次元データに変換
• 正解ラベルは5分後の価格変動に応じて設定（上昇・下降・横ばいの3クラス）
• 連続する512時点分の3次元データを間隔256でスライドさせて順次入力し、パラメーターを最適化

学習結果として、横ばい（Stay）・上昇（Up）・下降（Down）の3パターンに対応した点群の分布表現が得られました。この研究は「為替情報の幾何学的特徴を用いた売買アルゴリズムの検討」として人工知能学会金融情報学会第21回で発表しました。時系列の数値データを3次元空間に埋め込み、点群処理の手法で分類するアプローチは、金融以外にも時系列異常検知など様々な分野への横展開が期待できます。

まとめ

3Dデータを用いた異常検知・画像解析は、ボクセル・ポリゴンメッシュ・点群という3つの表現形式を基盤として発展しています。深層学習モデルとしてはPointNet・PointNet++が点群処理の中心的な手法であり、独自開発のPointNet#では色情報の統合によってさらなる精度向上を実現しました。実際の3D画像を用いた異常検知システムでは、3D形状データ・深度・点群などの収集→データベース蓄積→モデル生成→AI判定という一貫したフローにより、表面の凹凸や形状の歪みといった微細な異常を高精度で検出しています。製造ラインの品質管理をはじめ、精度と信頼性が求められる検査工程への適用が今後さらに広がっていくと考えられます。

関連記事

• 3DのAI・深層学習ソリューション概要