弊社で行った3DのAIについての取り組み

家具の3D 異常検知

  • 家具の3Dデータを3Dスキャンすることで、データを構築した。
  • PointNet++で不良判別を行うため、GANの活用でデータを増やした。
  • おおむね90%〜95%の精度を達成。
  • 下記は実施イメージ100%精度のサンプル。

シワのある立方体(defect)

シワのない立方体(nodefect)

識別精度の変化

 

 

為替情報の幾何的特徴を用いた売買アルゴリズムの検討

  • Sig-Fin為替情報の幾何的特徴を用いた売買アルゴリズムの検討(2018-10-16)
  • この研究発表では、3Dの学習機を用いて為替情報の分類を行なった。(PointNet++)

Down

 

Up

 

Stay

 

PointNet#

  • 今までのPointNet++では3D点群情報のみが扱えましたが、PointNet#では色情報と時系列情報も扱えるようになっております。
①情報を用いて判別ができているか
  • 使用データ:MODELNET10(sofa、bed)
  • 色情報:RGBにランダムな値を入れ、sofa、bedそれぞれに於いて、R=1のデータとG=1のデータを作成

bed red

bed green

sofa red

sofa green

 

  • テスト用データ(bed red:100個/bed green:100個/sofa red:100個/sofa green:100個)を判別
bed red bed green sofa red sofa green
bed red 100 0 0 0
bed green 0 100 0 0
sofa red 1 0 99 0
sofa green 0 0 0 100
  • 全体精度:99.75%
  • 色の違い、形の違いともにほぼ100%で判別できている
  • 背もたれとクッション部がほぼ直角であり、ベッドの形状に酷似している
②色情報なしでもPointnet++と同様の精度が出ているか
  • 座標情報のみを使って、Pointnet++とPointnet#で精度を比較した。(Pointnet#に与えるデータの色情報は0でパッティングした)
  • 使用データ:MODELNET10

table

dresser

chair

bed

 

結果

  • テスト用データで判定精度を測定(各クラス評価データ25個で検証)
正解率
Pointnet# 91.2%(228/250個)
Pointnet++ 90.4%(226/250個)

分析

  • Pointnet#、Pointnet++共に、90%ほどの正解率
  • 色情報がない場合でも、Pointnet++と同じ精度で判別が出来た

結果

  • テスト用データで判定精度を測定(ModelNetもともとの区分けで検証)
正解率
Pointnet# 90.9%(826/908個)
Pointnet++ 未計測

分析

  • Pointnet#、Pointnet++共に、90%ほどの正解率
  • 色情報がない場合でも、Pointnet++と同じ精度で判別が出来た
PointNet++ 評価概要

PointNet# 評価概要

アルファ版『AIPointNet#』アプリケーション

この3D検知システムは、3D情報表示・3Dスキャン・位置合わせ・ノイズ除去の前処理機能を持ち、PointNet#を実装した、製造物などの3D情報、色判定などが可能な仕組みです。

3D学習アプリケーション

学習データを取りまとめ、Zipファイルにする。設定後学習ボタンを押すことで、学習スタート。進捗がグラフ化されています。

3D判定アプリケーション

リアルセンスの3D点群データ表示・リアルセンスのスキャン(PCDファイル)・点群位置合わせ・ノイズ除去

 

3D外観検査システム

HTTPプロトコルによる3DPointNet#判定プログラム

 

 

3D検知アプリは簡単です!

3Dスキャン
画面上での操作で現在のカメラでとらえている点群データを表示できます。2D情報が深度情報も表示できます。

位置合わせなど
複数取得した点群データから、位置合わせを行い、一つの3Dモデルにすることができます。
洗練されたロジックを利用してるため、最短0.3秒での位置合わせが可能です。

判定
PointNet#を利用することで、今までのAIで利用できなかった、カラー情報を含めた判定を行い、結果を画面表示します。

 

 

学習工程も簡単です!

Gui操作
画面上で圧縮されたZipfileを選択することにより、学習がスタートします。
学習工程もリアルタイムかつグラフィカルに表示されます。

学習の履歴
学習履歴から、推論対象のデータセットを選択することにより、現在有効な学習済みデータセットを選択できます。

 

 

活用例・将来

デジタルツインの活用

リアルタイムにコンピュータ上で忠実に物体を再現する仕組みのこと。
デジタルツインの世界市場規模は2023年には約160億ドルまでも拡大すると予想する見方もあり、特にモノを作る製造業はその最先端です。

VR/AR/MR技術の進化によって、より現実世界に近いデジタル空間の実現も可能になります。