瞳に注目した真贋判定を行うAI
ディープフェイク技術を用いて作られた顔の動画、画像の真贋を判定する方法として、瞳に注目をする方法があります。
ニューヨーク州立大学バッファロー校の研究チームは、2020年に、論文(EXPOSING GAN-GENERATED FACES USING INCONSISTENT CORNEAL SPECULAR HIGHLIGHTS)を発表しました。この論文によりますと、瞳に映った光の反射から、ディープフェイク動画かどうかを判定することができると述べられています。
目の構造を説明すると、眼球の黒目の部分を角膜(かくまく)と言い、半球形になっています。 光を通す透明な膜ですが、日本人では黒く見えるので「黒目」と言います。カメラでいうとレンズの役割を果たしていて、外から入ってくる光を屈折させて、網膜に像が映るのを助けています。
この光の反射を検出して、左右の目の光の反射の形がどれほど重なっているかを判定するためにIoUスコアという指標を使います。IoUスコアとは0から1の範囲で左右の目の光の反射の形がどれだけ重なっているかを表す数値のことです。1に近づくほど重なりが大きいことを表します。
①

②

①が本物の人間の目であるのに対して、②はGANという機械学習の手法を用いて作成された偽物の目となっています。
GANについて詳しく知りたい方はこちらをご覧ください。
GAN(敵対的生成ネットワーク)について説明します!
①の本物の人間の目では、左目と右目で同じ対象を見ているため、両瞳に映る光や影は同じ形をしています。そのため、IoUスコアは0.7前後の値となっています。
一方②のGANを用いて作成された偽物の目は、合成したものであるため、左右の光の反射部分の重なり度が小さくなり、0.3前後の数値になっています。

本物の目の画像のスコアは0.5〜1.0に分布するのに対して、偽物の目の画像のスコアは0.1~0.5に概ねなることがわかっています。そのため、94%という高精度でディープフェイクであるかどうかを見抜くことが出来ます。
ただし、このツールは画像の人物が、両目どちらもカメラを直視していて、かつ両目が共に映っている場合にのみ有効です。現状では、ディープフェイク動画を判定するのには限りがありますが、今後改良が積み重なって多くのディープフェイク動画の真贋判定を行えるようになるでしょう。
ディープフェイクについてもっと知りたいと思われた方はこちらをご覧ください。
ディープフェイクとは?詳しく解説!
画像引用元:S. Hu, et al., "Exposing GAN-Generated Faces Using Inconsistent Corneal Specular Highlights," ICASSP, 2021, pp. 2500-2504.