ディープフェイクを見破るために、実例を含めてわかりやすく解説します！

ゼレンスキー大統領のディープフェイク

現在世界的大問題となっているロシア軍とウクライナ軍の戦闘で、ロシアによるウクライナへの侵攻が続いていますが、この戦闘の最中にディープフェイクの偽動画が出回ったといいます。
それは、ロシア側がウクライナの大統領であるゼレンスキー大統領の偽の動画を作成したことでした。

ゼレンスキー大統領の演説を比較

さて、今一度、本物とフェイク動画を見てみましょう。

偽動画では、ウクライナのゼレンスキー大統領がディープフェイクで作成され、大統領がウクライナの兵士や市民に投降を呼びかける内容でした。この動画は瞬く間にSNSによって拡散されました。

（2022年3月18日放送「news zero」より）動画についてクリスタルメソッドの代表がコメントしました。

みなさんも見たことがあると思われる、こちらのディープフェイクで作られたゼレンスキー大統領の偽動画。一見ちらっと見るだけだと、本物の動画であると騙されてしまうかもしれません。ですが、違和感のある点がいくつかあります。

【違和感のある箇所】

◆身体や頭など全体的に動きがない、固まりすぎている。または同じ動きばかりしている。
特に身体は全くと言っていいほど動きがありません。首から頭部にかけてはまるでそこだけ貼り付けたかのような違和感があります。

また頭部や顔の動きを注視してみると、なんとなく微妙な同じ動きを繰り返しているように見えます。頭が小刻みに揺れているのと、瞬きも同じ動きをループ再生しているかのようです。背景動画ともくっきり分かれているようにも見えます。

さらに、場面や状況にもよりますが、国の大きな危機状況からして、このように微動だにせず淡々と言葉を紡ぐのは違和感を覚えます。特に身振り手振りを交え、表情豊かに演説するのが欧州の文化では一般的です。

◆瞳の光の映り方、影の入り方
人間の瞳は特殊な構造をしており、光があることによって様々な変化が見られます。光の入射角が一定方向からだったとしても、全く微動だにしていない限り瞳の輝きがこのように一定になることはあり得ません。生きている瞳は、涙や熱の微妙な量で変化します。

影に関しても、光に対する影の付き方に違和感があります。顔に出来る影、首元に出来る影、洋服に出来る影が一定であるはずですが、それぞれ別な方向にも見えます。
（また余談ですが・・・マイクはどこにあるのでしょうか？下の方に設置されている、ということでしょうか・・・結構小さな声で話していますが、声が届くのか疑問です）

このように、比較してみると違和感が際立ちます。

瞳に注目した真贋判定を行うAI

ディープフェイク技術を用いて作られた顔の動画、画像の真贋を判定する方法として、瞳に注目をする方法があります。

ニューヨーク州立大学バッファロー校の研究チームは、2020年に、論文(EXPOSING GAN-GENERATED FACES USING INCONSISTENT CORNEAL SPECULAR HIGHLIGHTS)を発表しました。この論文によりますと、瞳に映った光の反射から、ディープフェイク動画かどうかを判定することができると述べられています。
目の構造を説明すると、眼球の黒目の部分を角膜(かくまく)と言い、半球形になっています。 光を通す透明な膜ですが、日本人では黒く見えるので「黒目」と言います。カメラでいうとレンズの役割を果たしていて、外から入ってくる光を屈折させて、網膜に像が映るのを助けています。

この光の反射を検出して、左右の目の光の反射の形がどれほど重なっているかを判定するためにIoUスコアという指標を使います。IoUスコアとは0から1の範囲で左右の目の光の反射の形がどれだけ重なっているかを表す数値のことです。1に近づくほど重なりが大きいことを表します。
①

②

①が本物の人間の目であるのに対して、②はGANという機械学習の手法を用いて作成された偽物の目となっています。

GANについて詳しく知りたい方はこちらをご覧ください。
GAN(敵対的生成ネットワーク)について説明します!

①の本物の人間の目では、左目と右目で同じ対象を見ているため、両瞳に映る光や影は同じ形をしています。そのため、IoUスコアは0.7前後の値となっています。
一方②のGANを用いて作成された偽物の目は、合成したものであるため、左右の光の反射部分の重なり度が小さくなり、0.3前後の数値になっています。

本物の目の画像のスコアは0.5〜1.0に分布するのに対して、偽物の目の画像のスコアは0.1～0.5に概ねなることがわかっています。そのため、94%という高精度でディープフェイクであるかどうかを見抜くことが出来ます。

ただし、このツールは画像の人物が、両目どちらもカメラを直視していて、かつ両目が共に映っている場合にのみ有効です。現状では、ディープフェイク動画を判定するのには限りがありますが、今後改良が積み重なって多くのディープフェイク動画の真贋判定を行えるようになるでしょう。

ディープフェイクについてもっと知りたいと思われた方はこちらをご覧ください。
ディープフェイクとは？詳しく解説！

画像引用元：S. Hu, et al., "Exposing GAN-Generated Faces Using Inconsistent Corneal Specular Highlights," ICASSP, 2021, pp. 2500-2504.

日本でも研究が進む真贋判定を行うAI

国立情報学研究所のシンセティックメディア国際研究センター長の越前功さんと山崎順一さんらの研究チームは、フェイク顔映像を自動判定するプログラム「SYNTHETIQ: Synthetic video detector」を開発しました。

真贋判定には、深層学習モデルを利用されており、「SYNTHETIQ」によって、判定したい映像のアップロードから判定結果のダウンロードまでをWebAPIを通して利用可能です。

また、大量のデータに基づく自動識別手法を採用しており、圧縮やデジタル信号を処理されたフェイク顔映像でも一定の信頼度を保てると言われています。

SYNTHETIQの概要図
画像引用：国立情報学研究所

弊社の開発したAIアバター

弊社AIアバターは先程挙げた違和感などにも考慮し作成しています。

以下の動画は、AIで自動生成された動画で、会社案内をしている様子です。

法と倫理に配慮しながら、「Deep AI Copy」という、個人の見た目・声　趣味、思考、知識、自己認識などをAIにインストールするサービスを開発しています。

弊社のAIアバターについてもっと知りたい方はこちらへ！
クリスタルメソッド株式会社｜DeepAICopy

まとめ

いかがだったでしょうか？
ディープフェイクを見破るためにもAIが使われているのはおもしろいですよね！
今後もイタチごっこのように追い越し、追い越されが続くのでしょうか？
それとも完全に見破ることの出来ないディープフェイクが開発されてしまうのでしょうか？
今後が楽しみですね。

またよろしければ弊社SNSもご覧ください！
Twitter https://twitter.com/crystal_hal3
Facebook https://www.facebook.com/クリスタルメソッド株式会社-100971778872865/

［関連記事］
ディープフェイクについて分かりやすく解説をします。以下の記事でイチから解説します！是非ご覧ください！
>> ディープフェイクとは？映像や動画、アプリについて解説！

［関連記事］
ディープフェイクの作り方について分かりやすく解説をします。以下の記事でイチから解説します！是非ご覧ください！
>> ディープフェイクの作り方をAI研究開発会社が詳しく解説！