有名人がAIで生まれ変わる！バーチャルヒューマン最前線と今後の可能性

本記事では、AI対話システムやDeepFake技術の最先端研究に携わる専門家が、国際人工知能学会での招待講演や多数の学会発表などの豊富な研究実績をもとに、AI技術の現在と未来をわかりやすく解説します。

バーチャルヒューマンとは何か

バーチャルヒューマンの定義と特徴

バーチャルヒューマンとは、AI技術やCG（コンピュータグラフィックス）、モーションキャプチャなどの先進的技術によって作り出された「仮想空間上の人間キャラクター」を指します。近年はディープラーニングをはじめとするAI技術の発展により、まるで現実世界の人間と見分けがつかないほど精巧なアバターやキャラクターを生み出せるようになりました。バーチャルヒューマンは、SNSやライブ配信、イベント出演といったさまざまなシーンで活用され、特に有名人の活動領域を拡張する手段として注目を集めています。

有名人とバーチャルヒューマンの結びつき

かつてはゲームや映画を中心としたエンターテインメント業界で活躍していたバーチャルヒューマンが、近年では「リアルな有名人の肖像権や声、さらには言動」までもAIで再現可能になったことで、プロモーションやタレント活動の領域にも進出し、その存在感を急激に高めています。

AI技術が切り開くバーチャルヒューマンの世界

ディープラーニングで進化するバーチャルヒューマン

バーチャルヒューマンの開発において、革新的な役割を果たすのがディープラーニング技術です。大量の画像や動画データを学習させることで、よりリアルな顔の表情や微妙な骨格の動きを推定できるようになりました。

また、生成系AI（例：Generative Adversarial Networks, 通称GAN）を用いると、学習したデータから新たな表情や動作パターンをリアルタイムに生み出すことも可能です。

有名人がバーチャルヒューマン化する理由

SNSでファンとの交流をするため

バーチャルヒューマン化された有名人は、SNSを通じてファンとのコミュニケーションを大幅に強化できます。従来のテレビや雑誌インタビューなどの一方向的な情報発信だけでなく、コメント欄やダイレクトメッセージを活用してファンの質問や意見にリアルタイムで応答したり、ライブ配信を行ったりすることで、より身近な存在として受け入れられるようになります。

有名人バーチャルヒューマン事例①：ロンブー田村淳さんの挑戦

コラボプロジェクトの背景

有名人の中でも、いち早くバーチャルヒューマンに注目し、自身の活動に取り入れた例として挙げられるのが「ロンドンブーツ1号2号」の田村淳さんです。田村淳さんは、お笑い芸人だけでなく司会者や経営者としても幅広く活躍しており、新しい技術やSNSを積極的に活用する姿勢が知られています。そんな田村淳さんは、AIやIT関連のサービスに関心を持ち、弊社とのコラボプロジェクトを進めてきました。

バーチャルヒューマンの成果と今後の展望

田村淳さんのバーチャルヒューマン活用においては、主にSNSや動画配信での実験的な試みが中心になっています。具体的には、YouTubeやSNSライブなどでバーチャルヒューマンが登場し、視聴者のコメントに対してAIがサポートする形で応答するシステムなどが開発・検討されているといわれています。また、バーチャルヒューマンを活用し、既存のファンだけでなく、若年層を中心とした新規ファン層の獲得を狙う戦略も考えられています。

今後は、メタバースやVR空間と連動したライブイベントへの出演などが期待されており、あたかも田村淳さんが複数の場所に同時に存在しているような、ユビキタスなタレント活動が可能になるでしょう。このように、芸能活動とAI技術との融合で、有名人とファンの関係性が今後さらに大きく変わっていくと考えられます。

弊社が提供するDeepAIについて

DeepAI®とは？ ─ バーチャルヒューマンを支えるアバター生成技術

DeepAI®とは、自社が独自に開発したアバター生成技術、ディープラーニング（深層学習）の活用で、まるで実在の人物かと思うほどリアルなバーチャルヒューマンを生み出すことができます。具体的には、人間の姿や声、話し方、ボディランゲージを多角的に学習させる仕組みを備えており、CGによる表現の精巧さとAIの高い認識・生成能力を組み合わせ、自然で躍動感のある振る舞いを実現しています。たとえば、実在の芸能人や専門家の容姿や声色を忠実に再現し、視聴者とインタラクティブにコミュニケーションするバーチャルヒューマンを生み出す、といった用途に活用されています。

バーチャルヒューマン×大規模言語モデル（LLM）

バーチャルヒューマンに大規模言語モデル（LLM）の知識を統合すると、あたかも本人と対話しているかのような高度で自然な受け答えが可能になります。たとえば、あらかじめ企業固有のナレッジやドキュメントを学習させれば、問い合わせ対応やFAQへの即時回答といったサポート業務を効率化できるほか、多言語対応にも柔軟に対応できる点が大きな利点です。

感情認識エンジン（EmoRec II）でバーチャルヒューマンの感情を可視化

当社独自開発の「EmoRec II」は、音声や表情の微細な変化を総合的に分析し、リアルタイムで相手の感情を推定する最先端のエンジンです。声のトーンや話す速度、カメラ映像に映る表情の変化などを捉えることで、従来のAIでは難しかった相手の気持ちを汲み取る高度なコミュニケーションを可能にします。たとえば、ユーザーが不安そうな口調や表情の場合には、バーチャルヒューマンが安心感を与えるトーンや表情に切り替えて応答するなど、人間的な配慮を伴う対話が期待できます。

感情表現エンジン（EmoExp）で豊かに動くバーチャルヒューマン

バーチャルヒューマンの魅力をさらに高めるとして注目されているのが、新開発の感情表現エンジン「EmoExp」です。従来の合成音声やテキストベースのやりとりに加え、「EmoExp」を活用することでアバターがリアルタイムに表情を変化させられるようになります。笑顔や困惑、驚きなどの感情を自然に表現できるため、あたかも実際の人間がその場でコミュニケーションしているかのような臨場感を得られるのが大きな特徴です。

バーチャルヒューマン実現に向けたデータ収集・反映プロセスとキャリブレーション

バーチャルヒューマンをより自然に、かつ高度な精度で動かすためには、音声や表情、テキストといった複数の要素を総合的に扱う必要があります。その核となるのが、DeepAIRecognize（音声認識）やDeepAISpeech（音声合成）などの独自技術を用いたデータ収集・解析、そしてそれらをリアルタイムで最適化するキャリブレーションの仕組みです。

マルチモーダルAIで音声・映像・感情を統合

当社では、AIがまだ黎明期だった時代から、音声AI、映像AI、自然言語処理、感情認識といった多彩な技術を完全自社開発で培ってきました。要素技術を一つに融合したマルチモーダルAIは、音声や映像などの複数の情報を総合的に解析し、リアルタイムに高度な応答を可能にするのが特長です。

完全自社開発がもたらすバーチャルヒューマン技術の柔軟性と拡張性

バーチャルヒューマンの開発において、研究段階から自社内で要素技術を一貫して開発している体制は、柔軟性と拡張性の面で大きな強みとなります。たとえば、音声認識や音声合成、表情制御、感情認識などのコア技術からアバター生成エンジンに至るまで、すべてを自社でコントロールできるため、以下のようなメリットが得られます。

AI浸透に向けた弊社の取り組み

ここで、弊社の研究実績をあらためてご紹介します。

【国際学会での招待講演・査読付き論文発表】

・国際人工知能学会 招待講演（テーマ：「AIカウンセリングの社会への影響」）

・「Using Convolutional Neural Network for improving the inference of interrogative sentences in a dialogue system」を国際会議（ACIIW 2022）で発表

・マルチモーダルCNNを用いた対話行為推定の精度向上に関する研究

【多数の学会発表・研究実績】

・対話型AIでの表情推定や操作に関する論文発表

・AI関連学会（SIG-KSTなど）での研究報告（敵対的生成ネットワークを用いた機械音生成 など）

・AI金融情報学会への継続的な発表（チャートのCNNによる最適化、売買アルゴリズムに関する考察 など）

完全自社開発によるロープレAIの柔軟性と拡張性

【招待講演・講師としての幅広い活動】

・システム部長友の会 2023（テーマ：「DeepFakeの危険性と社会実装」）

・参議院議員会館でのセミナー 2023（テーマ：「市民主導のAI革命：社会変革の新たなステージ」）

・BSIA例会講演 2023（テーマ：「生成AI実業務のユースケースと危険性」）

・AOSデータ主催講演 2023（テーマ：「AIシステムのためのAIデータ活用とリスク管理」）

【メディア出演・海外雑誌掲載】

・テレビ番組出演（日本テレビ・関西テレビ・フジテレビ・テレビ朝日 など）…DeepFake特集、AI対話技術の紹介、生成AIへのインタビューなど

・新聞・雑誌掲載…日本経済新聞、日刊工業新聞、中部経済新聞、上毛新聞、高知新聞 ほか多数

【AI技術の社会実装事例】

・「DeepAI®」による故人の再現…生前データを学習し、バーチャル対話を可能にするシステム。テレビ番組（関西テレビ 2023/5）で紹介

・AI田村淳さん（歌唱AI）の開発…高精度な音声・歌唱生成。TikTokでの歌唱動画を公開中

バーチャルヒューマンの今後の展望

広がるバーチャルヒューマンの可能性

これからもバーチャルヒューマンは、多くの有名人や芸能人の間でますます活用が広がっていくと考えられます。SNSやメタバース上で活動するバーチャルヒューマンは、従来のメディア出演やライブイベントなどに加え、新たな角度からファンとのコミュニケーションを深める手段として注目を集めています。

AIやCG技術の進歩により、今後はまるで実在する人物のようにリアルかつ魅力的に動き、声や表情も自在にカスタマイズできるバーチャルヒューマンがますます当たり前の存在となるでしょう。

有名人や芸能人自身の個性や世界観を、より多彩な方法で発信できるようになる点も大きな魅力です。バーチャルヒューマンを通じて、実際の活動とは異なるキャラクターやストーリーを展開し、新たなファン層を取り込む可能性も期待されます。さらに、AIチャットボット機能などの技術が組み合わされれば、24時間365日ファンとコミュニケーションをとれるようになり、より密接な関係を構築できるでしょう。

まとめ

こうした技術革新を背景に、エンターテインメント業界や企業のマーケティング活動では、バーチャルヒューマンが主要な役割を担う時代が訪れるかもしれません。

当社独自開発の「DeepAI®」をはじめ、音声・映像・感情認識を統合したマルチモーダルAI技術が、リアルタイムかつ自然な動きや表情を再現し、高精度なやり取りを実現する社会になります。

大規模言語モデル（LLM）や感情分析エンジン（EmoRec II / EmoExp）と組み合わせることで、ユーザー一人ひとりにパーソナライズされた対話を行い、24時間365日サポートやファンとの密接な交流ができます。

今後はSNSやメタバースなど多様なプラットフォームで活躍の場が拡大し、有名人や企業にとって新たなコミュニケーション手段として、バーチャルヒューマンの魅力と可能性がさらに注目されています。