生成AIを活用したバーチャルヒューマンのご紹介

こんにちは。ナレッジワークス株式会社でエンジニアをしている松島と申します。
エンジニアと名乗っていますが、開発からUI/UXデザイン、最近だとシナリオ制作まで幅広く担当しています。
この記事では、急速に進化を遂げる生成AIを活用したバーチャルヒューマンについてご紹介します。
これまでナレッジワークスでは、キャラクタークリエイター等のリアル調のヒューマンモデルを作成できるソフトを使用してバーチャルヒューマンを作成していました。
本記事でご紹介する生成AIを活用したバーチャルヒューマンの作成方法では、ヒューマンモデル作成ソフトよりもよりリアルに短期間でのバーチャルヒューマンの作成を目的としております。
生成AIでテクスチャを作成したバーチャルヒューマン
生成AIで作成したアバターのテクスチャを3Dモデルに反映させる方法で、従来の方法に比べて低コストでリアリティのある表現が可能になりました。
従来のバーチャルヒューマンの作成方法は、メッシュやテクスチャを一から作り、ライティングなどさまざまな技術を駆使してリアルに近づけるものでしたが、これには多大な労力とコストが必要でした。それに対し、生成AIを用いた新しい方法では、短期間でより少ないリソースでリアルなバーチャルヒューマンを作成できる点が特徴です。
新しいバーチャルヒューマンの制作
バーチャルヒューマンを生成AIと3Dモデリングによって作成する際に2パターンの方法があります。「生成画像を3Dモデルに反映するパターン」と「生成動画を3Dモデルに反映するパターン」についてそれぞれ解説します。
パターン1:AIで作成した『画像』を3Dモデルに反映
まず、生成AIを使用して、実在しない人物の顔写真を作成します。この写真を基に3Dモデリングソフトで3Dモデルを制作し、モデルの各部分に破綻がないかを多角的に確認します。これにより、リアルな外観と表情を持つバーチャルヒューマンが作られます。

パターン2:AIで作成した『動画』を3Dモデルに反映
次に、テキストをもとに生成された音声とリップシンクが連動するアバター動画を3Dモデルに反映させます。これにより、メッシュアニメーションを使用せずとも瞬きや口の動きが実現でき、モデル制作のコストを大幅に削減することが可能です。また、顔の各部位が滑らかに動作するかを確認し、リアリティの高い表現ができるよう最適化を行います。

XRでのバーチャルヒューマンの可能性
XR技術を用いることで、バーチャルヒューマンはよりリアルな体験を提供できるようになりました。例えば、VRやAR環境でバーチャルヒューマンと対面して話すことで、実際に人間と対話しているかのような体験が可能です。以下に、XRを活用したバーチャルヒューマンの応用例を挙げます。
研修や教育の現場での活用
バーチャルヒューマンは、受講者の質問に応じて回答し学習をサポートでき、より個別に対応した教育が可能です。
最近教育の場でも使われ始めているVRとも親和性が高く、VR内のアバターとしても使用できます。
メタバース内での利用
メタバースの仮想空間では、自分に似たアバターを「分身」として配置し、まるで自分がその場にいるかのようなコミュニケーションが可能です。ユーザー同士がメタバースに集まり、バーチャルヒューマンを介して会話することできます。
まとめ
本記事では生成AIを活用したバーチャルヒューマンをご紹介しました。短期間でリアルな人間の表現を目指しています。また、XR技術と組み合わせることで、教育や研修、メタバース内での体験など、汎用的な使用を目的としています。
最後までお読みいただき、ありがとうございました。今後も新しい技術やトレンドについての記事を書いていきます。
ご質問やご相談があれば、ぜひお問い合わせください!
CONTACT
まずはお気軽にご相談ください。
事例に近いお悩みがあれば、どんな小さなご相談でも大丈夫です。
