ゲーム開発者カンファレンスCEDEC2022でFF7リメイクの唇の動きについての講演が行われました。 FF7リメイクでは、キャラクターの会話シーンではボイスに合わせて唇が動いているわけですが、それをどうやって実現していたのか？について、かなり専門的な内容での講演となっており、ファミ通に大量のスライドとともにレポート記事があがっています。
台詞に合わせて唇を動かす「リップシンク」と呼ばれる技術は、太古の昔よりありますが、FF7リメイクのようなフルボイス作品ではとにかくシーンとキャラクターの物量が多くて手動で一文字一文字設定していくのは無理。 そこで、従来の開発では脚本に書いてあるテキスト文から自動的に唇の形を生成するツールを開発して、それでやっていたそうなのですが、大きな問題が。
それは、脚本になりセリフを声優さんがしゃべる「アドリブ」に対応できないこと。脚本にはない「呼吸音」にも対応できないし、さらに「七番街」を「ななばんまち」と読み間違えてしまったり、固有名詞や単語の辞書登録も増えまくることに…。こんな問題を解決すべく、FF7リメイクでは、声優さんがしゃべった音声をもとに唇のモーションを自動生成するAIを開発したそうです！
音声をディープラーニングの定番である畳み込みニューラルネットワークで学習し、抽出した特徴量を唇のアニメーションと対応付けて覚えさせていくというもの。AIはまず学習のための訓練データが豊富にないといけないのですが、幸いにしてFF7リメイクでは3時間半の収録ボイスとそこに対してのリップシンクアニメーションがあり、それを使って行うことができたとのこと。
AI開発自体はテクノロジー推進部やAI部が行い、開発プロジェクト側と連携して作業に当たったそうですが、こうした手法がとれるのもスクエニのように大きな会社でAI専門チームがいるからですよね。現代のAAAタイトルはとにかく用意しなければならないデータの物量が膨大で、AIに自動生成させるのが不可欠になってきています。その一端を垣間見れる貴重な講演ですね！
UE4で作ってても色んな自社技術投入してゲーム作ってるんだなぁと思いました
技術といえば、7とは関係ないけどGCで発表されたフォースポークンの動画見ましたか？
とんでもないクオリティなんで、あれも記事にしてほしいですねぇ…FF17作るならルミナスにアグニズフィロソフィーで作ってほしい
これも大きな財産だよな…
テーマともサイトとも関係ないけど、カプコンとコナミとフロムが合体したら、スクエニのようなデカイことができるのにね。会社の業績としては、カプコン連合よりスクエニのほうが下かもしれんが、PS5が自家用ジェット機のような大きな夢を追いかけてるのに、勿体ない。機会の損失だと思うけどね。