Computex 2023において、NVIDIAのCEOであるJensen Huang氏は、ゲームと生成AIの融合がもたらす未来の形を示した。

これは動画で示されているように、リアルなグラフィックでサイバーパンクな世界のラーメンや店主と会話出来るものだ。プレイヤーは予め用意された選択肢を選ぶ代わりに、ボタンを押しながら自分の声で何かを言うと、ゲームのキャラクターから答えが返ってくるというイメージだ。NVIDIAはこれを「ゲームの未来を覗くもの」と呼んでいる。

この新技術は、NVIDIA ACE（Avatar Cloud Engine）for Gamesと呼ばれる。これにより開発者は、プレイヤーキャラクターとリアルタイムで会話できるNPCを置くことができるようになるが、その対話は、ChatGPT、Bing Chat、Bardと同様のAIチャットボットが搭載された非台本化されたものとなる。また、この技術により、NPCのフェイシャルアニメーションがノンスクリプトのダイアログにマッチするようになる。

NVIDIA ACE for Gamesは、すでに存在する3つの異なるコンポーネントへの高速アクセスを提供する。1つ目のNVIDIA NeMoは、LLMをトレーニングして展開するためのAIフレームワークで、不適切な／「安全ではない」AIの会話を防ぐためのNeMo Guardrailsが含まれている。おそらくこれは、NPCがユーザーからの不適切でトピックのずれたプロンプトに答えるのを止めるものだろう。また、Guardrailsは、ユーザーやプロンプト注入者になりそうな人がボットを「脱獄」して悪いことをさせるのを防ぐためのセキュリティも備えている。

NVIDIA Rivaは、同社のSpeech to Text / Text to Speechソリューションだ。ACE for Gamesのワークフローでは、ゲーマーがマイクを使って質問をすると、Rivaがそれをテキストに変換し、LLMに送る。LLMはその回答をテキストに変換し、Rivaはそれを音声に変換してユーザーに聞かせる。もちろん、ゲームでもテキストで回答が表示されることを期待している。 NVIDIA RivaのSpeech-to-TextおよびText-to-Speechの機能は、同社のサイトで試すことが可能だ。

NVIDIA Omniverse Audio2Faceは、ゲーム用ACEのワークフローにおける最後のステップとなるもので、キャラクターが話していることに合わせて表情をつけることができるようになっている。現在、この製品はベータ版として提供されており、こちらで試すことが可能だ。

Kairosと呼ばれるこのデモは、 NVIDIAの新進企業とベンチャーキャピタルをつなぐInceptionプログラムの一環であるAI in-gaming startup、Convaiによってデザインされた。同社のサイトでは、ゲーム開発者が複雑なバックストーリーを持つリアルなNPCを構築できるツールセットを提供している。

同社は、ツールの仕組みとその機能について、素晴らしい説明ビデオを公開している。このビデオでは、プレイヤーがNPCに話しかけ、ゲーム内の実際のオブジェクトや他のキャラクターを巻き込んで何かをするよう依頼する様子を見ることが出来る。

例えば、映像の中では、プレイヤーがNPCに「テーブルの上に置いてある銃を渡してください」とお願いし、NPCがそれに応じている。また、兵士のNPCに、特定の場所にある標的を撃つように指示する場面もある。また、Convaiのツールによって、このようなことが可能になることも紹介されている。

デモで示されたAI NPCは、確かに完璧ではない。彼の話し方は非常に堅苦しく、あえて言うなら人工的な印象を受けるだろう。しかし、今後数カ月、数年のうちにスピーチパターンが改善され、より自然なものになる可能性は十二分にある。

NVIDIAは、ACE for Gamesがゲーム開発者に提供される時期については明言していない。しかし、ゲームキャラクターの発話に顔のアニメーションを合わせるAudio2Face技術が、今後発売される2つのゲーム、三人称視点のSFゲーム『Fort Solis』と、待望のポストアポカリプスFPSの続編『S.T.A.L.K. E.R. 2: Heart of Chornobyl』で使われていることは言及している。

Source

• NVIDIA: NVIDIA ACE for Games Sparks Life Into Virtual Characters With Generative AI