NVIDIAは、新しい人工知能モデルによって、仮想3D世界の作成にかかる手間を省こうとしている。新たに発表した「GET3D」は、キャラクター、建物、乗り物、その他の種類の3Dオブジェクトを簡単に、自動で生成することができるとのことだ。同発表によると、GET3Dは1つのGPUを使用して、1秒間に約20のオブジェクトを生成できるとのことだ。
研究者たちは、複数の角度から撮影した3D形状の合成2D画像を使って、このモデルをトレーニングした。NVIDIAによると、A100 Tensor Core GPUを使用して、約100万枚の画像をGET3Dに送り込むのにわずか2日しかかからなかったという。
このモデルは、「高忠実度のテクスチャと複雑な幾何学的細部」を持つオブジェクトを作成できると、NVIDIAのIsha Salian氏はブログで書いている。GET3Dが作る形状は、「張子モデルのような三角形のメッシュで、テクスチャの付いた素材で覆われた形になっています」とのことだ。
GET3Dは互換性のあるフォーマットでオブジェクトを作成するため、ユーザーはゲームエンジンや3Dモデラー、フィルムレンダラーにオブジェクトを素早くインポートして編集することができるようになる。つまり、開発者がゲームやメタバース向けに高密度な仮想世界を作ることがより容易になる可能性があるということだ。NVIDIAは、他の使用例として、ロボット工学と建築を挙げている。
同社によれば、GET3Dは、自動車画像のトレーニングデータセットに基づいて、セダン、トラック、レースカー、バンを生成することができたという。また、動物の画像でトレーニングした後、キツネ、サイ、馬、クマなどを生成することも可能になった。NVIDIAは、GET3Dに入力されるトレーニングセットが大きく、多様であればあるほど、「より多様で詳細な出力が得られる」と述べている。
NVIDIAのAIツール「StyleGAN-NADA」を使えば、テキストベースのプロンプトでオブジェクトに様々なスタイルを適用することが可能だ。例えば、自動車に燃え尽きたような外観を適用したり、家の模型をお化け屋敷に変えたり、あるいは、この技術を紹介するビデオにあるように、あらゆる動物にトラの縞模様を適用することができます。
GET3Dを開発したNVIDIAの研究チームは、将来のバージョンでは、合成データではなく、実世界の画像で学習させることができると考えている。また、一度に1つのオブジェクト・カテゴリに集中するのではなく、様々な種類の3D形状に対して一度にモデルを訓練することも可能になるかもしれない。
