韓国科学技術院のYoo Hoi-Jun教授が率いる韓国の研究チームは、最近、NVIDIAの既存のソリューションに比べて非常に低い消費電力と飛躍的に向上した処理速度で、2D画像を完全に編集可能な3Dモデルに変換できるAI搭載チップの開発を完了したことを明らかにした。DigiTimesによると、この新しいニューラル・レンダリング・プロセッサは「MetaVRain」と呼ばれ、スマートフォン程度の大きさの携帯端末に簡単に組み込むことができる。このプロセッサは、現実世界の物体や人物をメタバース用の3Dアバターに変換するプロセスを簡素化することを本質的な目的としている。
Blenderなどの専用ソフトを使った手作業による3D編集を、AIによる自動学習で簡略化することで、3Dレンダリング制作のコストを大幅に削減することが可能になるという。また、VRAMの使用量も最大で180分の1にまで削減出来る。キャプチャとレンダリングのプロセスは、数枚の写真を撮影してスマートアプリケーションにアップロードするのと同じくらい簡単だ。2D素材を編集しやすい3Dモデルに変換した後、スマートアプリケーションは、ピカソやゴッホのような特定のアートスタイルから事前に学習させたテクスチャを適用することが出来る。
AIによるレンダリング処理の初期の非効率性を改善するために、研究チームは人間の視覚認知をエミュレートするアルゴリズムを実装した。人間が物体の輪郭を認識してから全体の形状を構成するように、MetaVRainチップはまず低解像度のボクセルで形状を描き出し、次に過去にレンダリングした構造を適用して計算速度を向上させている。
イメージキャプチャは非常に高度なCMOSセンサーを介して行われ、レンダリングプロセスは現在のコンシューマー向けGPUと比較して少なくとも911倍高速に行われる。デモ動画では、MetaVRainが32.8fpsでモデルをレンダリングできるのに対し、RTX 2080 GPUは1秒間にフレームの3％未満しかレンダリングできないことが示されている。優れたスピードはさらに、コンシューマー向けGPUと比較して、1つのレンダリングフレームに必要なエネルギーを26,400分の1程度（133mW）に削減する。このようなスペックにより、スマートフォン1台でVR/ARアプリケーションのリアルタイムレンダリングを実現するとのことだ。
Source
