NVIDIAは、『Random-Access Neural Compression of Material Textures』と題した記事の中で、新しいテクスチャ圧縮アルゴリズム「Neural Texture Compression（NTC）」を紹介している。このアルゴリズムは、ビデオメモリに対する要求の高まりに対応するものだ。最新のゲームでは、マテリアルを忠実かつ自然に表現するために、高解像度のテクスチャと多くの関連するプロパティや属性を保存する必要が出てきており、よりデータ効率の良いアルゴリズムの開発が求められている。
NVIDIAによると、NTCは、多くのフォーマットで利用可能なGPUアシスト標準テクスチャ圧縮であるブロック圧縮よりも4倍高い解像度（16倍多いテクセル）を提供するという。NVIDIAのアルゴリズムは、テクスチャをテンソル（3次元）として表現するが、ブロック圧縮（BC）のような仮定はない。NTCが行う唯一の許容範囲は、各テクスチャが同じ大きさであることだ。
ダイレクトアクセス、ローカルアクセスはNTCの重要な特徴である。テクスチャのGPU圧縮では、高い圧縮率を適用しても、低コストでゼロレイテンシーでアクセスできることが重要である。新しいアプローチは、複数のチャンネルとミップマップ（異なるサイズのテクスチャ）をまとめて圧縮することを目的としており、JPEG XLやAVIFよりも優れた品質とビットレートを実現している。特別なブロックを必要とする従来のブロック圧縮アルゴリズムとは異なり、NTCアルゴリズムは、最新のGPU自体が実行する行列の乗算技術を使用している。記事によると、これによりNTCアルゴリズムは、ディスクやメモリの制限が少なくなり、より実用的で機能的なものとなっている。
レンダリングにおけるフォトリアリズムの継続的な進歩は、テクスチャデータの増加を伴い、その結果、ストレージとメモリの需要が増加する。この問題に対処するため、我々は特にマテリアルテクスチャのために設計された新しいニューラル圧縮技術を提案します。低ビットレート圧縮で、AVIFやJPEG XLのような高度な画像圧縮技術よりも優れた画質で、2つのより詳細なレベル、すなわち16倍のテクセル数を解除します。同時に、本手法では、GPU上のブロックテクスチャ圧縮と同様のランダムアクセスによるオンデマンド・リアルタイム解凍が可能です。これにより、ディスクストレージからメモリに至るまで、圧縮の利点を拡大することができます。この手法のキーとなるアイデアは、複数のマテリアルテクスチャとそのミップマップチェーンを一緒に圧縮し、それぞれのマテリアルに最適化された小さなニューラルネットワークを使用して解凍することです。最後に、PyTorchのような一般的なフレームワークの性能を1桁上回る実用的な圧縮速度を達成するために、カスタムトレーニングの実装を使用しています。
カスタムハードウェアを必要とする一般的なBCxアルゴリズムとは異なり、このアルゴリズムは、最新のGPUによって高速化された行列乗算法を利用している。論文によると、これによりNTCアルゴリズムはより実用的になり、ディスクやメモリの制約が少なくなるため、より高い能力を発揮できるようになる。
論文によると、ニューラルテクスチャはBCアプローチと比較して最大16倍のテクセル数でリアルタイムにレンダリングでき、4Kレンダリング速度は1.15 ms（RTX4090で測定）となっている。本研究の詳細については、8月6日に開催されるSIGGRAPH 2023で発表される予定だ。
論文
- NVIDIA Research: Random-Access Neural Compression of Material Textures (PDF)
参考文献
- NVIDIA Research: Random-Access Neural Compression of Material Textures
- via VideoCardz: NVIDIA Neural Texture Compression offers 4 times higher resolution than standard compression with 30% less memory
研究の要旨
レンダリングにおけるフォトリアリズムの継続的な進歩は、テクスチャデータの増加を伴い、その結果、ストレージとメモリの需要が増加する。この問題に対処するため、我々はマテリアルテクスチャ用に特別に設計された新しいニューラル圧縮技術を提案する。低ビットレート圧縮で、AVIFやJPEG XLのような高度な画像圧縮技術よりも優れた画質で、2つのより詳細なレベル、すなわち16倍のテクセル数を解除する。同時に、本手法は、GPU上のブロックテクスチャ圧縮と同様のランダムアクセスによるオンデマンド・リアルタイム解凍を可能にし、ディスクとメモリでの圧縮を可能にする。本アプローチのキーとなるアイデアは、複数のマテリアルテクスチャとそのミップマップチェーンを一緒に圧縮し、各マテリアルに最適化された小さなニューラルネットワークを使用して解凍することだ。最後に、カスタムトレーニングの実装を用いることで、PyTorchのような一般的なフレームワークの性能を一桁上回る実用的な圧縮速度を実現している。
コメントを残す