NVIDIA、30%少ないメモリで標準的な圧縮より4倍高い解像度を提供する圧縮アルゴリズム「Neural Texture Compression」を発表

masapoco
投稿日 2023年5月6日 9:53
Random Access Neural Compression of Material Textures

NVIDIAは、『Random-Access Neural Compression of Material Textures』と題した記事の中で、新しいテクスチャ圧縮アルゴリズム「Neural Texture Compression(NTC)」を紹介している。このアルゴリズムは、ビデオメモリに対する要求の高まりに対応するものだ。最新のゲームでは、マテリアルを忠実かつ自然に表現するために、高解像度のテクスチャと多くの関連するプロパティや属性を保存する必要が出てきており、よりデータ効率の良いアルゴリズムの開発が求められている。

NVIDIA Introduces Neural Texture Compression Algorithm 4x higher resolution
(Credit: NVIDIA)

NVIDIAによると、NTCは、多くのフォーマットで利用可能なGPUアシスト標準テクスチャ圧縮であるブロック圧縮よりも4倍高い解像度(16倍多いテクセル)を提供するという。NVIDIAのアルゴリズムは、テクスチャをテンソル(3次元)として表現するが、ブロック圧縮(BC)のような仮定はない。NTCが行う唯一の許容範囲は、各テクスチャが同じ大きさであることだ。

ダイレクトアクセス、ローカルアクセスはNTCの重要な特徴である。テクスチャのGPU圧縮では、高い圧縮率を適用しても、低コストでゼロレイテンシーでアクセスできることが重要である。新しいアプローチは、複数のチャンネルとミップマップ(異なるサイズのテクスチャ)をまとめて圧縮することを目的としており、JPEG XLやAVIFよりも優れた品質とビットレートを実現している。特別なブロックを必要とする従来のブロック圧縮アルゴリズムとは異なり、NTCアルゴリズムは、最新のGPU自体が実行する行列の乗算技術を使用している。記事によると、これによりNTCアルゴリズムは、ディスクやメモリの制限が少なくなり、より実用的で機能的なものとなっている。

レンダリングにおけるフォトリアリズムの継続的な進歩は、テクスチャデータの増加を伴い、その結果、ストレージとメモリの需要が増加する。この問題に対処するため、我々は特にマテリアルテクスチャのために設計された新しいニューラル圧縮技術を提案します。低ビットレート圧縮で、AVIFやJPEG XLのような高度な画像圧縮技術よりも優れた画質で、2つのより詳細なレベル、すなわち16倍のテクセル数を解除します。同時に、本手法では、GPU上のブロックテクスチャ圧縮と同様のランダムアクセスによるオンデマンド・リアルタイム解凍が可能です。これにより、ディスクストレージからメモリに至るまで、圧縮の利点を拡大することができます。この手法のキーとなるアイデアは、複数のマテリアルテクスチャとそのミップマップチェーンを一緒に圧縮し、それぞれのマテリアルに最適化された小さなニューラルネットワークを使用して解凍することです。最後に、PyTorchのような一般的なフレームワークの性能を1桁上回る実用的な圧縮速度を達成するために、カスタムトレーニングの実装を使用しています。

カスタムハードウェアを必要とする一般的なBCxアルゴリズムとは異なり、このアルゴリズムは、最新のGPUによって高速化された行列乗算法を利用している。論文によると、これによりNTCアルゴリズムはより実用的になり、ディスクやメモリの制約が少なくなるため、より高い能力を発揮できるようになる。

論文によると、ニューラルテクスチャはBCアプローチと比較して最大16倍のテクセル数でリアルタイムにレンダリングでき、4Kレンダリング速度は1.15 ms(RTX4090で測定)となっている。本研究の詳細については、8月6日に開催されるSIGGRAPH 2023で発表される予定だ。

1683294308 41 NVIDIA Introduces Neural Texture Compression Algorithm 4x higher resolution
(Credit: NVIDIA)

論文

参考文献

研究の要旨

レンダリングにおけるフォトリアリズムの継続的な進歩は、テクスチャデータの増加を伴い、その結果、ストレージとメモリの需要が増加する。この問題に対処するため、我々はマテリアルテクスチャ用に特別に設計された新しいニューラル圧縮技術を提案する。低ビットレート圧縮で、AVIFやJPEG XLのような高度な画像圧縮技術よりも優れた画質で、2つのより詳細なレベル、すなわち16倍のテクセル数を解除する。同時に、本手法は、GPU上のブロックテクスチャ圧縮と同様のランダムアクセスによるオンデマンド・リアルタイム解凍を可能にし、ディスクとメモリでの圧縮を可能にする。本アプローチのキーとなるアイデアは、複数のマテリアルテクスチャとそのミップマップチェーンを一緒に圧縮し、各マテリアルに最適化された小さなニューラルネットワークを使用して解凍することだ。最後に、カスタムトレーニングの実装を用いることで、PyTorchのような一般的なフレームワークの性能を一桁上回る実用的な圧縮速度を実現している。



この記事が面白かったら是非シェアをお願いします!


  • vogm
    次の記事

    世界初!母親のお腹の中にいる胎児の脳手術に成功

    2023年5月6日 13:50
  • 前の記事

    新たな宇宙望遠鏡「ユークリッド」は暗黒宇宙の見方を変える

    2023年5月8日 4:28
    euclid

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です


今読まれている記事