Intel、“フレーム外挿”による新たなフレーム生成技術をまもなく公開か？

IntelがSIGGRAPH Asia 2023で発表した「ExtraSS: A Framework for Joint Spatial Super Sampling and Frame Extrapolation」と題された論文で、フレーム外挿に基づく新しいアプローチ、フレームワークを紹介している。

Intelはこの中で、空間アップスケーリングとフレーム外挿に基づく2つの主要技術の組み合わせを紹介している。ここでの「外挿」という言葉がキーワードだ。AMD FSR3やNVIDIA DLSS3がフレーム補間に基づいている事と比較すると大きな意味を持ってくる。Intelの方法は、古いフレームと新しいフレームに依存するのではなく、古いフレームのみに依存しているのだ。これにはもちろん利点と欠点がある。

論文では、高品質な結果を持つリアルタイムレンダリングを達成するための課題について議論している。空間的および時間的スーパーサンプリングの概念を説明し、DLSS、XeSS、FSRなどの既存の方法を強調している。Intelの研究からのこの論文は、これらの技術に挑戦するために、空間アップスケーリングとフレーム外挿を組み合わせた統一フレームワークを提案している。

Intelによると、フレーム補間はレンダリングパイプラインに追加の遅延をもたらす。このため、NVIDIAやAMDの方法はReflexやAnti-Lag+などの技術に依存している。Intelのアプローチではそうした必要が無くなるかも知れない。これまで、古いフレームのみに依存するフレーム生成はアーティファクトを生じるが、動きベクトルとニューラルネットワークを組み合わせてシェーディングを改善し、アーティファクトを制限する方法があったが、これらも完璧ではなかった。このため、Intelの研究者たちは、空間スーパーサンプリングとフレーム外挿を効率的かつ高品質に組み合わせるフレームワークを提案している。

Intelは、Gバッファ（ジオメトリバッファ）ワーピング法を考案し、時間的および空間的情報を再利用してより良いワープフレームを生成する。同社はは、時間的安定性がここでの重要な焦点であると認識している。安定性の欠如はちらつきを引き起こす可能性がある：

私たちは、空間スーパーサンプリングとフレーム外挿のためのフレームワークを提案します。低解像度の入力を隔フレームでのみ使用することで、空間スーパーサンプリング（左右のフレームで示される）または空間および時間スーパーサンプリング（中央のフレームで示される）を実行することができます。私たちの方法は、時間をかけてより多くのフレームを生成するだけでなく、ネイティブの高解像度での時間的アンチエイリアシング（TAA）に対しても比較可能な品質を実現します。解像度は入力が540P、出力とTAAが1080Pです。SSは空間スーパーサンプリングのみのフレームを意味し、ESSは外挿と空間スーパーサンプリングの組み合わせを意味します。

著者たちは、空間-時間外挿のためにGバッファガイド付き情報を持つ動きベクトルの使用を提案し、その後に移動シェーディングを洗練するための軽量フローベースモデルを使用する。提案されたExtraSSネットワークは、低解像度でレンダリングされた画像を入力として取り、洗練された結果を持つ高解像度画像を生成する。Unreal Engine 4での評価は、従来の空間的または時間的スーパーサンプリング方法と比較して、より良いパフォーマンスと比較可能な品質を示している。

結論では、提案されたフレームワークの限界、複雑なシーンでの課題、および潜在的なアーティファクトについて認めている。Intelはこの技術について公式のブログ投稿を行っておらず、研究論文や特許が必ずしもエンドユーザー向けの製品として導入されるとは限らない。しかし、ExtraSSは、DLSSやFSRのフレーム生成技術に対抗するためにIntelが今後必要とするものかもしれない。

論文