NVIDIAは、以前より予告されていたRTX30シリーズおよび40シリーズのGPUで古いぼやけたWebビデオをアップスケールする新しいGPUドライバを本日リリースした。この新たな機能「RTX Video Super Resolution」は、NVIDIAの新しいAIアップスケール技術であり、ChromeまたはEdgeブラウザ内で動作し、動画オブジェクトのエッジをシャープにし、ビデオアーティファクトを減らすことによって、ブラウザ内のあらゆるビデオ品質を向上させるという。
NVIDAによると、RTX Video Super Resolution（VSR)では、360pから1440pまでの動画をフレームレート144Hzまでサポートし、4K解像度までアップスケールすることが可能だという。
アルゴリズムの基本的な概要としては、DLSSと共通する部分があり、高解像度（および高画質）のビデオフレームの低解像度・低ビットレート版を含むペア画像の束を取り、それをディープラーニング学習アルゴリズムに通して、低画質の入力フレームを理想的にアップスケールして、より見やすい出力に拡張する方法をネットワークに教えるものだ。ただし、VSRとDLSSには多くの違いがある。
1つには、DLSSがゲームエンジンから直接、現在のフレーム、モーションベクトル、深度バッファを含むデータを取得する点だ。前のフレームと学習されたAIネットワークと組み合わせて、アップスケールとアンチエイリアスのフレームを生成する。反面、VSRでは、事前に計算された深度バッファやモーションベクトルは存在しないので、すべては純粋にビデオフレームに基づいて行われる必要がある。したがって、理論的には、VSRは、現在および以前のフレームデータを使用することが出来るが、NVIDIAは、純粋な空間アップスケーリングアプローチを選択している。
ComputerBaseがいくつか実際にテストした画像を共有しており、これによってVSRの性能を確かめることが出来るだろう。
これはあらゆるWeb動画で利用できるので、Twitchや、Netflixのようなストリーミングアプリで、4Kストリーミングのために通常追加料金を支払わなければならないコンテンツが、アップスケールすることで高画質で楽しめる可能性があり、それだけでも価値があるものだろう。
NVIDIAは何年も前からゲームやビデオを改善するためにAI技術を使用しており、その中でもDeep Learning Super Sampling（DLSS）システムは最も広く使用されている。それだけではなく、先月、NVIDIA Broadcast向けに、AIを使ってビデオ通話中にアイコンタクトを取っているように見せる「Eye Contact」機能も発表しており、同社のAI活用は広汎にわたっている。
Source
