デジタル編集業界において、AdobeはAI革命の最前線にいる。その生産性向上ツール群に次々と生成AIを追加しており、直近では写真のオブジェクトをまるでPhotoshopのレイヤーのように自由自在に編集する様子を披露したが、新たにAIが古い動画やGIFを簡単にアップスケールする方法を披露している。この技術はまだリリースされていないが、そのデモンストレーションは、古いホームビデオをシャープにしたい人々にとって画期的なものになりうることを示している。この技術はGIFにも使えるようだ。

Adobeが「Project Res-Up」と呼ぶこの技術は、拡散ベースのアップサンプリング技術を使って、以前に学習させたデータに基づいて新しいデータを生成する。これは通常、モデルに画像を与えてトレーニングし、認識できなくなるまで細部を除去する。モデルはその後、画像に欠落している情報を補う方法を学習するため、再構築を行う。AdobeはこのプロジェクトのデモをThe Vergeに独占公開した。ある例では、1947年に制作された映画のビデオを480×360から1,280×960の解像度に675％アップスケールして見せた。その結果、AIがディテールを追加したにもかかわらず、偽物とは思えないほどシャープな映像になっている。

2つ目の技術デモでは、水遊びをしている子象に焦点を当てるために動画をトリミングしたものを使用している。動画をトリミングすると元の画像より解像度が下がるが、それを再度アップスケーリングして元の動画レベルの解像度まで高めている。これは、ビデオ編集者にとっては便利な機能だろう。象のしわのディテールがより鮮明になり、よりシャープに見える。また、修正されたビデオは、オリジナルよりもノイズが少ない。

The Vergeは、このようなアップスケーリング技術が適用されるのにどれくらいの処理時間がかかるのかについては言及していないが、その処理時間と使用されているハードウェアが気になるところだ。

Source

• The Verge: Adobe previews AI upscaling to make old, fuzzy videos and GIFs look fresh