Disneyの研究者たちが、俳優を若く見せたり、老けて見せたりすることをはるかに簡単に実現するAIシステム「FRAN」を開発したと発表した。
- 論文
-
- Disney Research Studios: Production-Ready Face Re-Aging for Visual Effects
- 参考文献
これまでにも、アーティストが手作業で調整して、CG等を駆使してできるだけリアルに見えるようにすることは可能だったが、この新たなAIツールは重い作業のほとんどを担ってくれる可能性がある。AIは、1つのフレームにエイジング効果を適用するのにわずか5秒しかかからないとしている。
俳優のリエイジング（年齢の変更）は、一般的に高価で手間のかかるプロセスであり、アーティストがシーンを1フレームずつ見て、キャラクターの外見を手動で変更する必要があった。これまでにも、ニューラルネットワークや機械学習を用いて、このプロセスを自動化する試みは行われてきた。Disneyの研究者たちは、これまでのこうした試みは、静止画ではうまくいくかもしれないが、他のシステムでは「一般的に、顔の同一性が失われ、解像度が低く、後続のビデオフレーム間で結果が不安定になる」ことに悩んでいると指摘する。彼らは、新たに開発したソリューションが、「ビデオ画像内の顔の再加工を行うための、実用的で完全自動化された初のプロダクション対応手法」であると主張している。
研究チームは、FRAN（face reaging network）ニューラルネットワークを実際の人のデータセットで学習させるには、「同じ顔の表情、ポーズ、照明、背景を持つ被写体が、異なる2つの既知の年齢で写っている画像のペアが必要になる」ことから、実質的に不可能であると論文で述べている。そこで研究チームは、ランダムに生成した数千人の顔のデータベースを作成。そして、既存の機械学習によるエイジングツールを用いて、これらの合成顔のエイジングを行い、その結果をFRANに入力した。
ニューラルネットワークは顔が写っている画像を分析し、顔のどの部分が老化の影響を受けるかを予測し、元の顔の上にレイヤーとしてシワや肌のスムージングなどの効果を適用することができるとのことだ。Gizmodoによると、このアプローチにより、FRANはパフォーマーの頭や顔が動き回ったり、撮影中の照明が変わったりしても、身元や見た目をそのままに再加工することができると研究者は主張しています。他の方法とは異なり、FRANは顔の位置合わせのステップも余分に必要としないとのことだ。
Disneyがこのようなツールを開発したいと考える理由は明白だ。例えば、視覚効果アーティストの作業負担を軽減し、プロセスをスピードアップできる可能性があり、また、超大作を作らないプロダクションが、俳優の年齢を上げたり下げたりするのに役立つだけでなく、膨れ上がった予算を抑制するのに役立ってくる。『アイリッシュマン』の予算の大部分（2億ドルとも言われる）は、ロバート・デ・ニーロ、アル・パチーノ、ジョー・ペシを若く見せるために費やされたとも言われている。
Disneyは、スター・ウォーズのマーク・ハミルを筆頭に、自社のプロジェクトで出演者の若返りをしている。ハリソン・フォードがインディ・ジョーンズ役で来夏に復帰する際も、少なくともオープニング・シーンでは、見慣れた彼よりも少し若く見えることだろう。Disneyの新しいリエイジングツールを使えば、今後、こうしたパフォーマーの顔を何年も若返らせることができるようになるはずだ。
研究の要旨
映像中の顔をフォトリアリスティックにデジタル処理することは、エンターテインメントや広告の分野でますます一般的になってきている。しかし、一般的な2Dペインティングのワークフローでは、フレーム単位での手作業が必要な場合が多く、熟練したアーティストでも数日かかる場合がある。顔画像のリエイジングに関する研究は、この問題を自動化し解決することを試みているが、現在の技術は、一般的に顔の識別性の喪失、解像度の低さ、後続のビデオフレーム間での結果の不安定さに悩まされるため、ほとんど実用的ではない。本論文では、ビデオ画像中の顔のリエイジングのための、実用的で完全に自動化され、生産可能な最初の方法を紹介する。本論文では、ビデオ画像中の顔画像のリエイジを自動で行う実用的な手法を初めて紹介する。我々は、実画像では失敗するものの、合成顔では写真のようにリアルなリエイジング結果を提供する顔のリエイジングにおける現在の最先端技術を活用することで、このような縦断的データセットを構築する方法を示す。次に、このような合成データを活用し、顔のリエイジングを、より複雑なネットワーク設計を必要とせず、よく理解されたU-Netアーキテクチャを学習することで実行可能な実用的な画像間変換タスクとして定式化することが、我々の重要な発見である。我々は、単純なU-Netが、驚くほど、ビデオ上の実顔のリ・エイジングを、前例のない時間的安定性と、様々な表情、視点、照明条件における顔の同一性の保持を可能にすることを実証する。最後に、我々の新しいフェイス・リエージング・ネットワーク（FRAN）は、シンプルで直感的なメカニズムを取り入れており、アーティストに局所的な制御と、リエージング効果を指示し微調整する創造的自由を提供することができる。
