ディズニーが俳優の見た目年齢を自由に若くしたり老けさせたり出来るAIを開発

masapoco
投稿日 2022年12月2日 6:43
disney reaging ai
disney reaging ai

Disneyの研究者たちが、俳優を若く見せたり、老けて見せたりすることをはるかに簡単に実現するAIシステム「FRAN」を開発したと発表した。

これまでにも、アーティストが手作業で調整して、CG等を駆使してできるだけリアルに見えるようにすることは可能だったが、この新たなAIツールは重い作業のほとんどを担ってくれる可能性がある。AIは、1つのフレームにエイジング効果を適用するのにわずか5秒しかかからないとしている。

俳優のリエイジング(年齢の変更)は、一般的に高価で手間のかかるプロセスであり、アーティストがシーンを1フレームずつ見て、キャラクターの外見を手動で変更する必要があった。これまでにも、ニューラルネットワークや機械学習を用いて、このプロセスを自動化する試みは行われてきた。Disneyの研究者たちは、これまでのこうした試みは、静止画ではうまくいくかもしれないが、他のシステムでは「一般的に、顔の同一性が失われ、解像度が低く、後続のビデオフレーム間で結果が不安定になる」ことに悩んでいると指摘する。彼らは、新たに開発したソリューションが、「ビデオ画像内の顔の再加工を行うための、実用的で完全自動化された初のプロダクション対応手法」であると主張している。

研究チームは、FRAN(face reaging network)ニューラルネットワークを実際の人のデータセットで学習させるには、「同じ顔の表情、ポーズ、照明、背景を持つ被写体が、異なる2つの既知の年齢で写っている画像のペアが必要になる」ことから、実質的に不可能であると論文で述べている。そこで研究チームは、ランダムに生成した数千人の顔のデータベースを作成。そして、既存の機械学習によるエイジングツールを用いて、これらの合成顔のエイジングを行い、その結果をFRANに入力した。

ニューラルネットワークは顔が写っている画像を分析し、顔のどの部分が老化の影響を受けるかを予測し、元の顔の上にレイヤーとしてシワや肌のスムージングなどの効果を適用することができるとのことだ。Gizmodoによると、このアプローチにより、FRANはパフォーマーの頭や顔が動き回ったり、撮影中の照明が変わったりしても、身元や見た目をそのままに再加工することができると研究者は主張しています。他の方法とは異なり、FRANは顔の位置合わせのステップも余分に必要としないとのことだ。

Disneyがこのようなツールを開発したいと考える理由は明白だ。例えば、視覚効果アーティストの作業負担を軽減し、プロセスをスピードアップできる可能性があり、また、超大作を作らないプロダクションが、俳優の年齢を上げたり下げたりするのに役立つだけでなく、膨れ上がった予算を抑制するのに役立ってくる。『アイリッシュマン』の予算の大部分(2億ドルとも言われる)は、ロバート・デ・ニーロ、アル・パチーノ、ジョー・ペシを若く見せるために費やされたとも言われている。

Disneyは、スター・ウォーズのマーク・ハミルを筆頭に、自社のプロジェクトで出演者の若返りをしている。ハリソン・フォードがインディ・ジョーンズ役で来夏に復帰する際も、少なくともオープニング・シーンでは、見慣れた彼よりも少し若く見えることだろう。Disneyの新しいリエイジングツールを使えば、今後、こうしたパフォーマーの顔を何年も若返らせることができるようになるはずだ。

研究の要旨

映像中の顔をフォトリアリスティックにデジタル処理することは、エンターテインメントや広告の分野でますます一般的になってきている。しかし、一般的な2Dペインティングのワークフローでは、フレーム単位での手作業が必要な場合が多く、熟練したアーティストでも数日かかる場合がある。顔画像のリエイジングに関する研究は、この問題を自動化し解決することを試みているが、現在の技術は、一般的に顔の識別性の喪失、解像度の低さ、後続のビデオフレーム間での結果の不安定さに悩まされるため、ほとんど実用的ではない。本論文では、ビデオ画像中の顔のリエイジングのための、実用的で完全に自動化され、生産可能な最初の方法を紹介する。本論文では、ビデオ画像中の顔画像のリエイジを自動で行う実用的な手法を初めて紹介する。我々は、実画像では失敗するものの、合成顔では写真のようにリアルなリエイジング結果を提供する顔のリエイジングにおける現在の最先端技術を活用することで、このような縦断的データセットを構築する方法を示す。次に、このような合成データを活用し、顔のリエイジングを、より複雑なネットワーク設計を必要とせず、よく理解されたU-Netアーキテクチャを学習することで実行可能な実用的な画像間変換タスクとして定式化することが、我々の重要な発見である。我々は、単純なU-Netが、驚くほど、ビデオ上の実顔のリ・エイジングを、前例のない時間的安定性と、様々な表情、視点、照明条件における顔の同一性の保持を可能にすることを実証する。最後に、我々の新しいフェイス・リエージング・ネットワーク(FRAN)は、シンプルで直感的なメカニズムを取り入れており、アーティストに局所的な制御と、リエージング効果を指示し微調整する創造的自由を提供することができる。



この記事が面白かったら是非シェアをお願いします!


  • BOE 600HZ PANEL
    次の記事

    BOEが“600Hz”を実現する超高リフレッシュレートディスプレイを発表

    2022年12月2日 10:01
  • 前の記事

    『Forspoken』PS5での新ゲームプレイ映像公開、クイックトラベルの爆速ロード時間などが確認出来る

    2022年12月2日 6:22
    forspoken keyart HD scaled 1
この記事を書いた人
masapoco

スポンサーリンク

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です


おすすめ記事

  • Sam Altman TechCrunch SF 2019 Day 2 Oct 3 cropped cropped

    ベンチャーキャピタリスト、OpenAIのSam Altman氏を“誇大妄想的”と非難

  • google logo image

    Googleが非営利団体を対象に2000万ドルの資金を提供し生成AI活用を支援

  • Pixel 8 in Rose.max 936x936.format webp

    Google、方針を転換しPixel 8にもGemini NanoによるオンデバイスAI機能を搭載へ

  • what is ai pc

    Intel、「AI PC」の要件は40TOPS以上の性能を持つNPUが必要と述べる、ただしMeteor Lakeはこれを満たさず

  • amazon anthropic

    Amazon、AIスタートアップのAnthropicに“現金”27億5千万ドルを投資

今読まれている記事