NVIDIAは、同社提供のストリーミングソフトウェア「NVIDIA Broadcast」のバージョン1.4において、被写体の目線がカメラの方向を向いていなくても、AIによるシミュレーションによって自動で“目線が合っているように見せる”事が出来る新たな機能である、「Eye Contact」を実装した。

この機能は現在ベータ版という扱いだが、「カメラ」セッティング内の「エフェクト」追加から試すことが出来る。

用途としては、台本やメモなどを確認する際に目線を外しても、映像上はカメラ目線を維持したままで配信を続けられる事から、YouTuberなどのコンテンツクリエイターやビデオ会議のプレゼンターに用いられることを想定しているようだ。彼らはこの機能を用いることで、視聴者へのエンゲージメント向上に役立つのではとのことだ。

更に、目の色やまばたきすらも再現するとのことで、一見すると視聴者が気づかないほどスムーズに処理が行われる。NVIDIAは、「何百万もの目の色と照明の組み合わせ」を模倣するために、AIモデルを訓練し、これを実現しているとのことだ。

ただし、NVIDIAのデモとは別に、The Vergeの編集者Mitchel Clark氏が公開した多くの動きを伴うデモでは、顔の前に手がかかった際など、手の上に一瞬だが目が描写されてしまうようなものもあり、まだ完璧に動作すると言うわけではないようだ。

NVIDIA Broadcast 1.4.0では、その他にもInstagramなどで見られる様なレンズの周辺光量落ちを再現する「Vignette」エフェクトが追加され、更に、AIによって、まるで大口径レンズで撮影したような自然なボケのある映像をシミュレートする「仮想背景エフェクト」も更新され、更に品質・安定性が向上している。

NVIDIA Broadcast 1.4.0の更新内容一覧は以下の通りだ。

NVIDIA Broadcast 1.4.0における新機能

• 新エフェクト – Eye Contact（ベータ版）: 話者の目をモーフィングし、視線を推定してカメラに合わせることで、アイコンタクトをシミュレートします。
• 新エフェクト – Vignette: フレームの角を暗くすることでレンズ効果をシミュレートし、化粧品としての効果を発揮します。
• 仮想背景エフェクト（ぼかし、置き換え、除去）を更新しました。更新されたエフェクトは、時間情報を使用して、セグメンテーションの品質と安定性を向上させます。
• アプリの改善。
• カメラプレビューのミラーリングと自撮りスナップショットのための新しいオプション。
• ツールチップを追加し、アクセスしやすくなりました。
• 入力として選択されたカメラデバイスが他のアプリで使用中の場合、ユーザーがNVIDIA Camera仮想デバイスを表示しようとすると、アプリはグレーフレームではなく、カメラ使用中アイコンを表示するようになりました。

Source

• NVIDIA: NVIDIA Broadcast 1.4 Adds Eye Contact and Vignette Effects With Virtual Background Enhancements
• via The Verge: Nvidia Broadcast can now deepfake your eyes to make you look at the camera