Intel（Intel）は、96%の精度で、いわゆる“ディープフェイク”動画コンテンツをリアルタイムに識別する事が出来るする人工知能解析技術「FakeCatcher」を導入したことを発表した。同社によると、これは世界で最初のリアルタイムディープフェイク検出器であるとのことだ。
- 論文
- 参考文献
AIをはじめとするテクノロジーの進歩に伴い、人々はよりリアルな偽物のメディアを簡単に作り出すことができるようになった。例えば、TikTokのディープフェイクチャンネル「deeptomcruise」では、俳優のトム・クルーズのディープフェイク動画を毎日何百万人もが視聴している。これは無害な例ではあるが、違法行為、個人情報の盗難、偽造、プロパガンダなど、ディープフェイクが害を及ぼしている事例がいくつもある。
Intelは、コンテンツがAI技術によって操作されたかどうかを判断するアルゴリズムとアーキテクチャを開発することで、この問題への対策と信頼性の構築に取り組んでいるという。
今回、Intelの研究員Ilke Demir氏と、ニューヨーク州立大学ビンガムトン校のUmur Ciftci教授によって開発された「FakeCatcher」は、これまでの、生データに基づくディープラーニングベースのディープフェイク検出器とは異なり、実際に検出の対象とする動画の中にある手がかりを元に、ディープフェイクか否かの判断を行っていると言う。
このアルゴリズムは、Apple Watchをはじめとする、多くのウェアラブル端末が心拍数の測定に用いている、光電式容積脈波記録法（PPG）をベースとした映像解析技術に基づいている。映像が合成されたものかどうかを解析するために、画像のピクセルに含まれる微妙な「血流」を解析し、複数のフレームの信号を調べ、映像内の血流が自然かどうかを判断するのだ。
FakeCatcherでは、顔の32箇所からPPG信号を収集し、時間成分とスペクトル成分からPPGマップを作成する。その後、それらのマップを取り、PPGマップの上で畳み込みニューラルネットワークを訓練し、偽物と本物とを分類するという。推論用のDeep Learning BoostフレームワークやAdvanced Vector Extensions 512などのIntel技術のおかげで、リアルタイムで最大72の同時検出ストリームで実行することが可能になっているとのことだ。
将来的には、この技術をオンラインサービスに応用して動画の利用状況を分析し、ユーザーが改ざんした動画をアップロードして悪影響を及ぼすことを防いだり、ニュースメディアが収集したニュース素材が改ざんされていないかどうかを判断するのにも利用できる可能性があるとのこと。
研究の要旨
近年、肖像画のフェイクビデオの普及は、社会、法律、プライバシーに直接的な脅威を与えている。政治家の偽映像を信じる、有名人の偽ポルノコンテンツを配布する、なりすまし偽映像を裁判の証拠として捏造するなどは、ディープフェイクがもたらす現実世界のほんの一例に過ぎない。我々は、ディープフェイクという新たな脅威に対する予防的解決策として、ポートレート動画に含まれる合成コンテンツを検出する新しいアプローチを提示する。すなわち、ディープフェイク検出器を紹介する。我々は、生成モデルが非常に現実的な結果を出すため、ディープラーニングを盲目的に利用した検出器はフェイクコンテンツの検出に有効でないことを観察している。私たちの主な主張は、ポートレート映像に隠された生体信号が、偽物のコンテンツでは空間的にも時間的にも保存されないため、真正性の暗黙の記述子として利用できる、というものである。この主張を証明し、利用するために、我々はまず、一対の分離問題に対していくつかの信号変換を行い、99.39%の精度を達成した。第二に、提案された信号変換とそれに対応する特徴セットを分析することで、これらの知見を利用して、偽コンテンツの一般化された分類器を定式化する。第三に、新しい信号マップを生成し、CNNを用いることで、従来の合成コンテンツ検出のための分類器を改善する。最後に、評価プロセスの一環として収集した、偽のポートレートビデオの “in the wild “データセットを公開する。いくつかのデータセットでFakeCatcherを評価した結果、Face Forensics、 Face Forensics++、CelebDF、そして我々の新しいDeep Fakes Datasetでそれぞれ96%, 94.65%, 91.50%, 91.07%の精度を達成することができた。さらに、我々のアプローチは、ベースラインに対して著しく優れた検出率を生み出し、フェイクコンテンツのソース、生成者、特性に依存しない。また、様々な顔領域からの信号、画像歪み、様々なセグメント持続時間、異なる生成者、未見のデータセット、様々な条件下での信号を分析した。
コメントを残す