「目は口ほどにものを言う」と言うが、実際に目はそれ以上の情報を含んでいる。過去には、瞳に映った景色から、ストーカーがアイドルの自宅を特定してわいせつ行為で逮捕された事例があるが、その反射特性は外界を映し出すに十分な性能を示す。

今回、メリーランド大学カレッジパークの研究者は、プロジェクト「Seeing the World through Your Eyes」において、人間の眼球に映った情報から3D映像を作り上げるという画期的な技術を開発した事を報告している。この技術を用いれば、カメラに写っていない範囲にある景色の3Dシーンを再構築することが可能になるとのことだ。ここに、人間の眼球の反射性が活かされているという。

眼球に映し出された映像を再構築するというと簡単なようにも聞こえるが、この技術の開発にあたって、眼球の姿勢を正確に推定する困難さと、虹彩のテクスチャとシーンの反射が絡み合っていることなど、いくつかの要素を含む複雑なプロセスを経る必要があったとのことだ。研究者らは、角膜の姿勢、シーンを描写する放射場、観察者の虹彩テクスチャを共同で微調整する方法を提案してた。さらに、再構築の品質を向上させるために、虹彩のテクスチャパターンに対する簡易な正則化事前処理を提案した。

この技術の核心部分は、全ての健康な大人の角膜の形状がほぼ同じであるという事実に基づいている。この事実を利用して、画像中の人の眼球のピクセルサイズを数えることで、その人の目が正確にどこを見ているかを計算することが出来るのだ。この洞察を利用して、カメラからの光線を発射し、推定された眼球の形状から反射させることで、眼球の反射に対する放射場を訓練します。

外界の反射と虹彩のパターンを分離するために、研究チームはNerfstudioのトレーニングフレームワークを改良して使用した。NeRFに反射した3Dシーンと虹彩パターンの両方を学習させ、同時に2つの要素を分離するようにシステムを訓練した。

虹彩の検出には、一般的な放射状の対称形状をデフォルトとして与え、「視点によって反射が変わるが、虹彩の質感は変わらない」という仮定を設定した。

さらに、再構築から虹彩が現れないようにするために、虹彩のテクスチャを学習する2Dテクスチャマップを同時に訓練することでテクスチャの分解を行っている。

この技術を用いて、研究者らはMiley CyrusやLady Gagaの音楽ビデオを使用して、彼女たちが何を観観察しているかを再構築する試みを行った。Miley Cyrusのビデオに関しては、目に映るオブジェクトを再構築することに成功したが、Lady Gagaの目からは出来なかったという。しかし、これらのビデオの品質により、再構築されたものが何であるかまでは分からなかった。

この技術は、私たちが人間の視覚を理解し、それをデジタル世界に再現する方法を一新する可能性を秘めている。ただし、それに伴いプライバシー上の新たな問題を生む可能性もある。SNSに上げた動画から、見て欲しくないものが再構成されてしまうなんてこともあるかも知れないのだ。

論文

• arXiv: Seeing the World through Your Eyes

参考文献

• Seeing the World through Your Eyes
• via The Decoder: Better watch what you’re looking at, AI can reconstruct it in 3D

研究の要旨

人間の目の反射特性は、私たちの周りの世界がどのように見えるかについての情報源として、あまり評価されていない。動いている人の目を撮像することで、カメラの視線の外にあるシーンの複数のビューを、目の反射を通して収集することができる。本論文では、目の反射を含むポートレート画像を用いて、カメラの視線の先にある3Dシーンを再構築する。このタスクは、1）目の姿勢を正確に推定することの難しさ、2）目の虹彩とシーン反射の外観のもつれ、により困難である。本手法では、角膜の姿勢、シーンを表す輝度フィールド、観察者の目の虹彩のテクスチャを合同で精製する。さらに、再構成品質を向上させるために、虹彩のテクスチャパターンに対する簡単な正則化事前処理を提案する。様々な色の瞳を持つ人を撮影した合成画像と実世界の画像を用いた様々な実験を通じて、目の反射を利用して3Dシーンを復元する我々のアプローチの実現可能性を実証する。