スマートフォンカメラの画質はここ10年で飛躍的に進化したが、それでも高速に動く（例えば小さな子どもなど）を撮影した時に残る被写体ブレ（モーションブラー）は依然として呪いのようにつきまとっていた。だがこの状況も今後は大きく変わるかも知れない。Qualcommは、フランスのイメージセンサー設計企業「Prophesee」と提携して、同社の「イベントベース」Metavision技術をSnapdragonプラットフォームに提供することを発表した。これにより、現在のイメージセンサーと比較して、より高速なアクションを撮影できるスマートフォンカメラの実現が期待できる。

パリに拠点を置くPropheseeのセンサーは、画期的なイベントベースの連続・非同期ピクセルセンシングアプローチによって、特に動きの速いダイナミックなシーン（スポーツシーンなど）や低照度下でのカメラ性能を劇的に改善する能力を持つという。

通常のイメージセンサーとは対照的に、プロフェシーが設計したイベントベースセンサーは、スマートフォンの画像の変化だけをキャプチャする。そのため、他のセンサーでは必要とされる、画像中の1ピクセルごとの処理を省略することが出来るのだ。Propheseeは、動画の中で何かが変化していることを反映した変化、つまりイベントだけをキャプチャする。

「世界は、ラスターベースでもフレームベースでもありません。人間の目にヒントを得たPropheseeのイベントベースセンサーは、従来のセンサーが引き起こすモーションブラーやその他の画質アーチファクト、特にハイダイナミックシーンや低光条件下での画質を修復し、写真やビデオを我々の真の体験に近づけます。」、Propheseeは語っている。

「Propheseeは、ニューロモルフィック技術を応用して従来のカメラの限界に対処し、全体的なユーザーエクスペリエンスを向上させる明らかなリーダーです。私たちは、これがモバイル写真を次のレベルに引き上げるための画期的な技術であると確信しています。イベントカメラのシャッターフリー機能に関する両社の先駆的な成果は、Snapdragonを搭載した次世代モバイルデバイスで、最も過酷な環境でも利用できる写真の品質を大幅に向上させ、Snapdragonのお客様のさまざまな新しい可能性を解き放ちます。」と、Qualcomm Technologies（QCT）半導体部門の製品管理担当バイスプレジデント、Judd Heape氏は述べている。

Prophesee Metavisionセンサーの仕組み

Propheseeの画期的なセンサーは、モバイル写真に新たなセンシングの次元を加える。従来の画像撮影の常識を覆すピクセル単位でシーンの変化のみにフォーカスすることで、従来の画像キャプチャのパラダイムを変える。また、高速で連続的に撮影することが可能だ。

Metavisionセンサーの各ピクセルは、ロジックコアを内蔵しており、ニューロンのように動作することが可能である。各ピクセルは、感知した光子の数に応じて、インテリジェントかつ非同期的に自身を活性化する。画素が活性化することをイベントと呼ぶ。つまり、イベントは任意のクロックではなく、シーンのダイナミクスによって駆動されるため、取り込み速度は常に実際のシーンのダイナミクスと一致するのだ。

フレームベースとPropheseeのイベントベースセンサーを同期させることで、高性能なイベントベースブレ軽減を実現している。これは、イベントベースセンサーを同期させることで実現している。そして、フレーム間やフレーム内の隙間をマイクロ秒のイベントで埋め、純粋な動き情報をアルゴリズムで抽出し、被写体ブレを修復する。

Prophesee社のMetavisionセンサーとソフトウェアは、プレミアムSnapdragonモバイルプラットフォーム向けに提供される予定だという。開発キットは、今年中にProphesee社から発売される予定だ。

Source

• Prohesee: Prophesee Announces Collaboration with Qualcomm to Optimize Neuromorphic Vision Technologies For the Next Generation of Smartphones, Unlocking a New Image Quality Paradigm for Photography and Video