FacebookやInstagramでの収益をメタバース、VR関連事業に湯水のごとくつぎ込んでいると批判を受けてきたMetaだが、これまでに歩んできた長い道のりと、それによって得られた研究開発結果の一端を披露するイベントを開催した。

目標は「ビジュアル・チューリング・テスト」のクリアにあり

発表は、Meta CEOのMark Zuckerberg氏と、同社Reality LabsのチーフサイエンティストであるMichael Abrash氏によって行われた。

以下の写真は、Metaが2014年にOculusを買収して以来取り組んできたプロトタイプの一覧だという。これらはそのまま製品になるわけではなく、それぞれが単一の目的を果たすために特別に設計された物だ。これらの機能が洗練され、統合され、Quest 2のような消費者向けのヘッドセットになっていた。

Zuckerberg氏によると、同社の目標は最終的に「ビジュアル・チューリング・テスト」をクリアする事が出来るレベルの製品を作り上げる事だという。チューリング・テストとは、機械が人間と区別が付かない程度の能力を持っているかを判別するテストのことだが、今回Metaの言うビジュアル・チューリング・テストとは、まさに仮想現実と現実世界を実質的に区別できないレベルの映像体験と言う事だ。

Metaはそれにあたって、4つの視覚的な重要な課題を挙げている。まとめると以下の通りだ。

• 可変焦点：目の本質的なフォーカス機能（輻輳と収斂）の両方を用いて、仮想シーンの任意の深さに焦点を合わせることができる機能
• 歪み：レンズは本来、通過する光を歪ませ、しばしば色分離や瞳孔の泳動など、レンズの存在を明白にする人工的な印象を生じさせる。
• 網膜レベルの解像度：人間の目の解像力を満たす、または超える十分な解像度をディスプレイに持ち、下層のピクセルの存在を感じさせないこと。
• HDR：ハイダイナミックレンジとも呼ばれ、実世界で経験する暗さと明るさの範囲を表現する（現在のディスプレイではほとんど適切にエミュレートすることができない）。

上画像のプロトタイプは、これらの課題に対する潜在的なソリューションの概念実証として作り上げられた、パズルのピースのような物だという。

可変焦点を実現するためのプロトタイプ「Half Dome」

現在のVRヘッドセットは焦点が1.5mから2mの間で固定されており、人間の目のように、「見ようと思う対象の物体にピントを合わせる」といった機能が搭載されていない。この「可変焦点がない」ことはVRにおける不快感や違和感を生むひとつの要因となる。

この可変焦点に対処するために、チームは「Half Dome」と呼ばれる一連のプロトタイプを開発した。Metaの可変焦点への取り組みは長く、2015年から取り組んでいるようだ。ここで同社は、機械的に動くディスプレイを使用してディスプレイとレンズの間の距離を変更し、画像の焦点深度を変更する可変焦点デザインを検討した。その後、チームはソリッドステート電子システムに移行した。その結果、可変焦点光学システムが大幅にコンパクトになり、信頼性が高く、静粛性が向上したとのことだ。

プロトタイプの開発テストでは、固定焦点と可変焦点でユーザーテストを行ったところ、「可変焦点の方が快適で、疲れづらく、小さいものが識別しやすく、VRで文字を読むのも楽」という結果が得られたという。

だが、この機能を一般ユーザー向けのデバイスにまとめる事はまだまだ道のりが長いとのことだ。

Zuckerberg氏は、「これほどの進展があっても、可変焦点機能を持つハードウェアの性能を完全に最適化し、さらにアイトラッキングの信頼性を高めてこの機能を実現するには、まだまだやるべきことがたくさんあります」「これらの機能をあらゆる人が常に使えるようにする必要があります。非常に高いハードルです」と語っている。

歪み補正のための「レンズ」

歪みに関して、Abrash氏は、レンズの設計とそれらのレンズの設計に固有の歪み補正アルゴリズムを試すことは、時間がかかりとても難しいプロセスであると説明している。新しいレンズはすぐに作ることはできず、一度作った後でもヘッドセットに注意深く統合する必要がある事が要因だ。

ディスプレイシステムリサーチチームがこの問題に迅速に取り組むことができるように、チームは「歪みシミュレーター」を構築している。これは、3DTVを使用してVRヘッドセットを実際にエミュレートし、ソフトウェア内でレンズ（および対応する歪み補正アルゴリズム）をシミュレートしてくれる。これにより、「動的な歪み補正システムを、数ヶ月ではなく、文字通り数分で検討できる」ようになったという。

重要な課題は、目がレンズの真ん中にあるときに見えるものを単に修正するのではなく、目が動くときにレンズの歪みを動的に修正することにあるという。

Zuckerberg氏は、「アイトラッキングはVRやARにおいて過小評価されていますが、光学的な歪みの補正や、何を詳細にレンダリングするかを決める、つまりシステムが何に注目するかという点において非常に重要です。ウェアラブルデバイスにおいては熱や電力供給が限られるため、システムの最後の1ビットまで能力を引き出す必要があるのです」と語る。

人の網膜の解像度と同等レベルのディスプレイを搭載した「Butterscotch」

Metaでは、水平視野角1度当たり60ピクセルの解像度（60ppd）を達成することが、人の目にとって現実と見分けが付かない仮想世界を再現するための目標とされてきた。これをテストするために作られたプロトタイプが、下の写真にある「Butterscotch」だ。

Butterscotchでは、水平視野角1度当たり55ピクセル（55ppd）を実現している。この解像度は、これまでの同社のデバイスと比較するとその鮮明さが分かるだろう。

ただし、このButterscotchは高解像度実現のために、Meta Quest 2からレンズを高品質な物に交換し、水平視野角を半分にしているとのことで視野が狭いことが問題だ。だが、驚くほどシャープな映像が得られており、Metaの目標とする60ppdにかなり近い物が実現できているとのことだ。

ハイダイナミックレンジ

Zuckerberg氏は、概説した4つの主要な課題で最も大切なのは、HDRであると語っている。

HDRがVR体験に与える影響を証明するために、ディスプレイシステムリサーチチームは、スターバーストと呼ばれる別のプロトタイプを作成した。Metaによると、なんと20,000ニトに達することができる最初のVRヘッドセットプロトタイプだとのことだ。

しかし、HDRの目的は目の錯覚を防ぐことではなく、現実の明るさに近い輝度を与えることだ。例えば、火事、爆発、花火、あるいは曇りのない日の窓の反射などが当てはまる。これらはすべて、現実の世界よりもはるかに明るいため、「ポップ」な印象を与える。このような明るさの「ポップ」をVRで再現できることは、ビジュアル・チューリング・テストをパスするために不可欠だとMetaは述べている。

ちなみに、Quest 2のディスプレイの最大輝度は100ニトで、ハイエンドのHDRテレビは約2,000ニトに達している。つまり、Starburstのプロトタイプは、最高級のHDRテレビよりも10倍明るい輝度範囲を実現できるのだ。

Sonyが発売予定の「PlayStation VR 2」は、初の市販HDR VRヘッドセットとなる見込みだが、「HDR」の定義が明確ではないため、2,000ニトはおろか1,000ニトも達成できるかどうかはわからない。

サイズをおさえる工夫

Meta社のVRヘッドセットのプロトタイプの多くは、こうした基本的なアイデアを実証するために重量やサイズを犠牲にしているが、Meta社はVRヘッドセットのフォームファクターを劇的に縮小することにも注力している。そのため、同社はホログラフィック折りたたみ光学系の概念実証の研究を、「Holocake 2」という実際に動作するVRヘッドセットに仕上げている。

Zuckerberg氏は、Holocake 2について「これまで製作したVRヘッドセットの中で、最も薄く、最も軽い」と述べている。この驚くほどコンパクトなプロトタイプは、現代のVRヘッドセットにおける2つの大きなサイズ制限、すなわち光路の長さとレンズの幅に取り組んでいる。

VRヘッドセットのレンズは、その役割を果たすために、ディスプレイから一定の距離を置く必要がある上に、近づけると、画像のフォーカスを正しく合わせることができなくなってしまう。しかし、「パンケーキ」光学系（「フォールド」光学系とも呼ばれる）を使用すると、偏光を使って光を前後に跳ね返した後、最終的に目に届くまでに経路を「折り返し」、レンズとディスプレイの間の距離を効果的に縮めることができるのだ。

この距離を縮めると、レンズの厚みが、ディスプレイを目に近づける距離をさらに制限していることがわかるだろう。そこで、Holocake 2のプロトタイプでは、従来のレンズよりも大幅に薄いホログラフィックレンズを採用している。

これは、従来のレンズのホログラムを埋め込んだ薄いホログラフィックフィルムだ。薄くても、厚みのあるレンズと同じように光を操ることができるという。

ホログラムレンズとパンケーキ光学系（ホロケーキ）の組み合わせが、プロトタイプ「Holocake 2」のコンパクトさを実現しているポイントだ。

「ホログラフィックレンズは、VRディスプレイシステムにとって特筆すべき前進となる、小型化に対する斬新なアプローチでした」とのこと。「ホログラフィック光学系を活用した本格的なヘッドセットの試みは今回が初めてですが、さらなる小型化も可能だと考えています」。

しかし、これはPCに接続するヘッドセットであり、Metaが目指しているスタンドアロン型の形状に到達するためには、バッテリーや高度な処理系が必要になる点がまだまだ課題だ。また、残念ながら、Holocake 2のホログラフィック光学系はレーザー光源を必要とし、実際の製品に実装するのに必要なサイズやコストには達していない、とMetaは述べている。

未来のVRヘッドセットコンセプト「Mirror Lake」

締めくくりとして、あらゆる意味で常識を覆すデバイス、「Mirror Lake」が披露された。だが、このデバイスの実機は、Reality Labsのどこにも、まだ存在していない。

Mirror Lakeは、上にあるすべてのヘッドセットのプロトタイプから主要な技術を組み合わせ、今日存在しないような薄く、軽く、強力なVRヘッドセットを実現したコンセプトモデルだ。ハイブリッドHolocakeレンズと明るく高解像度のディスプレイに加えて、Mirror LakeにはHalf-Domeのユニークな「可変焦点」電子レンズが組み込まれている。

驚くべきことに、Metaの最新の可変焦点レンズは、機械的に焦点を合わせる必要さえないのだという。すべて電子的に行うので、ヘッドホンのスペースはほとんど必要ないのだ。

これらのプロトタイプは、すぐに（あるいはこれからも）日の目を見ることはないかもしれないが、次世代VRがこれまで以上に画期的な技術を提供してくれることを大いに期待させるものばかりだ。メタバースの未来は、想像以上に明るいかも知れない。