iOS 16で導入された新機能「Apple RoomPlan API」は、最近のiPhone Proモデルに搭載されているLiDARスキャナーを使って、3Dのルームプランを作成してくれる。今後これを用いたサービスが登場することを想像させてくれる様子は、以前以下の記事でご紹介した。

今回、カナダの企業Shopifyは、部屋をスキャンした後に部屋の家具を仮想的に消去してまっさらな部屋を写し出し、新しい家具がその空間にどう映えるかを見ることができるコンセプトの実証実験を行っている。

すでに拡張現実で家具を配置するアプリについては、Ikeaやニトリがすでに実現しており、馴染みがあるかも知れない。ただし、実際に利用してみればお分かりだが、そのできはまだまだで、精度はあまり良いとは言えないだろう。

Appleがこの度新たに披露した「RoomPlan API」は、それらAR家具配置アプリがより洗練された物になる可能性を秘めている。

ShopifyのRuss Maschmeyer氏は、このRoomPlan APIには多くの関心が集まっていると述べている。彼は、この機能を部屋のリセットボタンと呼び、何ができるかを説明している。

ARを使えば新しいソファを試すのは簡単ですが、すでにあなたのスペースにあるソファが邪魔になることもあります。もし、すべての部屋にリセットボタンがあったらどうでしょう？空間消しゴムは、部屋を構成するオブジェクト、サイズ、位置、向きを忠実に再現します。

ライブピクセルデータとLiDARの深度データを組み合わせることで、あなたの部屋のリアルな複製データを作ることができ、ARを使って実際の空間に重ね合わせ、デジタル編集をすることができます。

買い物客は、何もない部屋で、既存の家具の向きを利用して自動的に配置されたルームセットをスワイプして見ることができます。

部屋と家具の複製データがあれば、元のソファをスワイプするだけで、部屋の他の部分によりマッチするオプションを検討することができます。

実際にどのように動作するのかは以下の動画が分かりやすいだろう。

そして、ここでは、部屋から個々のアイテムを取り除いている。

Maschmeyer氏は、その制作の経緯と、直面した課題を語っている。

RoomPlan は、ドア、窓、壁、および部屋を定義するオブジェクトごとに 1 つの単位キューブで構成されるテクスチャなしの USDZ モデルを出力しますが、なんと!このモデルには、床や天井の要素は含まれていない。AR World Mapを使って、モデルを実世界に合わせます。

RoomPlanはテクスチャのないモデルをエクスポートするので、自動的にテクスチャを貼る方法を検討しました。一番良いのは、キャプチャ時にテクスチャをローカライズしてマッピングすることですが、アライメントされたモデルとリアルタイムのカメラフィードでやりくりしています。

グラフィックス・パイプラインを逆にして、テクスチャからサンプリングして画面に書き込むのではなく、カメラからサンプリングしてテクスチャに書き込むようにしました。RealityKitはこれを難しくしていたので、代わりにSceneKitを使いました。

この方法では、家具が表面を覆っている場合に問題が発生します。上の動画では、ソファが壁を覆っています。RoomPlanは、部屋を定義するオブジェクトのバウンディングボックスの参照を提供します。これを使って、テクスチャのどの部分を再編集するかを決定できます。

あとは、インペイントテクニックを使って、編集されたテクスチャを埋めることができます。Photoshopやtheinpaint.comのような市販のツールで得られる結果には、とても驚かされました。

ARと#RoomPlanは、商取引にとってエキサイティングなツールです。シーンから実際のオブジェクトを選択・削除できることで、完全に編集可能な現実に一歩近づいたと言えるでしょう。

なお、Shopifyのデモは完成されたアプリではなく、同社は出荷時期を発表していない。

だが、この未来的な洗練されたAR技術を見ることで、AR家具アプリの進化ももちろんだが、今後Appleが発売するとされるAR/VRヘッドセットへの期待も高まらずにいられないだろう。