部屋にある家具を仮想的に片付けてまっさらな部屋にするiPhoneの新しい機能が披露される

masapoco
投稿日 2022年7月16日 11:47
49448 96649 000 lead Shopify xl

iOS 16で導入された新機能「Apple RoomPlan API」は、最近のiPhone Proモデルに搭載されているLiDARスキャナーを使って、3Dのルームプランを作成してくれる。今後これを用いたサービスが登場することを想像させてくれる様子は、以前以下の記事でご紹介した。

今回、カナダの企業Shopifyは、部屋をスキャンした後に部屋の家具を仮想的に消去してまっさらな部屋を写し出し、新しい家具がその空間にどう映えるかを見ることができるコンセプトの実証実験を行っている。

すでに拡張現実で家具を配置するアプリについては、Ikeaニトリがすでに実現しており、馴染みがあるかも知れない。ただし、実際に利用してみればお分かりだが、そのできはまだまだで、精度はあまり良いとは言えないだろう。

Appleがこの度新たに披露した「RoomPlan API」は、それらAR家具配置アプリがより洗練された物になる可能性を秘めている。

ShopifyのRuss Maschmeyer氏は、このRoomPlan APIには多くの関心が集まっていると述べている。彼は、この機能を部屋のリセットボタンと呼び、何ができるかを説明している。

ARを使えば新しいソファを試すのは簡単ですが、すでにあなたのスペースにあるソファが邪魔になることもあります。もし、すべての部屋にリセットボタンがあったらどうでしょう?空間消しゴムは、部屋を構成するオブジェクト、サイズ、位置、向きを忠実に再現します。

ライブピクセルデータとLiDARの深度データを組み合わせることで、あなたの部屋のリアルな複製データを作ることができ、ARを使って実際の空間に重ね合わせ、デジタル編集をすることができます。

買い物客は、何もない部屋で、既存の家具の向きを利用して自動的に配置されたルームセットをスワイプして見ることができます

部屋と家具の複製データがあれば、元のソファをスワイプするだけで、部屋の他の部分によりマッチするオプションを検討することができます。

実際にどのように動作するのかは以下の動画が分かりやすいだろう。

そして、ここでは、部屋から個々のアイテムを取り除いている。

Maschmeyer氏は、その制作の経緯と、直面した課題を語っている。

RoomPlan は、ドア、窓、壁、および部屋を定義するオブジェクトごとに 1 つの単位キューブで構成されるテクスチャなしの USDZ モデルを出力しますが、なんと!このモデルには、床や天井の要素は含まれていない。AR World Mapを使って、モデルを実世界に合わせます。

RoomPlanはテクスチャのないモデルをエクスポートするので、自動的にテクスチャを貼る方法を検討しました。一番良いのは、キャプチャ時にテクスチャをローカライズしてマッピングすることですが、アライメントされたモデルとリアルタイムのカメラフィードでやりくりしています。

グラフィックス・パイプラインを逆にして、テクスチャからサンプリングして画面に書き込むのではなく、カメラからサンプリングしてテクスチャに書き込むようにしました。RealityKitはこれを難しくしていたので、代わりにSceneKitを使いました。

この方法では、家具が表面を覆っている場合に問題が発生します。上の動画では、ソファが壁を覆っています。RoomPlanは、部屋を定義するオブジェクトのバウンディングボックスの参照を提供します。これを使って、テクスチャのどの部分を再編集するかを決定できます。

あとは、インペイントテクニックを使って、編集されたテクスチャを埋めることができます。Photoshopやtheinpaint.comのような市販のツールで得られる結果には、とても驚かされました。

ARと#RoomPlanは、商取引にとってエキサイティングなツールです。シーンから実際のオブジェクトを選択・削除できることで、完全に編集可能な現実に一歩近づいたと言えるでしょう。

なお、Shopifyのデモは完成されたアプリではなく、同社は出荷時期を発表していない。

だが、この未来的な洗練されたAR技術を見ることで、AR家具アプリの進化ももちろんだが、今後Appleが発売するとされるAR/VRヘッドセットへの期待も高まらずにいられないだろう。



この記事が面白かったら是非シェアをお願いします!


  • windows ready
    次の記事

    Windows 12は大規模な変更を加えられ2024年にリリースか

    2022年7月16日 13:36
  • 前の記事

    早稲田大学の研究グループが宇宙初期の回転銀河を発見

    2022年7月16日 11:11
    potw2122a 1600x1200 1

スポンサーリンク


この記事を書いた人
masapoco

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

おすすめ記事

  • Apple M3 chip series architecture 231030

    AppleのM3 MaxチップからのUltraFusionインターコネクト削除は新たな巨大チップ登場の前兆か?

  • magsafe charger

    iOS 17.4のアップデートによりiPhone 12がQi2での高速ワイヤレス充電に対応へ

  • apple iphone 5g

    Apple、未発表のアプリやVision Proに関する情報をリークした疑いで元従業員を提訴

  • Apple iPad Pro Magic Keyboard M2 hero 2up 221018

    新型iPad ProとiPad Airは5月初旬の発売になる可能性が報じられる

  • TSMC FAB18

    TSMCの3nmノードが急成長、2024年は収益の20%以上を占める可能性

今読まれている記事