MENU
  • TECHテクノロジー
  • SCIENCEサイエンス
  • ENTERTAINMENTエンターテインメント
  • REVIEWSレビュー
あなたの好奇心を刺激する、テクノロジー・科学の最新ニュースサイト | TEXAL
TEXAL
  • TECHテクノロジー
  • SCIENCEサイエンス
  • ENTERTAINMENTエンターテインメント
  • REVIEWSレビュー
  • テクノロジー
  • サイエンス
  • モバイル
  • エンタメ
  • ゲーム
TEXAL
  • TECHテクノロジー
  • SCIENCEサイエンス
  • ENTERTAINMENTエンターテインメント
  • REVIEWSレビュー
  1. ホーム
  2. テクノロジー
  3. OpenAIが3Dオブジェクトを高速生成するAI「Point-E」をリリース

OpenAIが3Dオブジェクトを高速生成するAI「Point-E」をリリース

2022 12/21
テクノロジー
2022年12月21日
(Credit: OpenAI)

スポンサーリンク

最近話題のチャットボットAI「ChatGPT」や、人気のテキスト画像生成システム「DALL-E」を開発したOpenAIは、テキストから3Dオブジェクトを生成するAI「Point-E」をリリースした。

これまでにもテキストから3Dオブジェクトを生成するAIモデルとしては、GoogleのDreamFusionがあったが、同システムでは画像を生成するのに何時間も、そして多くのGPUが必要だった。それに比較して、OpenAIのPoint-EはGPU1つを用いて1〜2分で3Dオブジェクトを生成してくれるという。

Source
論文
  • arXiv.org: Point·E: A System for Generating 3D Point Clouds from Complex Prompts (PDF)
参考文献
  • GitHub: openai/point-e
  • TechCrunch: OpenAI releases Point-E, an AI that generates 3D models

3Dモデリングは、様々な産業や用途で利用されている。現代の映画大作のCGI効果、ビデオゲーム、VRやAR、NASAの月のクレーターマッピング・ミッション、Googleの遺産保存プロジェクト、MetaのMetaverseのビジョンは、すべて3Dモデリング機能にかかっている。しかし、NVIDIAがオブジェクト生成の自動化に取り組み、Epic GameのRealityCaptureモバイルアプリでは、iOS携帯があれば誰でも現実世界のオブジェクトを3D画像としてスキャンできるが、フォトリアルな3D画像の作成は依然としてリソースと時間のかかるプロセスだ。

point e gif
(Credit: OpenAI)

Point-Eは、従来の意味での3Dオブジェクトを作成するものではない。Point-Eは、点群、つまり3D形状を表現する空間上のデータ点の離散的な集合を生成する。(Point-Eの「E」は「Efficiency(効率)」の略で、従来の3Dオブジェクト生成手法よりも高速であることを表している)。点群データは計算機的に合成しやすいのだが、物体の細かい形状やテクスチャーを捉えることができないのが、現在のPoint-Eの大きな欠点だ。

この制限を回避するため、Point-Eでは、点群からメッシュに変換するためのAIシステムを追加で導入した。(メッシュとは、オブジェクトを定義する頂点、辺、面の集まりで、3Dモデリングやデザインによく使われるものだ)。しかし、このモデルでは、物体の特定の部分を見逃すことがあり、その結果、ブロック状や歪んだ形状になることがあると論文で指摘している。

point e 2
Point-Eの点群からメッシュへの変換 (Credit: OpenAI)

例えば、「洋梨のような椅子」と入力すると、Point-Eはまず洋梨のような椅子の合成ビュー3Dレンダリングを生成する。次に、生成された画像を一連の拡散モデルに通して、最初の画像の3D、RGB点群(最初は粗い1,024点の点群モデル、次に細かい4,096点の点群モデル)を作成する。「実際には、画像にテキストの関連情報が含まれていると仮定し、テキストに対して点群の条件を明示的に与えることはしない」と研究チームは指摘する。

「(テキストと画像の)ペアの大規模なコーパスを活用することで、多様で複雑なプロンプトに従うことができる一方、我々の画像-3Dモデルは、(画像と3Dの)ペアの小さなデータセットで訓練されています。テキストプロンプトから3Dオブジェクトを生成するには、まず、テキスト-画像モデルを使用して画像をサンプリングし、次に、サンプリングされた画像を条件として3Dオブジェクトをサンプリングします。これらのステップは両方とも数秒で実行でき、高価な最適化処理を必要としません。」と、Alex Nichol率いるOpenAI研究チームは、先週発表した論文の中で述べている。

これらの拡散モデルは、それぞれ「数百万」の3Dモデルで学習され、すべて標準的なフォーマットに変換された。「我々の方法は、この評価において、最新の技術よりも悪い結果となりましたが、ほんのわずかな時間でサンプルを作成することができました。」と、研究チームは認めている。

Screenshot 16
Point-Eの失敗例 (Credit: OpenAI)

OpenAIはプロジェクトのオープンソースコードをGitHubに掲載しているので、興味があるのならば試すことも可能だ。

研究の要旨

テキスト条件付き3Dオブジェクト生成に関する最近の研究は有望な結果を示しているが、最先端の手法は通常、1つのサンプルを生成するのに数GPU時間を必要とする。これは、数秒から数分でサンプルを生成する最先端の生成画像モデルとは全く対照的である。本論文では、3Dオブジェクト生成のための代替手法を検討し、1つのGPUでわずか1-2分 分程度で生成することができる。本手法は、まずテキストから画像への拡散モデルを用いて1つの合成ビューを生成し、次に生成された画像を条件とする第2の拡散モデルを用いて3D点群を生成する。本手法は、サンプルの品質という点ではまだ最先端には及ばないが、サンプリングの速度は1〜2桁速く、いくつかのユースケースで実用的なトレードオフを提供する。私たちは 学習済みの点群拡散モデル、および評価コードとモデルを https://github.com/openai/point-e で公開する。

TEXALでは、テクノロジー、サイエンス、ゲーム、エンターテインメントなどからその日の話題のニュースや、噂、リーク情報、レビューなど、毎日配信しています。最新のニュースはホームページで確認出来ます。Googleニュース、Twitter、FacebookでTEXALをフォローして、最新情報を入手する事も出来ます。記事の感想や、お問い合わせなども随時受け付けています。よろしくお願いいたします。

スポンサーリンク

テクノロジー
AI AR OpenAI Point-E VR
よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

コメント

コメントする コメントをキャンセル

CAPTCHA


スポンサーリンク
今読まれている記事
人気のタグ
AI Amazon AMD Android Apple CPU DJI Google GPU Intel iOS iPadOS iPhone iPhone 14 Pro Mac Meta Microsoft NASA Nintendo Switch NVIDIA PCゲーム PS5 Qualcomm Samsung SNS Sony The Conversation TSMC Twitter VR Windows XR アップデート ガジェット ゲーム サブスクリプション スマートフォン ドローン ベータテスト 乗り物 半導体 噂 天文学 宇宙 自動車
PVアクセスランキング にほんブログ村
スポンサーリンク
  • テクノロジー
  • サイエンス
  • モバイル
  • エンタメ
  • ゲーム