動画生成AIを開発しているスタートアップのHaiperは本日、Octopus Venturesが主導するシード資金として1380万ドルを調達したと発表した。
2021年後半に設立されたHaiper社は、DeepMindの元研究員である2人の最高経営責任者（CEO）Yishu Miao博士と最高技術責任者（CTO）Ziyu Wang,博士が率いており、2人ともオックスフォード大学で機械学習の博士号を取得している。
Haiperは、ユーザーが書いたテキストプロンプトを短いアニメーション動画に変換できるAI基盤モデルの構築に取り組んできた。また、ユーザーが書いたプロンプトと一緒に静止画像をアップロードして、それを元にクリエイティブなアニメーションを生成させることもできる。
ビジュアル生成AIにおける同様の開発には、OpenAIのSoraがあり、驚異的なビジュアルクオリティを維持しながら、最長1分の動画を生成することができる。過去に同様のモデルを発表した他の企業には、Meta、Google、Runway AIなどがある。これらのモデルで常に問題となっているのは、品質とテキストプロンプトを遵守する能力である。
Haiperのチームによると、動画生成AIは、AIモデルが品質と精度を拡大する必要がある変曲点に到達している。そのためには、単に膨大な数の動画や画像を与えるだけでなく、光、動き、質感、物体間の相互作用など、物理学的な文脈やその中の情報の相互作用を理解する必要がある。例えば、雨粒が表面に当たったときにどのように飛び散るのか、風が人の顔を横切ったときに髪の毛がどのように動くのか、モデルは理解する必要がある。
同社は、AI研究の究極の目標である汎用人工知能（AGI）の形態まで拡張できるモデルを構築することを目指している。
Haiperの動画生成AIは現在ベータテスト中で、同社のWebサイトから無料で入手できるHaiperのアプリを使えば、ユーザーはいくつかの異なるツールを使って同社のAIモデルにアクセスし、動画を生成することができる。同社が現在提供しているツールには、ユーザーが見たいものについて自分で想像力豊かな説明を書き、それを動画にしたり、画像をアップロードして説明文とともにモデルにアニメーションを依頼したりできる「テキスト・トゥ・ビデオ」などがある。
さらに、ビデオのリペイントでは、短いビデオを、テキストの説明を使って、さまざまな色、テクスチャ、要素で変更することができる。例えば、スープの入ったボウルをカラフルな魚でいっぱいにしたり、洋服が干してあるアニメーションを、物干し竿にぶら下がっている光り輝くエイリアンに変更したりすることができる。
Sources