競争が激化する中、Metaは、メタバースよりも人工知能（AI）の強化にリソースを割いており、その成果を次々に発表している。
先日の、「Segment Anything Model（SAM)」のリリースに続き、Metaはまたもや興味深く楽しいAIベースのプロジェクトを発表した。「Animated Drawings」と呼ばれるこのプロジェクトは、あなたの落書きをアニメーションに変えることができる。
このオープンソースプロジェクトは、最大18万枚の注釈付きの、アマチュアの個人が描いた絵のデータセットをベースにしている。同社は、このデータセットとアニメーションコードを、AI研究者やクリエイターが利用し、さらなるイノベーションを起こせるように公開している。また、Metaのブログでは、これが多種多様なアートワークで作られた「初めての注釈付きデータセット」であることを強調している。
「このデータセットとアニメーションコードにより、アマチュアの絵という領域が、その表現力とアクセスしやすい可能性で、新しい世代のクリエイターにインスピレーションを与えることができると信じています。また、自分の作品への応用の可能性を探ることに興味を持つ他の研究者の財産となることを願っています」と、Metaはブログ投稿で述べている。
描画がアップロードされると、スケッチをアニメーションに変換するための一連のサブタスクが実行される。人物の検出、セグメンテーション、ポーズ推定は、AIシステムによって実行されるサブタスクの一部だ。これらの機能は、スケッチにありがちな影、紙の折り目、光のまぶしさなどの不要な要素を識別してフィルタリングするのに役立つ。
これらのサブタスクにより、コンピュータビジョンが落書きや描画のデジタル版をキャプチャします。その後、デジタルグラフィックス技術を駆使して、描画画像をアニメーションに変換する。このシステムは、「子供の絵を含む現実のオブジェクトの写真で訓練された」ものである。
Fundamental AI Research（FAIR）チームは、2021年末に初めてAnimated Drawings Demoを導入した。このデモでは、プライバシーを確保するために、本人の許可を得て大規模なデータセットを作成するために、アマチュアの絵を投稿してもらうことにした。
「ブラウザベースのデモでは、人々が画像をアップロードし、いくつかのアノテーション予測を確認または修正し、その絵の中にいる人間らしいキャラクターの短いアニメーションを受け取ることができました」と、同社はブログで述べている。
このデモプラットフォームには、約670万枚の画像がアップロードされ、世界各地から320万人がこのシステムを利用している。
論文
参考文献
- Meta: A new, unique AI dataset for animating amateur drawings
- via Endgadget: Meta has open-sourced an AI project that turns your doodles into animations
研究の要旨
子どもの絵には、素晴らしい創意工夫と創造性、そして多様性があります。私たちは、子どもたちが描いた人物画を自動的にアニメーション化するシステムを紹介し、人物画特有のばらつきに強く、誰でも簡単に使えるようにした。このシステムは、世界中の何百万人もの人々に利用されている、自由に利用できる公開ウェブサイト「Animated Drawings Demo」を構築し、公開することで、このアプローチの価値と幅広い魅力を証明する。また、微調整に必要な学習データの量を調べる一連の実験や、新しいねじれ遠近法リターゲッティング技術の魅力を実証する知覚的研究を紹介する。このデータセットには、178,000枚以上のアマチュアの絵と、それに対応するキャラクターのバウンディングボックス、セグメンテーションマスク、ジョイントロケーションの注釈が含まれている。
