人間の2倍の速さでマイクラのダイヤモンドツルハシを作れるAIが話題に

「OpenAI」は、Teslaなどで有名なElon Musk氏が設立した人工知能研究機関だが、同機関の訓練されたAIは、「Minecraft」を人間とほぼ同じようにプレイ出来る様になったようだ。

新たな方法でAIが膨大な動画データの意味を理解できるように

OpenAIがGPTで成し遂げた機械学習の成果は、目を見張る物だが、今回の研究では同じような方法で基礎モデルを構築することが出来なかった。

通常、機械学習では、膨大なデータを用いてコンピューターがデータから反復的に学習し、そこに潜むパターンを見つけ出し、基礎モデルを構築していく。今回のMinecraftにおいても、世界中で公開されている膨大な動画データを学習に用いているが、これらの動画は「何が起こったか」を記録しているだけで、「どのように達成したか」、つまり、マウスの動きやキーの押した順番などの「アクションラベル」が欠如しており、それが言語領域での研究とは違い、新たな課題となった

そこで研究者達が新たに取り入れた方法が、「Video PreTraining(VPT)」と呼ばれる手法だ。

まず実際にMinecraftをプレイしている人のサンプルデータセットを2,000時間分収集し、AIに学習させる。このサンプルデータセットには、プレイ映像だけでなく、正確なキー入力やマウスの動きも含めたデータが含まれている

つまり前段階として、動画の各ステップで実行されるマウスの動きとキーの押し順を予測するモデル「Inverse Dynamics Model:逆動力学モデル」(IDM)を学習しておくわけだ。ここで重要なことは、IDMは過去と未来の情報を使って、各ステップでの行動を推測することができるということだ。これは、過去の映像フレームのみから行動を予測する行動クローンよりもはるかに簡単で、必要なデータ量もはるかに少なくて済みむ。次に、学習したIDMで膨大なYouTubeの動画データ(サバイバルモードのみ約7万時間)を学習して複雑な行動を習得するのだ。

ai trainingmodel 1656360089192
VATによる一連のトレーニングの流れ(出典:OpenAI)

その後、このモデルは、木を切り倒して丸太を集めたり、丸太を実際の工作台にしたりといった行動を動画からコピーすることができたとのこと。

crafting table sequence
作業台を作るまでの工程(出典:OpenAI)

このAIモデルが可能になったことは、それだけに留まらない。泳いだり、狩りをしたり、食事をしたりと、複雑な動作も可能となった。さらに、ジャンプを繰り返しながらブロックを下に置くことで空中に浮く「空中浮遊」も可能になっている。

研究者たちは、AIに与えられたデータをもとに「基礎モデル」を作り、そこから行動を微調整したり、新たな行動を学習させたりすることができたという。このAIは、木や石の道具を作ったり、宝箱を荒らしたり、さらにはシェルターを作ったりと、ゲーム序盤のスキルを実行できることが指摘されている。

基礎モデルに投入されるデータが多ければ多いほど、AIはより能力を発揮することができた。研究者たちは「強化学習」を使って、特に難しい課題を実行した場合にAIに「ご褒美」を与えることもした。この報酬システムは非常に効果的なもので、モデルは最終的にダイヤモンドのツルハシを作ることに成功した。ダイヤモンドのツルハシを作るには、長くて複雑な一連のタスクが必要となる。下に示した通り、原木集めから始まり、作業台、木のツルハシ、石、石のツルハシ、かまど、鉄鉱石、鉄、鉄のツルハシ、ダイヤモンドと段階を踏んでダイヤモンドのツルハシが作れるようになる。

diamond pickaxe sequence
ダイヤモンドツルハシを作るまでの工程(出典:OpenAI)

結果AIは、10分でダイヤモンドのツルハシを作成する事に成功している。通常このタスクを人間が行うと、平均20分以上(2万4000アクション)かかるとのことで、なんと2倍以上の速度でこなすことが可能になったとのことだ。

crafting diamond pickel

これは機械学習の魅力的な応用であり、ゲームがコンピューターのトレーニングにいかに利用できるかを示している。もしかしたら、このAIモデルはゲームそのものに組み込まれ、人間の対戦相手とプレイするのと同じような、より自然なチャレンジができるようになるかも知れない。

TEXALでは、テクノロジー、サイエンス、ゲーム、エンターテインメントなどからその日の話題のニュースや、噂、リーク情報、レビューなど、毎日配信しています。最新のニュースはホームページで確認出来ます。GoogleニュースTwitterFacebookでTEXALをフォローして、最新情報を入手する事も出来ます。記事の感想や、お問い合わせなども随時受け付けています。よろしくお願いいたします。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

この記事を書いた人

TEXAL管理人。学校の授業でMS-DOSを使っていたくらいの年代。Windows95の登場で衝撃を受け、テクノロジー業界に興味を持つ。以来ガジェット・ゲーム情報を追い続けてうん十年。大学では物理を専攻していたこともあり、物理・宇宙関係の話題も大好き。

コメント

コメントする