Google DeepMind、探索アルゴリズムを用いずグランドマスターレベルのチェスAIを開発

masapoco
投稿日
2024年2月10日 6:26
3d23053a964725edf737b803f0c299cc

Google DeepMindの研究者らは、Stockfish 16やIBMのDeep Blue、DeepMindのAlphaZeroといった強力なチェス・プログラムの特徴である複雑な探索アルゴリズムやヒューリスティックに頼ることなく、グランドマスターレベルでチェスをプレイするAIモデルを開発した。この最新のチェスAIは、言語モデル・アーキテクチャを使用し、高いレベルで対局し、Transformerモデルが単なる“確率論的なオウム”以上のものになり得ることを示している。

Google DeepMindのチームは、チェスの対局を使用して2億7000万パラメータの変換モデルを訓練した。従来のチェスコンピューターは、洗練されたアルゴリズムと探索戦略を用いて最善の手を見つけるが、DeepMindのモデルはアクション値の予測のみに基づいている。

Stockfish 16から学習するGoogle DeepMindのTransformerモデル

まず、研究チームは1,000万局のチェスを収集し、オープンソースのチェスエンジンである「Stockfish 16」に従って各盤面に勝率を示す状態値を割り当てた。次に、各棋戦のすべての合法的な手を計算し、アクション値を割り当てることで得点化し、150億のデータ点からなる大規模なデータセットを作成した。Transformerネットワークは、教師あり学習を使用してこのデータセットで学習することで、これらのゲーム値を予測することを学んだ。ネットワークは、予測値がStockfishが提供する値にできるだけ近くなるように最適化された。要するに、チームはStockfishの能力をTransformerモデルのチェスポリシーに集約したのだ。

テストでは、このモデルは、人間プレイヤーとの迅速なチェスゲームでEloレーティング2895を達成し、グランドマスターレベルとなり、いくつかの困難なチェス問題を解くことができた。これは、Transformerネットワークが、MCTS(モンテカルロ木探索)戦略なしで使用された場合にも、AlphaZeroを上回ることを意味する。

しかし、このモデルには限界もある。ゲームの経過を保存できず、ゲームの履歴に基づいて計画を立てることもできない。また、人間よりもチェス・コンピュータの方が成績が悪く、特に、人間は普通なら諦めてしまうような状況でも、チェス・コンピュータはチャンスがほとんどないにもかかわらず、最後まで対局を続ける。しかし、チームはこれらの問題は解決できると考えている。

Transformerアーキテクチャーの新たな可能性

この研究はチェスに関連するだけでなく、他の領域におけるTransformerアーキテクチャーの可能性についての洞察も提供している。研究チームは、大規模言語モデルの物語を「確率的オウム返し」と明確に呼んでいる:「我々の研究は、複雑で洗練されたアルゴリズムをフィードフォワード型Transformerに集約できることを示す文献が急速に増えていることに加え、大規模なTransformerを “単なる”統計的パターン認識器とみなすことから、一般的なアルゴリズム近似のための強力な手法とみなすことへのパラダイムシフトを示唆している」。

OthelloGPTのような他のプロジェクトは、Transformerが単なる統計的パターン認識器以上のものになり得ることをすでに示している。


論文

参考文献

研究の要旨

機械学習における最近の画期的な成功は、主にスケールに起因している。すなわち、大規模な注意ベースのアーキテクチャと、前例のないスケールのデータセットである。本稿では、チェスにおける大規模学習の影響を調査する。複雑なヒューリスティック、明示的な探索、あるいはその両方の組み合わせに依存する従来のチェスエンジンとは異なり、我々は1,000万局のチェスのデータセットを用いて、教師あり学習により2億7,000万パラメータの変換モデルを学習する。データセットの各盤に、強力なStockfish 16エンジンによって提供されるアクション値を注釈し、およそ150億のデータポイントを導いた。我々の最大のモデルは、人間に対して2895のLichess Blitz Eloを達成し、ドメイン固有の微調整や明示的な探索アルゴリズムなしで、一連の困難なチェスパズルを解くことに成功した。また、我々のモデルがAlphaZeroのポリシーとバリューネットワーク(MCTSなし)とGPT-3.5-turbo-instructを凌駕することも示す。モデルとデータセットのサイズを系統的に調査した結果、チェスの強力な性能は十分なスケールにおいてのみ生じることが示された。我々の結果を検証するために、設計の選択とハイパーパラメータに関する広範な一連の検証を行った。



この記事が面白かったら是非シェアをお願いします!


  • nvidia grace hopper superchip
    次の記事

    NVIDIA、クラウド企業向けカスタムAIチップ開発部門を設立

    2024年2月10日 6:57
  • 前の記事

    米政府がAI安全コンソーシアムを立ち上げ、Google、OpenAI、Microsoft、Appleら200社以上が参加

    2024年2月9日 16:01
    artificial intelligence
この記事を書いた人
masapoco

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です


おすすめ記事

  • openai

    OpenAI、15秒の音声サンプルから感情豊かで自然な音声を合成できる「Voice Engine」を発表

  • a04c35e8e555c1cc7ae1d6a5f3159856

    MicrosoftとOpenAI、1000億ドル以上をかけて超人的AI開発のためのスーパーコンピューター「Stargate」を開発する計画

  • Sam Altman TechCrunch SF 2019 Day 2 Oct 3 cropped cropped

    ベンチャーキャピタリスト、OpenAIのSam Altman氏を“誇大妄想的”と非難

  • google logo image

    Googleが非営利団体を対象に2000万ドルの資金を提供し生成AI活用を支援

  • Pixel 8 in Rose.max 936x936.format webp

    Google、方針を転換しPixel 8にもGemini NanoによるオンデバイスAI機能を搭載へ

今読まれている記事