OpenAIはGPT-2にGPT-4を監視させる方法から将来の超人的なAIの制御方法を探求している

masapoco
投稿日 2023年12月16日 8:55
26cf816a 212b 4ff7 be69 5acd9765dae5

OpenAIは、人間を超える知能を手に入れた人工知能(AI)の暴走をあらかじめ制御する方法を見出すために結成した「Superalignmentチーム」の最初の成果を発表した。

「我々は、超知能-人間よりも圧倒的に賢いAI-が今後10年以内に開発される可能性があると考えている」と、OpenAIの投稿は始まっている。このようなシステムを制御・管理することは大きな課題である。

OpenAIのSuperalignmentチームはその目標のために、社内全体で利用可能なコンピューティングリソースの20%を研究に充てる事が出来るとされている。

このチームの目標のひとつは、人間がRLHF(人間のフィードバックからの強化学習)を通じて弱いモデルを監督するのと同じように、人間やAIシステムが優れたシステムを監督できるかどうか、またどのように監督できるかを調査することである。

人工超知能の文脈では、研究チームは人間を「弱い監督者」と見なしている。課題は、弱い監督者が、強いモデルの能力を制限することなく、いかにしてはるかに強いAIモデルをコントロールし、信頼できるかということだ。

この課題を探求するために、OpenAIは、より小さく、より強力でないAIモデルを使って、より大きく、より強力なAIモデルを監督するというアナロジーを提案している。ここでは、強力なGPT-4モデルを、小さく劣る微調整されていないGPT-2モデルで監督する方法がとられた。

GPT-2がGPT-4を監視

彼らは3つの異なる方法を使用し、そのうちの2つはGPT-2の出力をガイドとして、あるいは微調整のために使用した。しかし、これではGPT-3に匹敵するモデルの性能は得られなかった。微調整の際に補助的な信頼損失を追加することで、強いモデルがより確信に満ちた性能を発揮し、必要であればGPT-2と矛盾することを促す単純な方法を用いると、結果として得られたモデルの性能は概ねGPT-3とGPT-3.5の間になった。これは、GPT-4の微調整とRLHFバージョンのレベルではないが、より弱いモデルが、より高度なモデルの固有の能力を監督し、研究チームが「弱いものから強いものへの汎化」と呼ぶものを達成する方法があることを示した。

同社は、この方法を限界のある概念実証と考えている。この結果は、RLHFのような方法は、さらなる開発なしに超人モデルにスケールアップすることは難しいが、そのような開発は可能であることを示している。

OpenAIがアライメントのための資金提供プログラムを開始

「我々の設定は、将来の超人モデルのアライメントに関するいくつかの重要な困難を捉えており、今日からこの問題に対する実証的な進展を開始することができると考えています」と同社は述べている。

同社はコードを公開し、超人的なAIアライメントに取り組む大学院生や学者、その他の研究者を対象にGoogleの元CEOであるEric Schmidt氏と協力し、1,000万ドルの助成金プログラムを開始する。

これらの助成金では、特に以下のような研究方向への助成を希望している:

  • 弱から強への一般化:人間は超人的なモデルに対して弱い監督となる。弱い監督から強いモデルがどのように汎化するかを理解し、コントロールすることは可能か?
  • 解釈可能性:モデルの内部をどのように理解できるか?また、例えばAIの嘘発見器を作るためにそれを利用できるか?
  • スケーラブルな監視:複雑なタスクに関する他のAIシステムの出力を評価する人間を支援するために、AIシステムをどのように利用できるか?
  • その他、正直さ、思考の連鎖の忠実さ、敵対的な堅牢性、検証とテストベッドなど、多くの研究方向があるが、これらに限定されるものではない。

Sources



この記事が面白かったら是非シェアをお願いします!


  • final keyword header.width 1600.format webp
    次の記事

    Googleの新たなAIモデル「Gemini」はChatGPTより優れているのか?

    2023年12月16日 16:24
  • 前の記事

    Android版FirefoxがYouTube広告スキップなど450以上の拡張機能をサポート

    2023年12月16日 7:34
    FX Distilled WorldofExtensions blogheader 1920x1080 blue

スポンサーリンク


この記事を書いた人
masapoco

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です


おすすめ記事

  • openai

    OpenAI、15秒の音声サンプルから感情豊かで自然な音声を合成できる「Voice Engine」を発表

  • a04c35e8e555c1cc7ae1d6a5f3159856

    MicrosoftとOpenAI、1000億ドル以上をかけて超人的AI開発のためのスーパーコンピューター「Stargate」を開発する計画

  • Sam Altman TechCrunch SF 2019 Day 2 Oct 3 cropped cropped

    ベンチャーキャピタリスト、OpenAIのSam Altman氏を“誇大妄想的”と非難

  • google logo image

    Googleが非営利団体を対象に2000万ドルの資金を提供し生成AI活用を支援

  • Pixel 8 in Rose.max 936x936.format webp

    Google、方針を転換しPixel 8にもGemini NanoによるオンデバイスAI機能を搭載へ

今読まれている記事