OpenAI、AIの“幻覚”を低減し、AGIに近付くための新たな手法を開発

masapoco
投稿日
2023年6月1日 12:25
openai

OpenAIは、AIが何かをでっち上げる“幻覚”と呼ばれる一般的な問題を排除するために行ったいくつかの進歩の概要を示す新しい論文を発表した。この論文では、幻覚を取り除くための結果監視(outcome supervision)とプロセス監視(process supervision)と呼ばれる2つのモデルの概要と、その性能について説明している。

結果監視では、OpenAIは報酬モデルを訓練し、AIが与える最終結果についてフィードバックを提供する。プロセス監視では、報酬モデルがすべてのステップでフィードバックを提供し、人間のような思考の連鎖を作り出す。

OpenAIは論文の中で、数学のデータセットで両モデルをテストし、プロセス監視方式が「著しく優れたパフォーマンス」につながることを明らかにした。プロセス監視方式は今のところ数学の分野でしかテストされておらず、より一般的にどのようなパフォーマンスを発揮するかはもっと研究が必要であることに留意する必要がある。

プロセス監視方式で考えられる成果について、OpenAIは次のように説明する:

“この結果が一般化すれば、プロセス監視は、結果監視よりもパフォーマンスが高く、かつ整合性のある方法という、両方の長所を与えてくれることがわかるかもしれません。”

この段階的な検証が、より一般的な幻覚への対処にどれほど役立つかを語るのはまだ早いが、ちょうど、ChatGPTを仕事に使っていた弁護士が、AIがでっち上げた偽の判例を提出し問題になったこともあり、幻覚はおそらく今、LLMの1番の問題なので、解決に繋がることが期待される。

OpenAIは、公開されているChatGPTにプロセス監視を実装するためにどれくらいの時間がかかるか、スケジュールを示していない。まだ研究段階であり、一般的な情報でのテストが必要だ。

初期の結果は良好だが、OpenAIは、より安全な方法はアライメントタックスと呼ばれる性能低下が発生する可能性があることに言及している。今のところ、数学の問題でプロセス監視がこのタックスを発生させないという結果が出ているが、より一般的な情報でどうなるかは分からない。

また、OpenAIは、関連研究を支援するために、80万個のステップレベルの人間のフィードバックラベルからなる完全なデータセットであるPRM800KをGitHubにて公開している


論文

参考文献

研究の要旨

近年、大規模な言語モデルは、複雑な多段階推論を行う能力が大きく向上している。しかし、最新のモデルであっても、定期的に論理的な誤りを起こすことがある。より信頼性の高いモデルを開発するためには、最終的な結果に対するフィードバックを提供する結果監視と、推論途中の各ステップに対するフィードバックを提供するプロセス監視のいずれかに頼る必要がある。信頼性の高いモデルを訓練することの重要性と、人間によるフィードバックのコストの高さを考えると、両者の方法を注意深く比較することが重要である。最近の研究により、この比較はすでに始まっているが、まだ多くの疑問が残っている。我々は独自の調査を行い、難易度の高いMATHデータセットの問題を解決するモデルの訓練において、プロセス監視が結果監視を大幅に上回ることを発見した。を解くモデルの学習において、プロセス監視が結果監視を大きく上回ることを発見した。我々のプロセス監視モデルは、MATHデータセットの代表的なサブセットの問題の78%を解決することができた。さらに 能動学習がプロセス監視の有効性を著しく向上させることを示す。また、関連研究を支援するために、80万個のステップレベルの人間のフィードバックラベルからなる完全なデータセットであるPRM800Kを公開する。



この記事が面白かったら是非シェアをお願いします!


  • atom
    次の記事

    X線によって原子1つを撮影することに世界初成功

    2023年6月1日 14:28
  • 前の記事

    Apple、App Storeの「エコシステム」が2022年に1兆ドルを突破

    2023年6月1日 11:57
    iphone appstore up
この記事を書いた人
masapoco

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です


おすすめ記事

  • openai

    OpenAI、15秒の音声サンプルから感情豊かで自然な音声を合成できる「Voice Engine」を発表

  • a04c35e8e555c1cc7ae1d6a5f3159856

    MicrosoftとOpenAI、1000億ドル以上をかけて超人的AI開発のためのスーパーコンピューター「Stargate」を開発する計画

  • Sam Altman TechCrunch SF 2019 Day 2 Oct 3 cropped cropped

    ベンチャーキャピタリスト、OpenAIのSam Altman氏を“誇大妄想的”と非難

  • google logo image

    Googleが非営利団体を対象に2000万ドルの資金を提供し生成AI活用を支援

  • Pixel 8 in Rose.max 936x936.format webp

    Google、方針を転換しPixel 8にもGemini NanoによるオンデバイスAI機能を搭載へ

今読まれている記事