大規模言語モデルは“途中を見失う”特徴を持っている

masapoco
投稿日 2023年7月28日 14:40
human brain digital

スタンフォード大学、カリフォルニア大学バークレー校、そしてSamaya AIの研究者たちは、大規模言語モデル(LLM)における興味深い現象を発見した。それは、人間のプライマシー/リセンシー効果に似ており、人々が声明の最初と最後の内容を記憶しやすい一方で、中間の内容は見落とされがちであるというものである。

この研究によれば、大規模言語モデルも同様の効果が見られる。入力から情報を取り出すよう求められた場合、モデルは入力の最初または最後にある情報を最もうまく処理する。しかし、関連する情報が入力の中間にある場合、パフォーマンスは大幅に低下する。このパフォーマンスの低下は、モデルが複数の文書から情報を抽出して質問に答える必要がある場合に特に顕著である。これは、学生が試験の質問に答えるために複数の本から関連情報を特定する必要がある状況に相当する。

モデルが同時に処理しなければならない入力が多いほど、そのパフォーマンスは悪化する傾向にある。これは、大量の情報を同時にかつ均等に処理することが重要な実世界のシナリオでは問題になる可能性がある。

また、この結果は、大規模言語モデルが追加情報をどれだけ効果的に使用できるかには限界があることを示唆している。特に詳細な指示を含む「メガプロンプト」は、より害になる可能性が高い。

大きなコンテキストウィンドウを持つLLMの有用性

「中間の紛失」現象は、多くのコンテキストを扱うように特別に設計されたモデルにおいても発生する。例えば、GPT-4 32KやClaudeの100Kトークンのコンテキストウィンドウなどがそれである。

研究者たちは、新しいGPT-3.5 16KやClaude 1.3の100Kを含む7つのオープンおよびクローズド言語モデルをテストした。すべてのモデルは、テストによって異なる程度のU字型のカーブを示し、テキストの最初または最後に解決策があるタスクでより良いパフォーマンスを示した。

このことは、大きなコンテキストウィンドウを持つモデルの有用性に疑問を投げかける。コンテキストを小さなチャンクで処理する方が良い結果が得られる可能性がある。現在のリーディングモデルであるGPT-4もこの効果を示しているが、全体的なパフォーマンスレベルは高い。

研究チームは、モデルが言語をどのように処理するかについてはまだ完全には理解されていないと認めている。この理解を新しい評価方法を通じて改善する必要があり、新しいアーキテクチャも必要になるかもしれない。

また、プロンプトの設計がモデルのパフォーマンスにどのように影響するかについても研究する必要がある。タスクに対するAIシステムの認識をプロンプトで高めることで、関連情報を抽出する能力を向上させることができるかもしれない。


論文

研究の要旨

最近の言語モデルは長い文脈を入力として受け取る能力を持つが、長い文脈をどの程度うまく利用できるかについては比較的知られていない。我々は、入力コンテキスト中の関連情報を特定する必要がある2つのタスク、すなわち複数文書の質問応答とキーバリュー検索における言語モデルの性能を分析する。その結果、関連する情報の位置を変えると性能が著しく低下することがわかり、現在の言語モデルが長い入力文脈の情報をロバストに利用できていないことが示された。特に、関連する情報が入力コンテキストの先頭または末尾にある場合に性能が最も高くなることが多く、長いコンテキストの途中で関連する情報にアクセスしなければならない場合には、明示的に長いコンテキストのモデルであっても性能が著しく低下することが観察された。我々の分析は、言語モデルがどのように入力コンテキストを使用するかについての理解を深め、将来のロングコンテキスト言語モデルのための新しい評価プロトコルを提供する。



この記事が面白かったら是非シェアをお願いします!


  • AMD Ryzen 9 7945HX3D 3D V cache Laptop CPU 1 g standard scale 4 00x Custom g standard scale 4 00x Custom 2
    次の記事

    AMD、3D V-Cacheを搭載した初のモバイルCPU「Ryzen 9 7945HX3D」を発表

    2023年7月28日 15:14
  • 前の記事

    世界のスマートフォン市場が続くが、Appleは好調を続ける

    2023年7月28日 14:25
    iPhone

スポンサーリンク


この記事を書いた人
masapoco

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です


おすすめ記事

  • openai

    OpenAI、15秒の音声サンプルから感情豊かで自然な音声を合成できる「Voice Engine」を発表

  • a04c35e8e555c1cc7ae1d6a5f3159856

    MicrosoftとOpenAI、1000億ドル以上をかけて超人的AI開発のためのスーパーコンピューター「Stargate」を開発する計画

  • Sam Altman TechCrunch SF 2019 Day 2 Oct 3 cropped cropped

    ベンチャーキャピタリスト、OpenAIのSam Altman氏を“誇大妄想的”と非難

  • google logo image

    Googleが非営利団体を対象に2000万ドルの資金を提供し生成AI活用を支援

  • Pixel 8 in Rose.max 936x936.format webp

    Google、方針を転換しPixel 8にもGemini NanoによるオンデバイスAI機能を搭載へ

今読まれている記事