世界を席巻しているChatGPTなどに利用されている大規模言語モデル（LLM）の欠点の1つに、一度のやりとりで処理できるデータ量が少ないことが挙げられる。OpenAIがリリースした最新のLLMであるGPT-4ですら、金魚程度の記憶力しかないのだ。
処理できるトークンの長さがAIの性能にも繋がる
LLMは、ある入力が与えられたときに、次のトークンを予測することで動作する。トークンとは、AIのデータ処理を簡単にするために使われる単語の断片のことで、「コンテキストウィンドウ」とは、LLMが一度に処理できる人間の入力データの量を示す短期記憶のようなものだ。
今回、元OpenAIのエンジニアが設立したAIスタートアップのAnthropicは、自社のチャットボット「Claude」のコンテキストウィンドウを大幅に拡張し、これまで9,000トークンが限界だった処理が100,000トークン（約75,000語）までに対応出来るようにしたとのことだ。（OpenAIのGPT-4は32,000トークンまで対応）同社がブログで指摘しているように、これは米国の有名な小説である、Francis Scott Key Fitzgerald『The Great Gatsby』の全文を一度に処理するのに十分な量とのことだ。実際、同社はこのシステムをテストし、小説の中の一文を編集し、Claudeにその変更を見抜くように依頼した。その結果、22秒という短時間で処理することが出来たという。
このコンテキストウィンドウの大きさの重要性について、Anthropicは以下のように述べている：
平均的な人は、10万トークンのテキストを5時間以上かけて読むことができますが、その情報を消化し、記憶し、分析するためには、さらに長い時間が必要になるかもしれません。しかし、Claudeはこの作業を1分もかからずに行えるようになりました。例えば、『The Great Gatsby』の全文をClaudeインスタント（72Kトークン）に読み込み、Carraway氏（訳注：小説の登場人物）が「Anthropic社の機械学習ツールに携わるソフトウェアエンジニア」であるという修正を加えました。何が違うのかを見破るようモデルに求めたところ、22秒で正解を導き出しました。
より高度な文書作成支援・要約などに利用できる可能性
Anthropic社によると、Claudeの強化された機能は、書籍の処理に留まらない。拡大されたコンテキストウィンドウは、会話による対話を通じて、企業が複数の文書から重要な情報を抽出するのに役立つ可能性がある。同社は、このアプローチは、複雑なクエリを扱う場合、ベクトル検索ベースの方法を凌駕する可能性があると示唆している。例えば、以下のような用途に有用だとのことだ。
- 財務諸表や研究論文のような高密度なドキュメントを消化し、要約し、説明する。
- 年次報告書から企業の戦略的リスクと機会を分析する。
- ある法律の長所と短所を評価する。
- 法律文書に潜むリスク、テーマ、さまざまな議論の形式を特定する。
- 何百ページもの開発者向けドキュメントに目を通し、技術的な質問に対する答えを浮かび上がらせる
- コードベース全体をコンテキストにドロップして迅速にプロトタイプを作成し、インテリジェントにそれを基に構築または修正する
このAIによるコンテキストウィンドウの拡張は、APIを利用しているAnthropic社のビジネスパートナーに提供されている。価格設定も不明だが、大幅な値上げになることは間違いないだろう。より多くのテキストを処理することは、より多くのコンピューティングを費やすことを意味するからだ。
しかし、このニュースは、AI言語モデルの情報処理能力が向上していることを示しており、これによってこれらのシステムがより便利になることは間違いない。コンテキストウィンドウが大きければ、チャットボットとより長い会話を続けることが出来る。チャットボットが暴走する要因のひとつは、コンテキストウィンドウがいっぱいになると、それまでに話したことを忘れてしまうことに起因するからだ。
Sources
- Anthropic: Introducing 100K Context Windows
