Anthropic、「Claude 3」モデルファミリーを発表、GeminiやChatGPTを凌駕する性能と主張

OpenAIのスピンオフ企業であるAIスタートアップAnthropicは、最新の大規模言語モデル「Claude 3」モデルファミリーを発表した。Claude 3は3つのバージョンからなり、最も強力なバージョンである “Opus”は、少なくともGPT-4と同等であるとされている。

Claude 3は、その規模によって「Claude 3 Haiku」、「Claude 3 Sonnet」、「Claude 3 Opus」の3つのモデルで構成され、ユーザーは特定の用途に合わせて知能、スピード、コストを選択することができる。OpusはClaude 2.1と同程度の速度だが、より「インテリジェント」であるとされており、Haikuはほぼリアルタイムで応答できる速度を備えている。SonnetはClaude 2の2倍の速度だが、”より高度なインテリジェンス”を備えている。

Anthropicによると、Claude 3モデルはすべて、分析および予測機能の向上、ニュアンス豊かなコンテンツ作成、コード生成について、日本語、フランス語、スペイン語、など英語以外の言語での会話を提供する。さらに、写真、チャート、グラフ、エンジニアリング図面など、さまざまなビジュアル形式を扱うことができるとのことだ。

OpusとSonnetは現在、claude.aiとClaude APIを通じて利用可能になっており、Haikuは近日公開予定だ。最上級モデルのOpusはClaudeの有料ユーザーだけが利用でき、Sonnetは無料で利用できる。

大きな性能向上を果たし、競合モデルを凌駕

発表によると、Claude 3モデルは、学部レベルの専門知識（MMLU）、大学院レベルの推論（GPQA）、基本的な数学（GSM8K）などの一般的なAIベンチマークで競合他社を凌駕している。特に、Claude 3 OpusはOpenAIのGPT-4よりも優れた大学院レベルの推論能力を示し、GPT-4の35.7％よりも大幅に高い50.4％を獲得したと主張している。また、数学の質問に答え、コーディングし、推論をよりよく理解した。Anthropicは、Opusが “複雑なタスクにおいて人間に近いレベルの理解力と流暢さ “を示すことができるとのことだ。

Anthropicによると、Claude 3モデルは複雑な命令に従うことができ、JSONなどのフォーマットで構造化された出力を生成するため、自然言語分類や感情分析に適しているという。

AnthropicがベンチマークでGPT-4に追いつき、いくつかのベンチマークでGPT-4を打ち負かしたことは印象的ではあるが、GPT-4が利用可能になってから約1年が経った事を考えると、他社がやっと追いついてきたと言う事は、皮肉なことにOpenAIの圧倒的な先進性を証明する事にもなっている。

さて、Claude 3は、写真、ダイアグラム、技術図面のような異なる画像形式を処理できるビジュアル機能も獲得した。Anthropicは、これは知識ベースが様々なフォーマットでエンコードされている企業顧客にとって特に有益であると述べている。

また、Claude 3は不必要な拒否を減らし、プロンプトの理解を向上させることに大きな進歩を遂げたとしている。Claude 2.1と比較して、このモデルは挑戦的な自由形式の質問の精度を2倍にし、不正解の数を減らしたとのことだ。

最大100万トークンのコンテキスト・ウィンドウ

Google Gemini 1.5と同様に、AnthropicはClaudeのコンテキストウィンドウを大幅に拡張した。コンテキストウィンドウは、AIモデルが一度に処理できる情報量を表すものだが、Claude 3では、最大100万トークンまでの入力が可能だという。だが、リリース当初は20万トークンのみでリリースされる。ちなみに、オリジナルのGPT-4のトークンは8,000、最新のものは128,000となっている。

モデルの正確な情報抽出能力を測定するNeedle In A Haystack (NIAH)評価では、Claude 3 Opusは99%以上の精度で、長い文書から個々の情報をほぼ完璧に抽出することを達成しているとのことだ。

100万トークンの入出力コストは、最もインテリジェントなモデルのOpusで15ドルと75ドル、Sonnetで3ドルと15ドル、高速でコンパクトなHakiuで0.25ドルと1.25ドルだ。OpenAIの最新のGPT-4ターボモデルは128Kトークンで、100万入力トークンが10ドル、100万出力トークンが30ドルである。Anthropicの価格戦略には自信があるようだ。

Anthropicによると、Claude 3の「モデル・インテリジェンス」の開発は完了には程遠く、今後数カ月で定期的なアップデートをリリースする予定だという。同社はまた、コーディング支援など、大企業の顧客に独自のサービスや機能を提供する予定だ。

AnthropicはClaude 3で使用したトレーニングデータについてコメントしていない。ライバルのOpenAIは、トレーニングデータをめぐるいくつかの法廷闘争に巻き込まれており、そのひとつがThe New York Times紙とのもので、NYTは、OpenAIが同紙の著作権で保護されたデータを無断でトレーニングしたと主張している。

Claude 3のテクニカルレポートによると、Anthropicは一般的なインターネットデータに加え、合成データ（「内部で生成されたもの」）を使用しており、2023年8月がカットオフ日となっている。

Sources