GPT-4レベルの賢さを60%少ない計算量で実現した「Inflection 2.5」がリリース

masapoco
投稿日
2024年3月12日 17:00
8e8ffbe5688f94935a15718658ca2a48

AIスタートアップのInflectionが、OpenAIのGPT-4とほぼ同等の賢さを、GPT-4の40%の計算量で実現したという新しい大規模言語モデル「Inflection 2.5」を発表した。

Inflectionによれば、この新モデルは同社のAIアシスタント「Pi」に統合されており、「共感的で、親切で、安全であるように設計」されているという。現在、InflectionのWebサイトを通じて、すべてのPiユーザー向けに提供されているとのことだ。

より効率的なAIトレーニング

Inflection 2.5は、GPT-4の平均性能の94%を達成し、トレーニングに必要な計算量は推定値の40%に過ぎないと報告されている。Inflectionは、特にSTEM(科学、技術、工学、数学)の向上に焦点を当てている。

一般的な MMLU 言語理解ベンチマークでは、Inflection 2.5 は、より複雑なプロンプト方式ではあるもののGPT-4 に近い。MMLU ベンチマークの 72.7 スコアは、より単純なプロンプト (5 ショット) で達成されたものであるため、Inflection 1 との比較には適さないが、Inflection 2は、業界標準の5ショット方式で、MMLUで80%弱のスコアを出した。

AIモデルの会話能力をテストするMT-Benchでは、Inflection 2.5はGPT-3.5とGPT-4の間のスコアを獲得した。

評価中にInflectionは、推論、数学、コーディングの各セクションにおいて、25%近くの例題に誤った参考解答があることを発見した事も報告している。同社はこれらを修正し、修正したデータセット(MT-Bench Corrected)を公表した。合成ベンチマークの有効性が限定的であることを示すもう一つの証拠である。

このモデルは、訓練データから除外されるべきハンガリーの数学試験と、物理学の大学院入試である物理GREでもテストされた。Inflection-2.5は、物理学の試験で、人間の受験者85%の得点を獲得し、拡張プロンプト方式を使用して、GPT-4に次ぐ最高得点に近づいた。

Inflection AIは、LinkedIn の創業者Reid Hoffman、DeepMindの共同創業者Mustafa Suleyman、同じくDeepMindの元研究者Karén Simonyanによって設立された。このスタートアップの目標は、人々がコードを学ぶことなくコンピューターと会話し、複雑なタスクを与えることができるインターフェースを作ることだ。

加えてInflection AIは、NVIDIAやMicrosoft、Reid Hoffman、Bill Gates、Eric Schmidtといった著名人や企業から投資を受けている。


Source



この記事が面白かったら是非シェアをお願いします!


  • Microsoft DirectX 12 Ultimate
    次の記事

    CPUのボトルネックを解消するDirectX 12「Work Graphs」APIが正式公開

    2024年3月13日 6:45
  • 前の記事

    筋肉をつけたい?炭水化物がタンパク質と同じくらい重要な理由

    2024年3月12日 16:04
    granola
この記事を書いた人
masapoco

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です


おすすめ記事

  • openai

    OpenAI、15秒の音声サンプルから感情豊かで自然な音声を合成できる「Voice Engine」を発表

  • a04c35e8e555c1cc7ae1d6a5f3159856

    MicrosoftとOpenAI、1000億ドル以上をかけて超人的AI開発のためのスーパーコンピューター「Stargate」を開発する計画

  • Sam Altman TechCrunch SF 2019 Day 2 Oct 3 cropped cropped

    ベンチャーキャピタリスト、OpenAIのSam Altman氏を“誇大妄想的”と非難

  • google logo image

    Googleが非営利団体を対象に2000万ドルの資金を提供し生成AI活用を支援

  • Pixel 8 in Rose.max 936x936.format webp

    Google、方針を転換しPixel 8にもGemini NanoによるオンデバイスAI機能を搭載へ

今読まれている記事