AIスタートアップのInflectionが、OpenAIのGPT-4とほぼ同等の賢さを、GPT-4の40％の計算量で実現したという新しい大規模言語モデル「Inflection 2.5」を発表した。

Inflectionによれば、この新モデルは同社のAIアシスタント「Pi」に統合されており、「共感的で、親切で、安全であるように設計」されているという。現在、InflectionのWebサイトを通じて、すべてのPiユーザー向けに提供されているとのことだ。

より効率的なAIトレーニング

Inflection 2.5は、GPT-4の平均性能の94%を達成し、トレーニングに必要な計算量は推定値の40%に過ぎないと報告されている。Inflectionは、特にSTEM（科学、技術、工学、数学）の向上に焦点を当てている。

一般的な MMLU 言語理解ベンチマークでは、Inflection 2.5 は、より複雑なプロンプト方式ではあるもののGPT-4 に近い。MMLU ベンチマークの 72.7 スコアは、より単純なプロンプト (5 ショット) で達成されたものであるため、Inflection 1 との比較には適さないが、Inflection 2は、業界標準の5ショット方式で、MMLUで80%弱のスコアを出した。

AIモデルの会話能力をテストするMT-Benchでは、Inflection 2.5はGPT-3.5とGPT-4の間のスコアを獲得した。

評価中にInflectionは、推論、数学、コーディングの各セクションにおいて、25%近くの例題に誤った参考解答があることを発見した事も報告している。同社はこれらを修正し、修正したデータセット（MT-Bench Corrected）を公表した。合成ベンチマークの有効性が限定的であることを示すもう一つの証拠である。

このモデルは、訓練データから除外されるべきハンガリーの数学試験と、物理学の大学院入試である物理GREでもテストされた。Inflection-2.5は、物理学の試験で、人間の受験者85％の得点を獲得し、拡張プロンプト方式を使用して、GPT-4に次ぐ最高得点に近づいた。

Inflection AIは、LinkedIn の創業者Reid Hoffman、DeepMindの共同創業者Mustafa Suleyman、同じくDeepMindの元研究者Karén Simonyanによって設立された。このスタートアップの目標は、人々がコードを学ぶことなくコンピューターと会話し、複雑なタスクを与えることができるインターフェースを作ることだ。

加えてInflection AIは、NVIDIAやMicrosoft、Reid Hoffman、Bill Gates、Eric Schmidtといった著名人や企業から投資を受けている。

Source

• Inflection AI: Inflection-2.5: meet the world’s best personal AI