Inflectionは、新しい言語モデル「Inflection-2」を発表したが、同社によればこのInflection-2は、GoogleのPaLM-2やClaude 2など競合他社の言語モデルを上回り、GPT-4に次ぐ世界第二位の性能を持つとのことだ。

Inlectionによれば、この新モデルは、前作である「Inflection-1」よりも大幅に強力であり、事実に関する知識、スタイル制御、推論能力が大幅に向上してると述べている。

Inflectionの第1弾大規模言語モデル「Inflection-1」は2022年7月にリリースされ、GPT-3.5やPaLM-540Bとほぼ同等の性能を持っていたが、同社はInflection-2にて、OpenAIが提供する不動の1位であるGPT-4に追いつくことを目指している。

Inflection-2は、5,000台のNVIDIA H100 GPUを使用し、約10²⁵ FLOPsでfp8の混合精度でトレーニングされた。これにより、GoogleのフラッグシップモデルであるPaLM 2 Largeと同じトレーニングクラスに位置づけられるが、Inflection-2は、MMLUベンチマークを含むほとんどの標準AIパフォーマンステストでPaLM 2 Largeを上回っているとのことだ。

Inflection-2は、HellaSwag、TriviaQA、GSM8kなどの言語テストでも優れた成績を収めている。GPT-4と比較して、Inflection-2はHellaSwag 10-shotで89.0のスコアを記録し、GPT-4の95.3に迫っている。さらに、Inflectionは、最新のLLMがCoT（思考連鎖）推論、つまり最適化されたプロンプト処理でClaude 2を上回ると述べている。

コーディングや数学のタスクではGPT-4に及ばないものの、例えばMetasのLlama 2よりも優れた性能を発揮している。Inflection-2はコーディングに最適化されていないため、将来のモデルで改善の余地があるとInflectionは述べている。

Inflection-2は、同社のPiチャットボットで近々使用される予定である。PiはPi.ai/talkでテストできる。インフラはNVIDIA A100からH100 GPUにアップグレードされ、AIモデルによる入力の処理が高速化される見込みである。1750億パラメータを持つにもかかわらず、Inflection-2はInflection-1よりも安価で高速になるとされている。

Inflectionは、22,000台のGPUクラスターの全容量を使用して、さらに大きなモデルをトレーニングする計画を立てており、次のAIモデルは約10倍の大きさになり、約6ヶ月後にリリースされる予定だ。安全性と責任に関して、Inflectionはホワイトハウスの2023年7月のコミットメントに自発的に署名している。

Inflectionは、LinkedInの創設者Reid Hoffman氏、DeepMindの共同創設者Mustafa Suleyman氏、元DeepMind研究者Karén Simonyan氏によって設立され、2022年3月に公開された。同社は、自然言語をコンピュータへの個人的なインターフェースとして使用することに焦点を当てている。

2022年5月、Inflection AIは2億2500万ドルの投資ラウンドを締結し、2023年6月にはMicrosoft、Reid Hoffman氏、Bill Gates氏、Eric Schmid氏、NVIDIAが合計13億ドルを投資する別の投資ラウンドを発表した。当時、同社の評価額は40億ドルであった。

このスタートアップの発表以来、Meta AIのHeinrich Kuttler氏や、Google Brainの元所属であるMaarten Bosma氏とRewon Child氏などのAI研究者がInflection AIに参加したとされている。元DeepMindおよびGoogleのプロダクトマネージャーであるJoe Fenton氏は、Inflection AIの製品開発とビジネスモデルの開発を支援している。

Source

• Inflection: Inflection-2: The Next Step Up