Googleがリリースしたばかりの「Gemini Ultra」モデルは、OpenAIのGPT-4と同等のレベルを備えており、そればかりか、この2つの最上級モデルの間のプロンプトは互換性がある事が判明した。これは、1ヶ月以上Gemini UltraにアクセスしていたWharton SchoolのEthan Mollick教授による報告だ。Mollick氏は、コンサルティング業界におけるGPT-4による生産性向上の数ヶ月にわたる研究に携わっていた。

2つのモデルの互換性は「驚くべきもの」だと彼は言う。彼がテストしたGPT-4で機能する複雑なプロンプトは、Gemini Ultraでもうまく処理されたとのことだ。

「先進的なLLMは、プロンプトやレスポンスに基本的な共通点があるため、いつでも簡単に古いモデルから最先端のAIに切り替えることができる」と、Mollick氏は述べている。

ワークフローの基礎となるプロンプト・ライブラリを構築したことのある人にとっては資産を活かすことが出来るこの話は朗報だろう。

Gemini Ultraは “明らかにGPT-4クラスのモデル”

しかし、Gemini Ultraは時として役に立ちすぎることがあるので、生徒が概念を理解するためにAIと対話することを要求する教育的プロンプトは調整が必要である。これに関する論文は後ほど発表する予定だとMollick氏は書いている。

それ以外の点では、Gemini UltraはGPT-4と同等であることは間違いなく、長所と短所がそれぞれ異なるため、両方を使い続ける予定だとMollick氏は述べている。

Gemini Ultraの方が “ダーク”な書き方に寛容で、説明もうまく、画像や検索もうまく統合されている、とMollick氏は書いている。GPT-4はコーディングが得意で、”Apple Test”のような難しい言語タスクに合格する。

また、GPT-4は当たり障りのない正確だが、Gemini Ultraは明らかに友好的で、言葉遊びをする傾向にあるとのことだ。また、GPT-4 よりもはるかに滑らかなインターフェイスを備えており、ChatGPT よりも技術的エラーが発生しにくかったと、Mollick氏は述べている。

Gemini Ultraは、OpenAI以外の企業でもGPT-4クラスのモデルを作れることを初めて示した例だ、とMollick氏は言う。そして、Microsoft Researchが、かつて発表した、AIが見せた“知性の火花”と呼ばれる現象をGemini Ultraにも感じ、これがGPT-4 の見せた“火花”が孤立した現象ではなく、むしろ GPT-4 クラス モデルの新たな特性を表している可能性があると、Mollick氏は指摘している。

しかし結局の、どちらのモデルも一貫性がなく、奇妙で、”あなたが望む以上に”幻覚を見るとのことで、その点には注意が必要だ。

Source

• One Useful Thing: Google’s Gemini Advanced: Tasting Notes and Implications