Google DeepMindは、同社の有名なAIである「AlphaGo」の能力と、OpenAIのChatGPTを支える技術であるGPT-4のような大規模言語モデルを組み合わせた「Gemini」と呼ばれる画期的なAIシステムを開発しているようだ。
DeepMindの創設者にしてCEOであるDemis Hassabis氏は、強化学習における同社の専門知識が、Geminiに特徴的な機能を与える可能性があるとWiredに語っている。強化学習やツリー探索といったAlphaGoの技術を使い、Geminiはテキストを分析するだけでなく問題解決や計画といった新しい機能を提供することを目指しているとのことだ。
「Geminiは、AlphaGoタイプのシステムの長所と、大型モデルの素晴らしい言語能力を組み合わせたものだと考えることができる。また、かなり面白くなりそうなイノベーションもいくつかあります」。
Demis Hassabis
WiredのWill Knight氏は、5月に開催されたGoogleのI/O開発者会議で少し予告されたGeminiは、強化学習の技術革新を活用して、現在の言語モデルが苦戦しているタスクを達成するだろうと推測している。強化学習とは、AIシステムに特定の行動に対して “報酬を与える”、あるいは望ましくない行動を”罰する”ことで、与えられた状況でどのような行動をとるべきかをシステムに “教える”ことを目的としている。
Knight氏が指摘するように、強化学習はすでに言語モデルの分野で成果を上げており、ChatGPTのようなシステムがプロンプトに反応する方法の鍵となっている。DeepMindは、強化学習（AlphaGoがその一例である）で豊富な経験を積んでおり、その学習を生成AIの領域に応用したいと考えていることは間違いない。
Hassabis氏によれば、Geminiは5月に正式に発表されたが、数カ月は開発とトレーニングが行われる予定だという。Geminiは、以前のモデルにはなかったマルチモーダルな機能を持ち、ツールやAPIの統合が非常に効率的だという。
このシステムの開発には数千万ドルから数億ドルの費用がかかる可能性があり、ChatGPTやその他の生成AI技術に対するGooogleの対応において重要な役割を果たす可能性がある、とWiredは報じている。
Geminiは複数のサイズが用意され、メモリやプランニングといった将来のイノベーションをサポートするように設計される予定だ。3月の噂では、GPT-4がそうであると伝えられているように、このモデルは1兆個のパラメーターを持つとされている。このプロジェクトでは、GoogleのTPU AIチップ数万個をトレーニングに使用すると言われている。
一方、OpenAIのCEO Sam Altman氏によると、GPT-5のローンチはまだ先で、少なくとも半年はトレーニングを開始しないという。リリースは2024年になりそうだ。Google DeepMindは、Geminiがいつリリースされるかは明らかにしていない。
Source
