Googleは、本日開催された開発者会議 Google I/O において、最新の大規模言語モデル（LLM)であり、OpenAIのGPT-4などのライバルとなる「PaLM 2」を発表した。

「PaLM 2は、論理と推論の幅広いトレーニングにより、論理と推論に強くなっています。また、100以上の言語にまたがる多言語テキストで訓練されています」と、Google CEOのSundar Pichai氏は、同社のI/O会議の壇上で語った。

PaLM 2の構築に当たって、Googleはこれまでのパラメータ数を追い求める競争の「大きいほど良い」方針から転換し、これまで以上に効率的にモデルを構築しているという。

PaLM 2は、他の大規模言語モデルと同様に、作成に膨大な時間とリソースを要するため、単一製品というよりは製品群であり、消費者向けと企業向けで異なるバージョンが展開される予定だ。このシステムは、最小から最大までGecko、Otter、Bison、Unicornと名付けられた4つのサイズがあり、企業顧客向けに特定のタスクを実行するためにドメイン固有のデータで微調整が行われている。

例えば、基本的な自動車のシャーシに新しいエンジンやタイヤなどを追加して、パトカーや救急車など、特定の用途や地形に対応する出来る様にカスタマイズするようなものだ。PaLMには、健康データを学習したバージョン（Med-PaLM 2）と、サイバーセキュリティデータを学習したバージョン（Sec-PaLM 2）があり、この2つのモデルは、Google Cloudを通じて、最初は一部の顧客向けに提供される予定だ。

Googleは、このLLMが “マスタリー”レベルの高度な言語能力試験に合格することができると主張している。さらに、PaLM 2は、さまざまな科学論文、ジャーナル、Webサイトでの訓練を受けており、優れた研究・数学能力を備えていること、PythonやJavaScriptなどの現代言語だけでなく、Prolog、Fortran、Verilogなどの言語にも精通しており、膨大なコードベースに対して学習させることが出来るとのことだ。

PaLM2は、Googleの実験的なチャットボットであるBardを含む25の機能および製品に使用されているほか、Googleのドメイン内でもすでに使用されている。Bardでは、コーディング能力の向上や言語サポートの強化などのアップデートが可能だ。また、Docs、Slides、SheetsなどのGoogle Workspaceアプリケーションの機能にも使用されている。

注目すべきは、Googleによると、PaLM 2の最軽量バージョンであるGeckoは、スマートフォンで実行できるほど小さく、1秒間に20トークン（約16～17語に相当）を処理するという。Googleは、このモデルのテストにどのようなハードウェアが使われたのかについては明言せず、”最新のスマートフォン”で動作しているとだけ述べている。とはいえ、このような言語モデルの小型化は重要だ。このようなシステムは、クラウドで動かすにはコストがかかるし、ローカルで使えるようになれば、プライバシーの向上など、他のメリットもある。問題は、小型化された言語モデルは、どうしても大型のものに比べて能力が劣るということだ。その点は、デバイス処理能力の進化か、モデルの効率化の改善を待つしかないだろう。

最後に、GoogleはツールやAPIの統合に高い効率を発揮する新しいマルチモーダルAI、「Gemini」についても予告した。Googleは、Geminiは現在トレーニング中で、細かく調整された後、「PaLM 2のように、さまざまなサイズや機能を利用できるようにし、みんなの利益のためにさまざまな製品、アプリケーション、デバイスに展開できるようにします」と記している。

Source

• Google: Introducing PaLM 2