Google、GeminiベースのオープンソースAIモデル「Gemma」を発表

Google DeepMindは、同社のAIモデル「Gemini」を基にした、責任あるAI開発を目指すためのオープンAIモデル「Gemma」を発表した。

このGemmaは、世界中の開発者や研究者にアクセス可能で有能なモデルを提供するため、オープンソースで提供される。モデルには「Gemma-2B」と「Gemma-7B」の2つのサイズがあり、それぞれ事前学習済みと命令ベースのバリエーションがある。

Gemmaモデルは、Geminiファミリーのモデルと同様のアーキテクチャ、データ、学習方法を用いて、Webページ、数学の問題、コードから最大6兆個の主に英語のトークンで学習されている。Geminiとは異なり、Gemmaはマルチモーダルではなく、多言語タスクで最高のパフォーマンスを発揮するようには訓練されていない。

Googleのテクニカルレポートによると、Gemmaは、70億と130億のパラメーターを持つLLaMA 2やMistral-7Bといった同規模のオープンAIモデルを、18のテキストベースのタスクのうち11で上回っている。最大のリードは数学とコーディングに見られるが、全般的に改善の余地は大きい。

注目すべきは、より小型のモデルであるGemma-2Bが、安全性テストにおいて3倍以上のパラメーターを持つMistral-7Bを上回ったという点だろう。また、Gemma-7Bモデルはまた、プロンプトに従う精度を評価する実験でもMistral-7Bを上回った。しかし、Gemmaは現在のところ、LLaMA-2-70BやMixtral-8x7Bのような商用代替モデルや大規模なオープンソースモデルに対抗することはできない。

Googleは、オープンソースのLLMが有害な目的に悪用される可能性があることを認識しているという。これには、偽造画像の作成、AIが生成した誤情報、違法で不穏なコンテンツなどが含まれる。

モデルをAPIの後ろに隠すのではなく、ウェイトを自由に利用できるようにすることは、さらなるリスクをもたらす。しかしGoogleは、Gemmaの安全性と信頼性を確保するためにいくつかの措置を講じたという。事前に訓練されたモデルからは、個人情報やその他の機密データが取り除かれている。

さらに、大規模な微調整と人間によるフィードバック（RLHF）を通じて、責任ある行動をとるように適合させた。Googleはその後、手動レッドチーム、自動敵対テスト、危険な活動に対する性能評価を通じてモデルを評価した。

外部の開発者が安全なAIアプリケーションを構築できるよう、Googleは新しいResponsible Generative AI Toolkitも導入した。 AI ツールキットを使用すると、開発者はプロジェクトに Gemma を導入する際に独自のガイドラインや禁止用語リストを作成できる。また、ユーザーが Gemma の動作を調査して問題を解決できるモデルデバッグツールも含まれている。

Gemmaは、NVIDIA GPUやGoogle Cloud TPUなど、複数のAIハードウェアプラットフォームに最適化されている。NVIDIAはGemmaモデルを同社のデータチャットボットアプリ「Chat with RTX」に統合し、Gemma 2BおよびGemma 7Bモデルのテストバージョンを同社のPlaygroundで提供する。

JAX、PyTorch、TensorFlowなどの主要なフレームワークとの互換性により、GemmaはAI開発ポートフォリオの中で汎用性の高いモデルとなっている。Googleはまた、KaggleやGoogle Cloudなどのプラットフォームで研究開発を行うための無料クレジットを通じてGemmaへのアクセスを提供している。新規のクラウドユーザーには300ドルのクレジットが提供され、研究者は最大50万ドルのクレジットの資金提供を申請することもできる。

Gemmaは、Google DeepMindによるオープンソースへの足がかりを得るための試みかもしれない。モデル市場がどのように進化していくのか、そしてプロプライエタリなモデルがOpenAIのGPTモデルのように支配的であり続けるのかを予測するのはまだ難しい。

これまでのところ、MetaはLLaMAファミリーでビッグテックのオープンソース言語モデルのパイオニアとなっている。オープンソースの方針で、Metaは開発者シーンを支配し、後により高品質なAI製品をより効率的に開発するために、彼らのAIエコシステムに慣れさせたいと考えているようだ。こうしたMetaの戦略が正しかった場合、Googleはこれに乗り遅れるのは得策ではないと考えたのかも知れない。

Sources