Google、GeminiベースのオープンソースAIモデル「Gemma」を発表

masapoco
投稿日
2024年2月22日 6:47
gemma header.width 1600.format webp

Google DeepMindは、同社のAIモデル「Gemini」を基にした、責任あるAI開発を目指すためのオープンAIモデル「Gemma」を発表した。

このGemmaは、世界中の開発者や研究者にアクセス可能で有能なモデルを提供するため、オープンソースで提供される。モデルには「Gemma-2B」と「Gemma-7B」の2つのサイズがあり、それぞれ事前学習済みと命令ベースのバリエーションがある。

Gemmaモデルは、Geminiファミリーのモデルと同様のアーキテクチャ、データ、学習方法を用いて、Webページ、数学の問題、コードから最大6兆個の主に英語のトークンで学習されている。Geminiとは異なり、Gemmaはマルチモーダルではなく、多言語タスクで最高のパフォーマンスを発揮するようには訓練されていない。

Googleのテクニカルレポートによると、Gemmaは、70億と130億のパラメーターを持つLLaMA 2やMistral-7Bといった同規模のオープンAIモデルを、18のテキストベースのタスクのうち11で上回っている。最大のリードは数学とコーディングに見られるが、全般的に改善の余地は大きい。

注目すべきは、より小型のモデルであるGemma-2Bが、安全性テストにおいて3倍以上のパラメーターを持つMistral-7Bを上回ったという点だろう。また、Gemma-7Bモデルはまた、プロンプトに従う精度を評価する実験でもMistral-7Bを上回った。しかし、Gemmaは現在のところ、LLaMA-2-70BやMixtral-8x7Bのような商用代替モデルや大規模なオープンソースモデルに対抗することはできない。

Googleは、オープンソースのLLMが有害な目的に悪用される可能性があることを認識しているという。これには、偽造画像の作成、AIが生成した誤情報、違法で不穏なコンテンツなどが含まれる。

モデルをAPIの後ろに隠すのではなく、ウェイトを自由に利用できるようにすることは、さらなるリスクをもたらす。しかしGoogleは、Gemmaの安全性と信頼性を確保するためにいくつかの措置を講じたという。事前に訓練されたモデルからは、個人情報やその他の機密データが取り除かれている。

さらに、大規模な微調整と人間によるフィードバック(RLHF)を通じて、責任ある行動をとるように適合させた。Googleはその後、手動レッドチーム、自動敵対テスト、危険な活動に対する性能評価を通じてモデルを評価した。

外部の開発者が安全なAIアプリケーションを構築できるよう、Googleは新しいResponsible Generative AI Toolkitも導入した。 AI ツールキットを使用すると、開発者はプロジェクトに Gemma を導入する際に独自のガイドラインや禁止用語リストを作成できる。また、ユーザーが Gemma の動作を調査して問題を解決できるモデル デバッグ ツールも含まれている。 

Gemmaは、NVIDIA GPUやGoogle Cloud TPUなど、複数のAIハードウェアプラットフォームに最適化されている。NVIDIAはGemmaモデルを同社のデータチャットボットアプリ「Chat with RTX」に統合し、Gemma 2BおよびGemma 7Bモデルのテストバージョンを同社のPlaygroundで提供する。

JAX、PyTorch、TensorFlowなどの主要なフレームワークとの互換性により、GemmaはAI開発ポートフォリオの中で汎用性の高いモデルとなっている。Googleはまた、KaggleやGoogle Cloudなどのプラットフォームで研究開発を行うための無料クレジットを通じてGemmaへのアクセスを提供している。新規のクラウドユーザーには300ドルのクレジットが提供され、研究者は最大50万ドルのクレジットの資金提供を申請することもできる。

Gemmaは、Google DeepMindによるオープンソースへの足がかりを得るための試みかもしれない。モデル市場がどのように進化していくのか、そしてプロプライエタリなモデルがOpenAIのGPTモデルのように支配的であり続けるのかを予測するのはまだ難しい。

これまでのところ、MetaはLLaMAファミリーでビッグテックのオープンソース言語モデルのパイオニアとなっている。オープンソースの方針で、Metaは開発者シーンを支配し、後により高品質なAI製品をより効率的に開発するために、彼らのAIエコシステムに慣れさせたいと考えているようだ。こうしたMetaの戦略が正しかった場合、Googleはこれに乗り遅れるのは得策ではないと考えたのかも知れない。


Sources



この記事が面白かったら是非シェアをお願いします!


  • gmail design renew 09
    次の記事

    Microsoft、Intelと18Aプロセスによるカスタムチップの製造契約を発表

    2024年2月22日 9:07
  • 前の記事

    Intel、14Aノードと今後のプロセス進化を追加した新たなロードマップを公開

    2024年2月22日 6:25
    Intel Foundry IFDC 3
この記事を書いた人
masapoco

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です


おすすめ記事

  • openai

    OpenAI、15秒の音声サンプルから感情豊かで自然な音声を合成できる「Voice Engine」を発表

  • a04c35e8e555c1cc7ae1d6a5f3159856

    MicrosoftとOpenAI、1000億ドル以上をかけて超人的AI開発のためのスーパーコンピューター「Stargate」を開発する計画

  • Sam Altman TechCrunch SF 2019 Day 2 Oct 3 cropped cropped

    ベンチャーキャピタリスト、OpenAIのSam Altman氏を“誇大妄想的”と非難

  • google logo image

    Googleが非営利団体を対象に2000万ドルの資金を提供し生成AI活用を支援

  • Pixel 8 in Rose.max 936x936.format webp

    Google、方針を転換しPixel 8にもGemini NanoによるオンデバイスAI機能を搭載へ

今読まれている記事