AIを活用した画像生成ツール「Stable Diffusion」を開発するStability AIは、本日、OpenAIのGPT-4のようなシステムに対抗するためのテキスト生成AIモデル群である、「StableLM Suite」をオープンソースで発表した。同社は水曜日に共有した投稿で、同社のモデルを開発者が使用し、適応できるようにGitHubで公開したと述べている。

StableLMは、ChatGPTのライバルと同様に、テキストとコードを効率的に生成するように設計されている。Wikipedia、Stack Exchange、PubMedなど、さまざまなソースからの情報を包含するThe Pileとして知られるオープンソースのデータセットの大規模版で学習されている。

このモデルはサイズが小さいにもかかわらず、実験的なデータセットで訓練したことにより、会話やコーディングのタスクで驚くほど効果的だ（OpenAIのChatGPTと同様）。Stability AIは、GPT-J、GPT-NeoX、The Pileオープンソースデータセットで学習させたPythiaスイートなど、以前の言語モデルをオープンソース化している実績がある。

StableLM-Alphaモデルは、1.5兆個のトークンを含むThe Pileをベースにした新しいデータセットで学習される。新しい「実験用データセット」はThe Pileの3倍の大きさとされ、StableLMモデルのコンテキスト長は4,096トークンである。

Stability AIは、AI設計における透明性とアクセシビリティに強くコミットしており、StableLMスイートも例外ではない。開発者は、CC BY-SA-4.0ライセンスの条件に従って、商用または研究目的でStableLMベースモデルを自由に検査、使用、適応することが推奨される。このライセンスでは、Stability AIへのクレジット表記、ライセンスへのリンクの提供、および変更が行われた場合の表示が義務付けられている。

同社は投稿で、StableLM Suiteには、会話型エージェント向けの最近の5つのオープンソースデータセットの組み合わせを使用して、微調整された命令である研究モデルのセットも含まれていると発表した。概念実証として、同社は、会話型エージェント向けの最近の5つのデータセットの組み合わせを使用して、Stanford Alpacaの手順でStableLMモデルをファインチューンした：StanfordのAlpaca、Nomic-AIのgpt4all、RyokoAIのShareGPT52Kデータセット、Databricks labsのDolly、AnthropicのHH、これらのモデルをStableLM-Tuned-Alphaとしてリリースする予定だ。

Stability AIは、近日中に発行する技術報告書に、このモデルの仕様とトレーニングの設定について記すと述べた。

また、これらのモデルは研究利用のみを目的としており、スタンフォード大学のAlpacaライセンスに準じ、非営利のCC BY-NC-SA 4.0ライセンスで公開されている。

Stability AIはブログの中で、StableLMモデルが他のモデルと同じ限界、つまり特定のプロンプトに対して有害な反応を生成したり、事実を幻覚（でっち上げ）したりする傾向があるかどうかについては述べていない。しかし、The Pileには冒涜的、淫乱的、その他かなり刺激的な言葉が含まれていることから、もしそうであったとしても驚くにはあたらないだろう。

オープンソースのテキスト生成モデルの数は、大小の企業がますます有利になる生成AIの分野で知名度を競い合う中で、実質的に日に日に増えている。過去1年間で、Meta、Nvidia、そしてHugging Spaceが支援するBigScienceプロジェクトなどの独立グループが、GPT-4やAnthropicのClaudeといったAPIを通じて入手できる「プライベート」モデルとほぼ同等のモデルをリリースした。

Stability AIによると、言語モデルはデジタル経済のバックボーンであり、誰もがその設計に発言権を持つべきであるという。同社は、モデルへのきめ細かなアクセスを提供することで、閉じたモデルで可能な以上の解釈可能性と安全性の技術の開発を促進したいと考えている。同社のモデルは現在、GitHubリポジトリで公開されており、Stability AIは近い将来、完全な技術報告書を発表する予定だ。

Stability AIは、StableLM Suiteでの取り組みに加え、クラウドソーシングによるRLHFプログラムをキックオフし、AIアシスタント用のオープンソースデータセットを作成するイニシアチブであるOpen Assistantなどのコミュニティの取り組みと連携している。

同社は、近日中にさらに多くのモデルをリリースする予定であり、開発者や研究者と協力してStableLM Suiteを展開することに興奮していると述べている。

Stability AIによると、StableLMのモデルは現在30億から70億のパラメータが利用可能で、150億から650億パラメータのモデルが今後リリースされるとのことだ。

Source

• Stability AI: Stability AIは言語モデル「StableLM Suite」の第一弾をリリース開始