AIスタートアップの「Stability AI」は、画像生成AI「Stable Diffusion」で知られているが、同社は画像生成にのみ取り組んでいるのではなく、先日はChatGPTのようなAIチャットボットを実現する、大規模言語モデル「FreeWilly」を発表しており、その展開を広げている。
本日、同社は新たな取り組みの1つである「StableCode」を発表し、コード生成分野にも参入する。
Stability AIによると、StableCodeは3つのモデルに基づいている。
基本モデルは、Eleuther社のGPT-NeoXをベースに構築され、30億パラメータを持ち、BigCodeのスタック・データセット（v1.2）から多数のプログラミング言語で事前に訓練され、その後、Python、Go、Java、Javascript、C、Markdown、C++などのプログラミング言語を追加して拡張され、合計5,600億トークンのコードをHPCクラスタで学習した。
この基本モデルの上に命令モデルが構築され、Alpaca形式を用いて「複雑なプログラミングタスクを解く」ための具体的な応用例を用いて改良された。Stability AIは、合計12万組の命令とその解を使用した。
同じようなパラメータ数とトークン数でトレーニングされた他のモデルとのHumanEvalベンチマーク比較は以下の通りとなる。
4Kのコンテキスト・ウィンドウを持つ標準モデルに加えて、StableCodeには16Kのバリエーションも存在する。より大きなコンテキスト・ウィンドウは、タスクを解決するために一度に多くのコードを表示することを可能にし、より良いコードを生成する可能性がある。
Stability AIによると、16Kモデルは、最大5つの中型Pythonファイルに相当するコードを一度に表示または編集できる。どちらのモデルも、1行または複数行のコードを生成し、完成させることができる。
「あらゆる背景を持つ人々が、AIを使って日常的な問題を解決し、生活を向上させるためのコードを作成できるようになる日は近い」と、Stability AIのCEOであるEmad Mostaque氏はまた、StableCodeの “非常に興味深いバリエーション”の登場も予告している。
SD XL画像モデルのバージョン1.0に加え、Stability AIは4月に初のオープンソース言語モデルStableLMと、MetaのLlama v2をベースに合成データセットで改良した言語モデルFreeWillyをリリースした。これらはオリジナルのモデルやGPT-3.5（ChatGPT）の性能と同等か、ある程度上回っている。
時を同じくして、Googleもコード生成機能を備えたAIベースの統合開発環境（IDE）である、Project IDXを発表しており、ソフトウェア開発分野でのAI競争も活況を呈しそうだ。
StableCodeは、Apacheライセンス、バージョン2.0のオープンソースソフトウェアとして公開される。
Source
- Stability AI: Announcing StableCode
