Metaは、同社の大規模言語モデル（LLM）であるLlama 2の上に構築された、自然言語（特に英語）でコードを生成し説明できる機械学習システム「Code Llama」をオープンソースとして公開した。Code LlamaはLlama 2と同じコミュニティ・ライセンスを使用し、研究および商用利用は自由である。
Code Llamaは、コードとプロンプトに対する自然言語応答を生成することで、ソフトウェア開発者を支援することを目的としている。GitHub CopilotやAmazon CodeWhisperer、StarCoder、StableCode、PolyCoderのようなオープンソースのAIコードジェネレータと同様に、Python、C++、Java、PHP、Typescript、C#、Bashなど、さまざまなプログラミング言語でコードを完成させ、既存のコードをデバッグすることができる。
「プログラマーはすでに、新しいソフトウェアの作成から既存のコードのデバッグまで、様々な作業を支援するためにLLMを使っています。目標は、開発者のワークフローをより効率的にし、彼らの仕事の最も人間中心的な側面に集中できるようにすることです」と、Metaはプレスリリースで述べている。
Code Llamaは、70億、130億、340億パラメータの3つのサイズでリリースされる。小さいサイズの70億と130億のモデルは、リアルタイムのコード補完のような低遅延のケースに最適化されている。340億のモデルは全体として最高の結果をもたらすが、その分多くのコンピューティング・パワーを必要とする。
さらに、MetaはCode LlamaのPython版とInstruct版を微調整した。Pythonバージョンは、Pythonコード生成タスクの機能を強化している。一方、Instructバージョンは、自然言語プロンプトに対してより安全で親切な応答を生成するように微調整されている。
Metaは、Code Llamaがベンチマークテストに基づき、一般に公開されているLLMよりも優れたパフォーマンスを示したと主張しているが、どのモデルに対してテストしたかは具体的に明らかにしていない。同社によると、Code LlamaはコードベンチマークHumanEvalで53.7％のスコアを記録し、テキスト記述に基づいて正確にコードを記述することができたという。
コード・ジェネレーターは以前から開発者の作業を助けてきた。GitHubは3月、OpenAIのGPT-4を搭載したCopilot Xを発表し、コードを素早く書いてチェックできるようにした。GitHub Copilotは、古いコードを書き換えて更新することもできる。AmazonのAWSにもCodeWhispererがあり、こちらもコードの記述、チェック、更新を行う。GoogleにもAlphaCodeというコード作成ツールがあるが、これはまだリリースされていない。
ちなみに、GitHubの親会社であるMicrosoftとOpenAIは、このツールがライセンスされたコードを複製できることから、Copilotが著作権法に違反しているとして訴えられている。
Source
