MetaとMicrosoftが提携し、新たな大規模言語モデル「Llama 2」をリリース

Microsoftは、Bing AIチャットボットでOpenAIの大規模言語モデル（LLM)「GPT-4」を採用しており、OpenAIに多額の資金を投入するなど堅固なパートナーシップを結んでいるが、どうやらMicrosoftのAI戦略はそれだけに留まらないようだ。

Microsoftは本日、Metaとの新たなパートナーシップを発表し、商用と研究目的の両方を目的とした次世代の大規模言語モデルである「Llama 2」をリリースすることを発表した。

発表に際し、Microsoftは以下のように述べている：

Llama 2は、開発者や組織が生成AIを搭載したツールや体験を構築できるように設計されています。MetaとMicrosoftは、AIとその利点を民主化するというコミットメントを共有しており、MetaがLlama 2でオープンなアプローチを取っていることに興奮しています。我々は、開発者が構築するモデルの種類に選択肢を提供し、オープンモデルやフロンティアモデルをサポートします。また、MetaがLlama 2の新バージョンを初めて商用顧客にリリースする際に、Metaの優先パートナーになれることを嬉しく思います。

Llama 2はオープンソースの大規模言語モデルであり、研究および商用利用向けに無料で提供されるという。MicrosoftとMetaのパートナーシップにより、Llama 2はAzure AIモデルカタログで利用できるようになり、Microsoft Azureを使用している開発者はLlama 2を使ってビルドし、コンテンツフィルタリングや安全機能のためのクラウドネイティブツールを活用することが可能となる。また、Llama 2はWindows上でローカルに動作するように最適化されているため、開発者はさまざまなプラットフォームで顧客にジェネレーティブなAI体験を提供する際に、シームレスなワークフローを実現できる。Llama 2は、Amazon Web Services（AWS）、Hugging Face、その他のプロバイダーからも利用できる。

MetaのCEO Mark Zuckerberg氏はFacebookの投稿で、Llama 2の詳細について、従来の大型言語モデルであるLlama 1との違いを含めて明らかにした：

Llama 2は、Llama 1よりも40％多いデータで事前学習され、アーキテクチャに改良が加えられています。ファインチューニングされたモデルには、100万以上の人間のアノテーションを収集し、教師ありのファインチューニングと人間のフィードバックによる強化学習（RLHF）を適用しました。

Llama 2は、7Bから70Bのパラメータを持つ3つのバリエーションで展開される。学習済みモデルは、2兆個のトークンで学習され、Llama 1の2倍のコンテキスト長を持つ。その微調整されたモデルは、100万以上の人間のアノテーションで訓練されているという。

また、Llama 2は、推論、コーディング、習熟度、知識テストを含む多くの外部ベンチマークにおいて、他のオープンソース言語モデルを上回っているとのことだ。

そして、Llama 2は特に“責任”に重きを置いて開発されている。AIが社会に大きな進歩をもたらす一方で、リスクも伴うことを念頭に置きながら、透明性とアクセスの促進に取り組んで開発された様だ。具体的には、以下の特徴がある。

レッドチーム演習：私たちの微調整されたモデルは、社内外の取り組みを通じてレッドチーム（安全性のテスト）を受けました。チームは、モデルの微調整を容易にするため、敵対的なプロンプトを生成することに努めました。さらに、微調整したモデルについて、同様に性能のギャップを特定するために、第三者に依頼して外部の敵対的テストを実施しました。これらの安全性の微調整プロセスは反復的なものです。私たちは、微調整とベンチマーキングを通じて安全性への投資を継続し、これらの努力に基づいて微調整された最新のモデルを発表する予定です。
透明性の図式：モデルの微調整と評価方法を説明し、その欠点を明らかにします。研究論文の中にある透明性の概略図では、私たちが経験した既知の課題と問題点を開示し、講じた緩和策と今後検討する予定のものについての洞察を提供します。
責任ある使用ガイド：責任ある開発と安全性評価のためのベストプラクティスで開発者をサポートするためのリソースとして、このガイドを作成しました。このガイドには、業界やAI研究コミュニティで議論されている、責任あるジェネレーティブAIに関する現在の最先端の研究を反映したベストプラクティスの概要が記載されています。
利用ポリシー：私たちは、これらのモデルが公正かつ責任を持って使用されていることを保証するために、特定の使用ケースを禁止するポリシーを設けています。

GPT-4やAnthropicのClaude 2と同様、責任ある利用が強調されているのは驚くべきことではない。AIの進歩に伴い、殺人ロボットやAIによる誤情報の拡散が懸念される中、AI規制に関する政治的な動きも加速しており、開発者にはより安全なAIの開発・運用が求められている。

MicrosoftにとってLlama 2は、GoogleのようなAIのライバルに先んじるための新たな試みだ。MicrosoftはすでにAzureやBingなどの製品でOpenAIのシステムを利用している。Metaとのコラボレーションにより、Microsoftのビジネス顧客は、特にニーズに合わせてモデルを微調整することに興味がある場合、より多くの選択肢を得ることができる。

Sources