Microsoft、“小さいが強力”な言語モデル「Phi-2」を発表

ChatGPTの登場で大きく脚光を浴びた大規模言語モデル（Large Language Model: LLM）は、なんでもこなせる汎用性の反面、トレーニングに莫大な費用がかかることを考えると、これが採用の主な障壁の一つとなっている。その反面、最近ではMetaのLLaMaのような、小規模でありながら効率が良く、特定の用途に応じてカスタマイズが容易な“小規模言語モデル（Small Language Model: SLM）”がビジネス用途では注目を集めている。

「ほとんどの企業は、より小さく、より安価で、より専門的なモデルが、AIのユースケースの99％においてより理にかなっていることに気づくだろう」と、HuggingFaceのClem Delangue CEOは予測する。

MicrosoftがIgnite 2023にて発表した「Phi-2」は、そんなSLMの最新版だ。「MicrosoftはSLMが大好きです」とMicrosoftの会長兼CEOのSatya Nadella氏は基調講演で述べ、Microsoftの研究部門が高度に専門化されたデータセットに基づいて開発したPhi-2は、従来のモデルよりも格段に優れており、“150倍の大きさのモデルに匹敵する”と述べている。

6月、Microsoftの研究者は、わずか13億のパラメータを持つコード用に最適化されたトランスフォーマーベースの言語モデル、Phi-1を発表した。このモデルは高品質のデータのみで学習され、ベンチマークでは最大10倍のモデルを上回った。

Phi-1.5はその数ヵ月後、同じく13億のパラメータを持ち、AIが生成したさまざまなテキストからなる追加データで学習された。Phi-1.5は、詩を作ったり、電子メールや物語を書いたり、文章を要約したりすることができる。また、画像を分析することもできる。常識、言語理解、推論に関するベンチマークでは、このモデルは100億ものパラメーターを持つモデルに追いつくことができる分野もあった。

Phi-2は27億のパラメーターを持ち、常識、言語理解、論理的推論といったベンチマークテストのパラメーターに対して最先端の性能を発揮する。Phi-1.5と比較して、このモデルは論理的推論と安全性において劇的な向上を示しているという。適切な微調整とカスタマイズにより、この小さな言語モデルはクラウドやエッジ・アプリケーションのための強力なツールとなる、と同社は述べている。

Microsoft Researchで機械学習基礎グループの責任者を務めるSebastien Bubeck氏は、言語モデルの能力をテストする「MT-Bench」ベンチマークのスクリーンショットをXで公開した。

And just to get a sense of what we're talking about with phi-2, see this MT bench https://t.co/5Ghe4Ylnrm result that we ran yesterday.

We're all looking forward to the community feedback, let's keep pushing Open Source and SLMs!!! pic.twitter.com/QZ7H7n4lwU
— Sebastien Bubeck (@SebastienBubeck) November 15, 2023

この結果によると、Phi-2はMeta社のLlama-2-7Bモデルをいくつかの分野で上回っている。Phi-2のチャットバージョンも準備中であり、これらの分野におけるモデルの既存の弱点のいくつかに対処できるかもしれない。

Microsoftが “Models as a Service”を発表

Phi-2とPhi-1.5が、Stable Diffusion、Falcon、CLIP、Whisper V3、BLIP、SAMとともに、Azure AIモデルカタログで利用可能になった。Microsoftはまた、MetaとNVIDIAのCode LlamaとNemotronも追加している。

Microsoftはまた、”Models as a Service“を発表した。開発者はこれを用いて、簡単に言語モデルのサービスを試すことができ、アプリケーションの開発に利用できるようになる。Microsoftは以下のように説明している：

「プロ開発者は、MetaのLlama 2、CohereのCommand、G42のJais、Mistralのプレミアムモデルといった最新のAIモデルを、APIエンドポイントとしてアプリケーションに簡単に統合できるようになります。また、GPUインフラストラクチャのセットアップや管理を心配することなく、独自のデータでこれらのモデルを微調整することができ、リソースのプロビジョニングやホスティング管理の複雑さを解消するのに役立ちます」。

先述のPhi-2もはオープンソースであり、間もなくMicrosoftのModel as a Serviceのカタログに加わる予定であると、Nadella氏は語っている。

Source

Microsoft: Welcoming Mistral, Phi, Jais, Code Llama, NVIDIA Nemotron, and more to the Azure AI Model Catalog