Microsoft、“小さいが強力”な言語モデル「Phi-2」を発表

masapoco
投稿日 2023年11月17日 9:43
microsoft phi 2

ChatGPTの登場で大きく脚光を浴びた大規模言語モデル(Large Language Model: LLM)は、なんでもこなせる汎用性の反面、トレーニングに莫大な費用がかかることを考えると、これが採用の主な障壁の一つとなっている。その反面、最近ではMetaのLLaMaのような、小規模でありながら効率が良く、特定の用途に応じてカスタマイズが容易な“小規模言語モデル(Small Language Model: SLM)”がビジネス用途では注目を集めている。

「ほとんどの企業は、より小さく、より安価で、より専門的なモデルが、AIのユースケースの99%においてより理にかなっていることに気づくだろう」と、HuggingFaceのClem Delangue CEOは予測する。

MicrosoftがIgnite 2023にて発表した「Phi-2」は、そんなSLMの最新版だ。「MicrosoftはSLMが大好きです」とMicrosoftの会長兼CEOのSatya Nadella氏は基調講演で述べ、Microsoftの研究部門が高度に専門化されたデータセットに基づいて開発したPhi-2は、従来のモデルよりも格段に優れており、“150倍の大きさのモデルに匹敵する”と述べている。

6月、Microsoftの研究者は、わずか13億のパラメータを持つコード用に最適化されたトランスフォーマーベースの言語モデル、Phi-1を発表した。このモデルは高品質のデータのみで学習され、ベンチマークでは最大10倍のモデルを上回った。

Phi-1.5はその数ヵ月後、同じく13億のパラメータを持ち、AIが生成したさまざまなテキストからなる追加データで学習された。Phi-1.5は、詩を作ったり、電子メールや物語を書いたり、文章を要約したりすることができる。また、画像を分析することもできる。常識、言語理解、推論に関するベンチマークでは、このモデルは100億ものパラメーターを持つモデルに追いつくことができる分野もあった。

Phi-2は27億のパラメーターを持ち、常識、言語理解、論理的推論といったベンチマークテストのパラメーターに対して最先端の性能を発揮する。Phi-1.5と比較して、このモデルは論理的推論と安全性において劇的な向上を示しているという。適切な微調整とカスタマイズにより、この小さな言語モデルはクラウドやエッジ・アプリケーションのための強力なツールとなる、と同社は述べている。

Microsoft Researchで機械学習基礎グループの責任者を務めるSebastien Bubeck氏は、言語モデルの能力をテストする「MT-Bench」ベンチマークのスクリーンショットをXで公開した。

この結果によると、Phi-2はMeta社のLlama-2-7Bモデルをいくつかの分野で上回っている。Phi-2のチャットバージョンも準備中であり、これらの分野におけるモデルの既存の弱点のいくつかに対処できるかもしれない。

Microsoftが “Models as a Service”を発表

Phi-2とPhi-1.5が、Stable Diffusion、Falcon、CLIP、Whisper V3、BLIP、SAMとともに、Azure AIモデルカタログで利用可能になった。Microsoftはまた、MetaとNVIDIAのCode LlamaとNemotronも追加している。

Microsoftはまた、”Models as a Service“を発表した。開発者はこれを用いて、簡単に言語モデルのサービスを試すことができ、アプリケーションの開発に利用できるようになる。Microsoftは以下のように説明している:

「プロ開発者は、MetaのLlama 2、CohereのCommand、G42のJais、Mistralのプレミアムモデルといった最新のAIモデルを、APIエンドポイントとしてアプリケーションに簡単に統合できるようになります。また、GPUインフラストラクチャのセットアップや管理を心配することなく、独自のデータでこれらのモデルを微調整することができ、リソースのプロビジョニングやホスティング管理の複雑さを解消するのに役立ちます」。

先述のPhi-2もはオープンソースであり、間もなくMicrosoftのModel as a Serviceのカタログに加わる予定であると、Nadella氏は語っている。


Source



この記事が面白かったら是非シェアをお願いします!


  • BlueSeaBargeAbove web logo
    次の記事

    国家によるAI規制を逃れるため、公海上にAIデータセンターを構築する計画が発表

    2023年11月17日 10:51
  • 前の記事

    インフレーションの反響が今も宇宙を揺るがしているかもしれない

    2023年11月17日 8:41
    11106

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です


今読まれている記事