Microsoft、データモデルを縮小しながらLLMの精度を高める「LASER」を発表

masapoco
投稿日
2024年2月1日 12:14
intelligence

ビッグデータ全盛の時代、データモデルは大きければ大きいほど必然的に精度が高いと一般的に考えられているが、MicrosoftはMicrosoft Research Forum イベントで、「Layer-Selective Rank Reduction (LASER)」と呼ばれるアプローチを発表し、大規模言語モデル (LLM) の精度を損なうことなく、広範なデータセットを巧みにトリミングする方法を明らかにした。

Microsoft Research Forumで、Microsoft Research Lab NYCとAI FrontiersのシニアリサーチャーであるDipendra Misra氏は、LASERが大規模言語モデルをより正確にする方法について説明した。

LASERは、マサチューセッツ工科大学(MIT)とMicrosoft Researchの研究者らが共同開発したアプローチだ。これは、重み行列の高次成分を選択的に削減対象とすることで、LLMの最適化に革命をもたらす可能性がある。モデル全体のパラメータを一律に削減する従来の手法とは異なり、LASERはTransformerモデル内の特定の層に焦点を当て、特に多層パーセプトロン(MLP)と注意層をターゲットとしている。この、より微妙なアプローチにより、冗長性を排除しつつ、本質的な構成要素を保持することができる。

LASERの背後にある方法論は、特異値分解の原理に基づいている。この数学的技法は、重み行列の高次成分を特定し、その後削減する。MLPと注意層内の特定の行列に集中することで、LASERは最も関連性が高く必要な成分のみが保持されるようにする。このように対象を絞った削減を行うことで、より洗練されたモデルの改良が可能になり、全体的な効率を高めながら中核となる機能を維持することが可能となる

LASERを実装することで、Microsoft Research Lab NYCのチームはデータサイエンスコミュニティを驚かせ、モデルの精度がデータ削減の影響を受けないだけでなく、多くの場合、大幅に改善されることを明らかにした。

「我々は、LLM上でLASERを使った介入を行っているので、近似を行うほどモデルの損失が増えるはずだと予想されます。しかし、驚いたことに、適切なタイプのLASER介入を行えば、モデル損失は増加せず、むしろ減少することがわかりました」と、Misra氏は述べている。

このテクノロジーは、RoBERTa、Llama 2、EleutherのGPT-Jを含むいくつかのオープンソースモデルでテストされ、いくつかのトライアルでは、LASER適用後のパフォーマンス精度が70.9%から97.5%へと飛躍的に向上しました。これは大幅な強化であり、AI性能を決定的に向上させる技術の可能性を強調している。

LASERはLLMの最適化における重要な進歩である。計算負荷を増やすことなく、重み行列の成分を選択的に削減することで、モデルの効率を向上させることができる。この技術は、馴染みのあるタスクにおけるLLMの性能を向上させるだけでなく、頻度が低くニュアンスの異なるデータの処理と理解におけるLLMの能力を拡張するものだ。LASERは、より洗練された効率的な言語モデルへの道を開く可能性を示す、注目すべき成果と言える。


論文

参考文献

研究の要旨

Transformerベースの大規模言語モデル(LLM)は、現代の機械学習においてすっかり定着した。それに応じて、この技術をさらに発展させることを目的とした研究に多大なリソースが割かれており、通常、増大するデータ量に対して学習される、増大するサイズのモデルが生み出されている。しかし本研究では、重み行列の高次成分を選択的に除去することで、LLMの性能を大幅に向上させることが可能であるという驚くべき結果を示す。この単純な介入は、LAyer-Selective Rank reduction (LASER)と呼ばれ、学習終了後にモデルに対して行うことができ、追加のパラメータやデータを必要としない。また、LASERがどのような場合に有効で、どのようなメカニズムで機能するのかについて、詳細な分析を行う。



この記事が面白かったら是非シェアをお願いします!


  • money stress
    次の記事

    経済的なストレスは身体の健康に直接的な大きな影響を与えるかも知れない

    2024年2月1日 13:57
  • 前の記事

    iPhone 15シリーズは、Proモデルの満足度が標準モデルよりも低い

    2024年2月1日 11:42
    Apple iPhone 15 Pro lineup color lineup 230912
この記事を書いた人
masapoco

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です


おすすめ記事

  • openai

    OpenAI、15秒の音声サンプルから感情豊かで自然な音声を合成できる「Voice Engine」を発表

  • Babylon 7

    Microsoft、Webゲーム用のグローバルイルミネーションサポートを追加したBabylon.js 7.0を公開

  • a04c35e8e555c1cc7ae1d6a5f3159856

    MicrosoftとOpenAI、1000億ドル以上をかけて超人的AI開発のためのスーパーコンピューター「Stargate」を開発する計画

  • Sam Altman TechCrunch SF 2019 Day 2 Oct 3 cropped cropped

    ベンチャーキャピタリスト、OpenAIのSam Altman氏を“誇大妄想的”と非難

  • google logo image

    Googleが非営利団体を対象に2000万ドルの資金を提供し生成AI活用を支援

今読まれている記事