IntelのNPUアクセラレーション・ライブラリがオープンソース化 – Meteor Lake CPUでTinyLlamaや他の軽量LLMが実行可能に

masapoco
投稿日
2024年3月3日 17:37
Intel Meteor Lake processor

Intelは、同社の新しいMeteor Lakeノートパソコンに搭載されているNeural Processing Unit(NPU)と連動するためのWindowsおよびLinuxシステム用ユーザースペースライブラリ「NPUアクセラレーション・ライブラリ」をオープンソース化し、開発者や経験のある一般ユーザーが、Meteor LakeなどのIntel AI CPUを利用してAIチャットボットなどのAIエンジンを最適に動作させることが出来る様にしている。

今回の発表は、Intel自身の公式発表に先立ち、同社のテック・エバンジェリストであるTony Mongkolsmai氏によってもたらされた。

このライブラリは現在GitHubで公開されている。NPUアクセラレーション・ライブラリは、Meteor Lake「Core Ultra」シリーズなどのCPUラインナップから搭載されたNPUの潜在能力を活用するための便利なPythonライブラリだ。高レベルのインターフェースを提供することで開発を簡素化し、TensorFlowやPyTorchのような一般的なフレームワークをサポートすることで、開発者はAI関連のタスクを効率化するためにライブラリの機能を活用する力を得ることができる。

Mongkolsmai氏は、Intel Core Ultra CPUを搭載したMSI Prestige 16 AI EvoラップトップでNPUアクセラレーション・ライブラリを実行していた。彼はこのマシンでTinyLlamaとGemma-2b-it LLMモデルをパフォーマンスの中断なしに実行することができる事を示し、IntelのNPUを用いて、開発者のためのエッジAI環境をどのように促進するかを見せている。以下は、Intelの開発チーム自身によるライブラリの説明である:

Intel® NPU アクセラレーション・ライブラリーは、Intel® Neural Processing Unit (NPU) のパワーを活用し、互換性のあるハードウェア上で高速計算を実行することで、アプリケーションの効率を高めるために設計された Python ライブラリーです。

ライブラリーのパフォーマンスを大幅に向上させるため、以下のような主要機能の実装に取り組んでいます:

  • 8ビット量子化
  • 4ビット量子化とGPTQ
  • NPU-ネイティブ混合精度推論
  • Float16サポート
  • BFloat16(脳浮動小数点フォーマット)
  • torch.compileサポート
  • LLM MLP水平フュージョン実装
  • 静的形状推論
  • MHA NPU推論
  • NPU/GPUヘテロ計算
  • Paper

NPUアクセラレーション・ライブラリはその名の通りNPU向けに作られており、現時点ではMeteor Lakeしか実行できない。今年後半に予定されているArrow LakeとLunar LakeのCPUにもNPUは搭載され、この傾向も続くだろう。これらの次期CPUは、Meteor Lakeの3倍のAI性能を提供し、ラップトップやデスクトップ・シリコン上でさらに大規模なLLMを実行できるようになる可能性が高い。

Intel NPUアクセラレーション・ライブラリーは、8ビット量子化、Float16サポート、torch.compileサポート、静的形状推論、その他の機能をサポートしている。これは、GitHubからダウンロードするか、PIP経由でインストールすると便利だ。


Source



この記事が面白かったら是非シェアをお願いします!


  • gen ai worm
    次の記事

    ChatGPTやGeminiを感染させるAIワームは機密データを盗み出しマルウェアを効果的に拡散させる

    2024年3月4日 6:15
  • 前の記事

    MetaはTSMCへの依存度を減らすためにSamsungへの製造依頼も選択肢に入れている

    2024年3月3日 17:02
    Samsung HQ Image
この記事を書いた人
masapoco

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です


おすすめ記事

  • Intel glass substrate 5

    Appleがガラスコア基板の採用に向けて協議を進めている

  • openai

    OpenAI、15秒の音声サンプルから感情豊かで自然な音声を合成できる「Voice Engine」を発表

  • a04c35e8e555c1cc7ae1d6a5f3159856

    MicrosoftとOpenAI、1000億ドル以上をかけて超人的AI開発のためのスーパーコンピューター「Stargate」を開発する計画

  • Sam Altman TechCrunch SF 2019 Day 2 Oct 3 cropped cropped

    ベンチャーキャピタリスト、OpenAIのSam Altman氏を“誇大妄想的”と非難

  • sibelco spruce pine

    世界の半導体は米国のたった1カ所の鉱山に支えられている

今読まれている記事