PyTorch Edgeは、モバイルおよびエッジデバイスのオンデバイス推論機能を可能にするソリューション、「ExecuTorch」を発表した。Arm、Apple、Qualcomm Innovation Centerといった業界の巨人からの戦略的支援を受け、PyTorch EdgeはオンデバイスAI展開の未来を再定義しようとしている。

ExecuTorchは、オンデバイスAIエコシステム内の断片化という長年の課題に取り組んでいる。サードパーティのソリューションをシームレスに統合し、特殊なハードウェア上で機械学習モデルの実行を加速できるようにし、練り上げられた設計を提供するものだ。

PyTorch Edgeのパートナーは、カスタムデリゲートの実装を提供し、それぞれのハードウェアプラットフォームでのモデル推論実行を最適化している。

ExecuTorchの主要コンポーネントには、軽量な演算子レジストリを備えたコンパクトなランタイムが含まれ、多様なPyTorchモデルをカバーしている。この合理的なアプローチにより、携帯電話から組み込みハードウェアまで、様々なエッジデバイス上でのPyTorchプログラムの実行が容易になる。

ExecuTorchは、ソフトウェア開発者キット（SDK）とツールチェーンも同梱しており、ML開発者に、モデルのオーサリング、トレーニング、デバイスの委譲を、すべて単一のPyTorchワークフロー内で行うための直感的なユーザーエクスペリエンスを提供する。このツール群により、開発者はデバイス上でのモデルプロファイリングと強化されたデバッグ機能を利用できるようになる。

ExecuTorchの特徴の1つは、その移植性だ。ハイエンドのスマートフォンから制約のある組み込みシステムやマイクロコントローラまで、幅広いコンピューティング・プラットフォームと互換性がある。さらに、モデルのオーサリングや変換からデバッグやデプロイまで、プロセス全体を効率化することで開発者の生産性を向上させる。

PyTorch Edgeを使用することで、MLエンジニアは、視覚、音声、NLP、翻訳、ランキング、整合性、コンテンツ作成タスクなど、さまざまなMLモデルをエッジデバイスにシームレスに展開することができるようになる。これは、拡張現実（Augmented Reality）、仮想現実（Virtual Reality）、モバイル、IoTなどの領域でオンデバイスソリューションの需要が高まっていることと完全に一致するだろう。

PyTorch Edgeのフレームワークは、コアコンポーネントの移植性を確保し、多様なハードウェア構成のデバイスに対応する。特定のユースケースのためのカスタム最適化は、明確に定義されたエントリーポイントやツールと相まって、活気あるエコシステムを作り出し、オンデバイスAIスタックの未来を形作る。

ExecuTorchの発表により、PyTorch EdgeはオンデバイスAI導入の状況を一変させる準備が整った。コミュニティは、業界パートナー代表団のサポートによって強化されたモバイルおよびエッジデバイスにわたるExecuTorchのオンデバイス推論機能から生まれる革新的なアプリケーションを心待ちにしている。

Source

• PyTorch: PyTorch Edge: Enabling On-Device Inference Across Mobile and Edge Devices with ExecuTorch