Appleは同社の「Machine Learning Research ブログ」で、StableDiffusionプロジェクトに対するAppleとしてのサポートを発表した。それによると、リリースされたばかりのmacOS 13.1 beta 4とiOS 16.2 beta 4で、Apple Siliconチップ上でStable Diffusionを実行する際のパフォーマンスを大幅に向上させるためのアップデートが含まれているとのことだ。
- Apple Machine Learning Research: Stable Diffusion with Core ML on Apple Silicon
Appleの新しいハードウェア最適化のおかげで、Core ML StableDiffusionモデルは、Mシリーズチップに搭載されたNeural EngineとApple GPUアーキテクチャを最大限に活用することができるようになった。
GitHubにあるAppleのベンチマークによると、Appleの新しいCore ML Stable Diffusion最適化によって、M1チップで512×512の50ステップの画像を35秒で生成することができるとのことだ。M2では23秒、Appleの最も強力なSiliconチップであるM1 Ultraでは、わずか9秒で同じ結果を得ることができる。これは劇的な進歩で、M1の場合、生成時間はこれまでのほぼ半分だ。
ちなみに、RTX 3060 で 50 ステップで 512×512 の画像を生成するには、マシンで約 8.7 秒かかる。
加えて、Appleは、StableDiffusionのソースモデルをCore MLネイティブ形式に変換する方法を示すドキュメントとサンプルコードを広範に公開している。
AppleのGitHubリリースは、Stable DiffusionのモデルをPyTorchからCore MLに変換するPythonパッケージと、モデル展開のためのSwiftパッケージが含まれている。Stable Diffusion 1.4、1.5、そして新たにリリースされた2.0に対して最適化が施されている。
現時点では、Mac上でローカルにCore MLを使ったStable Diffusionを設定する体験は開発者向けで、基本的なコマンドラインのスキルが必要だ。
Appleは、この取り組みにより、開発者がバックエンドのクラウドサービスに依存するのではなく、クライアント上で動作するStableDiffusionをアプリに統合することを期待している。
