現在、最も広く使われている機械学習（ML）技術の一つ、「PyTorch」は、大きな飛躍となる次世代シリーズ「PyTorch 2.0」の最初の実験的なリリースを発表した。この新しいリリースは、既存のPyTorchアプリケーションコードとの後方互換性を維持しながら、MLのトレーニングと開発の加速を支援することを約束している。
- PyTorch: PyTorch 2.0
- Venture Beat: PyTorch 2.0 release accelerates open-source machine learning
PyTorchは、元々Meta（旧Facebook）が開発した機械学習（ML）フレームワークだったが、2022年9月にLinux Foundationの一部として新たに設立されたPyTorch Foundationに開発が移管されていた。今回の2.0リリースは、その移管後初となる大型アップデートだ。
PyTorch 2.0では、Eager Modeでの開発とユーザーエクスペリエンスはそのままに、PyTorchのコンパイラレベルでの動作を根本的に変更し、パワーアップさせているという。また、より速いパフォーマンスと、Dynamic ShapesとDistributedのサポートを提供するとのことだ。
PyTorchのリードメンテナー Soumith Chintala（スーミス・チンタラ）氏は、VentureBeatのインタビューに対して、以下のように述べている。「我々は、ユーザーが自分のコードベースに新たに挿入しなければならない“torch.compile”という機能を追加しました。ユーザーの皆様には、新たな体験として意義深いものと感じていただけると思います。そのため、我々はこれを“2.0”と呼ぶことにしました。」
PyTorchの一般に入手可能な最新のリリースは、10月末にリリースされたバージョン1.13だ。このリリースでは、IBMからのコード提供により、機械学習フレームワークが大規模ワークロードのための汎用イーサネットベースのネットワーキングでより効果的に動作するようになる重要な変更が行われている。
Chintala氏は、PyTorch 1.0のデフォルトのEager Modeでは不可能だった確かなスピードアップをユーザーにもたらす、torch.compileという新しいパラダイムの導入を進めていることから、まさに「PyTorch 2.0」と呼ぶにふさわしい物であると述べている。
PyTorchプロジェクトが2.0の初期ビルドを検証した約160のオープンソースモデルでは、43%のスピードアップがあり、コードベースへの1行の追加で確実に動作したとのことだ。
PyTorch 2.0では、開発者はEager Modeで実験を始め、モデルを長時間学習させるようになったら、Compile Modeを有効にして性能をさらに向上させることになるという。
「データサイエンティストはPyTorch 2.xで1.xと同じことができるようになりますが、より速く、より大きなスケールで行うことができます。もし、あなたのモデルが5日間かけて学習していたものが、2.xのコンパイルモードでは2.5日で学習できるようになったとしたら、この増えた時間でより多くのアイデアを反復したり、同じ5日以内に学習する大きなモデルを構築することができるのです。」と、スピードアップの利点をChintala氏は強調している。
今更になるが、PyTorchの名前の由来は、データサイエンスで広く使われているオープンソースのプログラミング言語「Python」に由来していることはご存じだろう。しかし、最近のPyTorchのリリースは、完全にPythonで書かれているわけではなく、フレームワークの一部はC++プログラミング言語で書かれている。torch.nnの多くの部分をPythonからC++に移行することで、性能向上を果たしてきたわけだ。
だが、Chintala氏 は、(2.0 ではなく) 後半の 2.x シリーズの中で、PyTorch プロジェクトが torch.nn に関連するコードを Python に戻すことを期待している、と述べている。彼は、C++ は一般的に Python よりも高速だが、新しいコンパイラ (torch.compile) では、同等のコードを C++ で実行するよりも高速になるとしている。
「これらの部分をPythonに戻すことで、ハックしやすくなり、コードを提供する際の障壁が低くなります」とChintala氏は述べた。
Python 2.0の開発は今後数カ月間継続され、一般公開は2023年3月以降になる予定だ。
「PyTorch Foundationはまだ始まったばかりで、もっと長い目で見れば、もっと多くのことを聞けるでしょう。財団は様々なハンドオフを実行し、目標を確立している最中です。」とChintala氏は述べている。
