Microsoft Azureは、ChatGPTなどのジェネレーティブAIを加速するために、NVIDIAの最上位GPUであるH100を搭載したブランドの新しいVirtual Machinesを発表した。

MicrosoftのAIおよびクラウド担当副社長であるScott Guthrie氏は、Bloombergに対して、このスーパーコンピュータの構築のために、Microsoftは数億ドルもの巨費を投じたと述べている。

「我々は、大規模なトレーニングワークロードを可能にすることに焦点を当てた特別な目的のクラスタを構築する必要があると考え、OpenAIはそのための初期の証明点の1つでした。我々は彼らと緊密に連携し、彼らがトレーニング環境を構築する際に求めていたもの、必要なものが何であるかを学びました」と、Azure AIのMicrosoftの企業副社長のEric Boydは、声明の中で述べている。

本日、Microsoftは、NVIDIA Quantum-2 InfiniBandネットワーキングによって相互接続されたNVIDIA H100 GPUの8から数千までのサイズでオンデマンドを可能にするND H100 v5 VMを発表した。顧客は、以下のような革新的な技術により、前世代のND A100 v4 VMよりもAIモデルのパフォーマンスが大幅に向上することが期待出来ると言う。

• 8x NVIDIA H100 Tensor Core GPUは、次世代NVSwitchとNVLink 4.0を介して相互接続される。
• GPUあたり400Gb/秒のNVIDIA Quantum-2 CX7 InfiniBandと、ノンブロッキングファットツリーネットワークのVMあたり3.2Tb/秒のネットワーク。
• NVSwitchとNVLink 4.0により、各VM内の8つのローカルGPU間で3.6TB/秒の2分割帯域幅を実現
• 第4世代Intel Xeonスケーラブル・プロセッサー
• PCIE Gen5ホスト-GPUインターコネクト、GPUあたり64GB/秒の帯域幅を実現。
• 4800MHz DDR5 DIMMを16チャネル搭載

「NVIDIAとMicrosoft Azureは、複数世代の製品を通じて協力し、世界中の企業に最先端のAIイノベーションを提供してきました。NDv5 H100 VMは、生成的なAIアプリケーションとサービスの新時代を後押しします」と、NVIDIAのハイパースケールおよびハイパフォーマンスコンピューティング担当副社長Ian Buck氏は述べている。

ND H100 v5は、本日よりプレビュー提供され、Azureポートフォリオの標準提供となり、誰でもクラウド上でAI at Scaleの可能性を引き出すことができるようになる。

Source

• Microsoft:
  • How Microsoft’s bet on Azure unlocked an AI revolution 
  • Azure previews powerful and scalable virtual machine series to accelerate generative AI
• Bloomberg: Microsoft Strung Together Tens of Thousands of Chips in a Pricey Supercomputer for OpenAI
• via The Verge: Microsoft spent hundreds of millions of dollars on a ChatGPT supercomputer