ChatGPTをはじめとする言語/画像/動画生成ツールは、AIの処理能力に大きく依存しているが、このAI関連の処理に強いGPUを提供しているのがNVIDIAだ。OpenAIは、増大するAI要件に対応するためにNVIDIAのGPUを活用している。だが、昨年から続くジェネレーティブAIの活況は、NVIDIAのGPU供給能力を上回る需要を呼ぶ可能性がある。

FierceElectronicsが報じたように、ChatGPT（Open.AIによるベータ版）はNVIDIAの1万個のGPUでトレーニングされていたが、リリース後の尋常ではない人気により、システムが過負荷になり、ユーザーの需要に応えられない程となった。これを無料で提供し続けることは、OpenAIとしても負担が大きく、このため、ピーク時でもサーバーへの一般的なアクセスを提供するだけでなく、より速いレスポンスタイムと新機能＆改善への優先アクセスを実現する、新しいChatGPT Plusという有料のサブスクリプションプランを発表している。ChatGPT Plus のサブスクリプションは、月額 20 ドルで利用できる。

“ChatGPT”や他のディープラーニングモデルが、将来的に他のベンダーのGPUでトレーニングまたは実行される可能性はあります。しかし、現在、NVIDIA GPUは、その高い性能とCUDAのサポートにより、深層学習コミュニティで広く使用されています。CUDAは、NVIDIA社が開発した並列計算プラットフォームとプログラミングモデルで、NVIDIA GPU上で効率的に計算を行うことができます。TensorFlowやPyTorchなど、多くの深層学習ライブラリやフレームワークは、CUDAのサポートを内蔵しており、NVIDIA GPUに最適化されています。

FierceElectoronics

MicrosoftやGoogleなどの大手ハイテク企業も、ChatGPTのようなを検索エンジンに統合することを計画しているとForbesは報じている。Googleがこれをすべての検索クエリに組み込むには、512,820台のA100 HGXサーバーと合計4,102,568個のA100 GPUが必要となり、サーバーとネットワークのコストだけで1,000億ドル規模の設備投資になるはずとのことだ。

Googleが行うすべての検索に現在のChatGPTを導入するには、512,820.51台のA100 HGXサーバーと合計4,102,568個のA100 GPUが必要になります。これらのサーバーとネットワークの総コストが、設備投資だけで1,000億ドルを超え、そのうちNvidiaが多くの部分を受け取ることになる。もちろん、こんなことはあり得ないのだが、ソフトウェアやハードウェアの改良が行われないと仮定すれば、楽しい思考実験だ。

Semi Analysis

Investing.comによると、アナリストの予測では、BETAで使用されていた1万個のNVIDIA GPUに対して、現在のChatGPTのモデルは約2万5000個ほどのNVIDIA GPUで学習されているとのことです。

「GPT 5は現在25k GPU、つまり225ミリメートルほどのNVIDIAハードウェアで学習されており、推論コストは我々が見た数字よりもずっと低いと思われる」とアナリストは書いている。「さらに、推論コストの削減は、クラウドの巨人たちによる『検索コスト』論争を解決する上で重要な意味を持つだろう。」

Investing.com

これはNVIDIAにとっては良いニュースかも知れないが、消費者、特にゲーマーにとってはあまり良いニュースではない。もしNVIDIAがAI GPUビジネスに機会を見出したら、ゲーミングGPUの代わりにそちらに優先的に供給する可能性もある。ゲーミングGPUは、すでに今期、旧正月の影響で供給が制限されると伝えられており、在庫はまだあるものの、すでに品薄になっているハイエンドGPUにとっては問題となるかも知れない。さらに、ハイエンドGPUは、サーバーパーツとしてより高いAI機能をはるかに低価格で提供するものでもあり、ゲーマーからさらに供給を奪って有利な選択肢となる可能性がある。

Source

• FierceElectronics: Update: ChatGPT runs 10K Nvidia training GPUs with potential for thousands more
• Investing.com: Analysts positive on NVIDIA’s ChatGPT, AI opportunity