人類の歴史上、最も急激に成長したアプリとして名高い「ChatGPT」だが、それを稼働させるためには「目玉が飛び出る程」の費用がかかると、以前OpenAIのCEOであるSam Altman氏が語っていた。実際にどの程度かかるのかは公表されていないが、調査会社のSemiAnalysisが今回試算した結果を見る限り、確かにそれは“驚愕”と言えるだろう。

同社の試算によると、ChatGPTの運用には、1日あたり約70万ドル（9,891万円）（1クエリあたり約36セント）が必要とのことだ。そして、その費用のほとんどは、AIシステムを稼働させるために必要なハードウェア・インフラに費やされているという。SemiAnalysisはブログ記事でこう書いている：

ChatGPTのコスト見積もりは、いくつかの未知の変数があるため、難しい命題です。私たちは、ChatGPTが1日あたり694,444ドルの計算ハードウェアコストを要することを示すコストモデルを構築しました。OpenAIはChatGPTの運用に3,617台のHGX A100サーバー（28,936GPU）を必要としています。

ChatGPTは、ローンチからわずか2ヶ月後の1月にアクティブユーザー数が1億人を突破した急成長中のテクノロジーのひとつだ。参考までに、同じマイルストーンを達成するのにTikTokは9ヶ月、Instagramは2年半かかっている。SemiAnalysisのチーフアナリストであるDylan Patel氏はInsiderに対し、この初期見積もりはGPT-3に基づいており、より新しいモデルのGPT-4はさらに運用コストが高くなるかもしれないと述べている。

The Information（有料）は先日、OpenAIの著名な支援者であるMicrosoftが、運用コストの削減が期待されるAI専用チップの開発に取り組んでいると報じた。OpenAIはまた、今年初めに20ドルのプレミアムサブスクリプション「ChatGPT Plus」を立ち上げ、現金を稼いでいる。

SemiAnalysisによると、ChatGPTモデルがGoogleの既存の検索ビジネスに使われた場合、「LLM推論コスト」だけで同社の利益から360億ドルを食いつぶしてしまうとのことだ。

「Googleが行うすべての検索に現在のChatGPTを導入するには、512,820.51台のA100 HGXサーバと合計4,102,568個のA100 GPUが必要となります。これらのサーバーとネットワークの総費用は、設備投資だけで1000億ドルを超え、そのうちNvidiaは大きな部分を受け取ることになります」と同社は書いている。

Source

• SemiAnalysis: The Inference Cost Of Search Disruption – Large Language Model Cost Analysis
• via Buisiness Insider: ChatGPT could cost over $700,000 per day to operate. Microsoft is reportedly trying to make it cheaper.