Cerebras、2エクサフロップスのAIスーパーコンピューター「Condor Galaxy」を発表

masapoco
投稿日
2023年7月21日 18:21
016ce0 f3b73db1a81c4846a31e3aa50bed90c1mv2

AI企業Cerebras は、完成時に9カ所に分散配置され、合計36エクサフロップスのFP16性能を発揮する分散型クラスター「Condor Galaxy」スーパーコンピューターを発表した。

このシステムの第一段階は、アラブ首長国連邦のG42(AIの研究開発に重点を置く多国籍コングロマリット)向けに構築されている。システムにはCerebras のCS-2アクセラレータが使用されているが、このアクセラレータは、現在の多くのAIクラスターに見られるGPUやAIアクセラレータとは異なり、NVIDIAのH100のようなPCIeカードやSXMモジュールとして提供されるものではないのだ。

その代わり、同社のWSE-2はディナープレートサイズの巨大なもので、それぞれが85万個のコアと40GBのSRAMを搭載し、20PBpsの帯域幅を実現している。これは、他のアクセラレーターで一般的なHBMよりも桁違いに高速だ。これらのウェハーにはそれぞれ12個の100Gbpsインターフェイスが搭載されており、システムを最大192システムまで拡張することができる。

現在、Condor Galaxy 1(CG-1)は32ラックに及び、各ラックにはチップメーカーのウェハースケールCS-2アクセラレータが搭載されている。これは、Cerebrasの以前のシステム「Andromeda」の2倍のサイズとなる。このマシンは、41TBのメモリ、194Tbpsの内部バンド幅、2エクサフロップスのピーク性能を誇る。しかし、これは従来のHPCシステムに期待されるエクサフロップスとは異なる。

HPCシステムは倍精度(FP64)で測定され、多くの場合LINPACKベンチマークを使用します。一方、AIシステムはこのレベルの精度の恩恵は受けず、FP32、FP16、FP8、場合によってはInt8の計算で済ませることができる。この場合、Cerebrasのシステムは、FP16のスパース性で最も優れた数値を達成している。

完全に組み立てられると、約1億ドルのシステムは64ラックに及び、それぞれにCS-2アクセラレーターが搭載される。このシステムはリニアにスケールすることが期待されており、完全なクラスターはスパースFP16で4エクサフロップス、Andromedaの4倍の性能を発揮することになる。最後の32ラックは、今後3ヶ月以内に設置される予定である。

このシステムは、高性能計算とAI/MLアプリケーションに特化したコロケーション・プロバイダーである Colovoreのサンタクララ施設に設置される。さらに2つの米国拠点がノースカロライナ州アッシュビル(CG-2)とテキサス州オースティン(CG-3)に建設され、2024年前半に完成する予定だ。これらのシステムはネットワーク化され、拠点間でモデルを分散できるようになる。これは、特定の大規模でレイテンシ耐性のあるワークロードに対して可能なプロセスである。

最終段階では、さらに6つのサイトを建設する予定で、その場所はまだ公表されていない。完成したCondor Galaxyシステムには、576基のCS-2アクセラレーターが搭載され、36エクサフロップスのスパースFP16性能を発揮するという。Cerebras社は、2024年末までに9カ所すべての設置を完了することを目指している。

Cerebrasはシステムの運用と管理を行うが、システムの所有権はG42にあり、G42はシステムを社内のワークロードに使用する予定である。G42社で消費されずに残ったリソースは、G42社とCerebras社の顧客双方に提供されるとのことだ。


Sources



この記事が面白かったら是非シェアをお願いします!


  • PlayStation 5 image
    次の記事

    PS5 Pro、「加速レイトレーシング」や「8Kパフォーマンスモード」を備え、2024年11月に発売との噂

    2023年7月22日 6:21
  • 前の記事

    小型モジュール炉の大きな問題点

    2023年7月21日 18:03
    NuScale Power Module 800x613 1
この記事を書いた人
masapoco

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

おすすめ記事

  • openai

    OpenAI、15秒の音声サンプルから感情豊かで自然な音声を合成できる「Voice Engine」を発表

  • a04c35e8e555c1cc7ae1d6a5f3159856

    MicrosoftとOpenAI、1000億ドル以上をかけて超人的AI開発のためのスーパーコンピューター「Stargate」を開発する計画

  • Sam Altman TechCrunch SF 2019 Day 2 Oct 3 cropped cropped

    ベンチャーキャピタリスト、OpenAIのSam Altman氏を“誇大妄想的”と非難

  • google logo image

    Googleが非営利団体を対象に2000万ドルの資金を提供し生成AI活用を支援

  • Pixel 8 in Rose.max 936x936.format webp

    Google、方針を転換しPixel 8にもGemini NanoによるオンデバイスAI機能を搭載へ

今読まれている記事