SK hynixは、高密度化と819GB/sの極端な帯域幅を両立する世界初の12層24GB HBM3メモリを発表した。この製品は前世代と比較して1スタックあたり24GBまで容量が増加している。
SK hynixによると、12層HBM3スタックは、最大16GBのメモリ容量を提供していた従来の8層HBM3スタックと比較して、メモリ容量を50％向上させることができる。このメモリを使用する新製品は発表されていないが、NVIDIAとAMDは、新しいメモリ設計により、今年後半に既存のHopperとInstinct製品をより大容量にリフレッシュして提供する可能性があるだろう。
SK hynixの24GB HBM3 known good stack die (KGSD)製品は、1,024ビットインターフェースのベースレイヤーにTSV (Through Silicon Via)を利用して接続された12個の16Gbメモリデバイスを配置する。このデバイスのデータ転送速度は6,400MT/sであるため、24GB HBM3モジュール全体の帯域幅は819.2GB/sとなる。
実際のメモリサブシステムによるが、このモジュールは、4,096ビットインターフェース上の96GBメモリと6,140ビットインターフェース上の144GBメモリに対して、それぞれ3.2TB/秒～4.915TB/秒の帯域幅を実現できます。この数値の背景として、NVIDIAのH100 NVL（現在までに最も進んだHBM3の実装）は、2つのGH100コンピュートGPUそれぞれについて、96GBのメモリと3.9TB/秒の帯域幅を備えていることが挙げられる。
だが、12層のHBM DRAMを重ねることは、いくつかの理由から困難だ。まず、12層すべてを接続するために、パッケージに約60,000個以上のTSVホールを開けることが難しい。次に、12HiのHBM DRAMパッケージは、8HiのHBM KGSD（通常、700～800ミクロン、Samsungの場合は720ミクロン）よりも物理的に高くできないため、高さが決まっているCPUやGPUの隣に、このようなHBM3 KGSDを設置するのは（可能だとしても）非常に複雑になるそのため、SK hynixのようなDRAMメーカーは、歩留まりや性能を犠牲にすることなく個々のDRAM層を薄くするか（これには多くの課題がある）、層間のギャップを小さくしてベース層を縮小する必要があるのだ。
今回、SK hynixは、8Hi HBM3デバイスと同じ高さの12Hi HBM3製品を作るために、ベース層を縮小するマスリフロー（MR）チップアタッチとダイ間距離を縮小するモールドアンダーフィル（MUF）プロセスを含むアドバンスト・マスリフロー・モールドアンダーフィル（MR-MUF）封止技術を使用し、これを実現したと述べている。
SK hynixは、24GB HBM3製品のサンプルをいくつかの顧客に先行して届けた。この製品は現在、性能評価中であり、今年の下半期に量産を開始する予定である。
Source
