「HBMの父」：未来のAI競争は記憶体にあり、3Dアーキテクチャの勝負は放熱と電源で決まる

韓国メディアから「HBMの父」と称される韓国科学技術院（KAIST）の金正浩（Kim Jung-ho）教授は、AIの本質は記憶体であると語りました。

彼は『東亜日報』のインタビューで、従来の業界がモデルのアルゴリズムやGPUの計算能力に注目してきたが、大規模モデルが実際に動作する際には、アテンション機構やKVキャッシュ、推論生成のすべての段階で、記憶体システムに強く依存していると指摘しました。

金教授は、HBMが複数のDRAMを垂直に積み重ねることで、データ伝送の「車線数」を大幅に拡張すると説明し、「従来の記憶は8車線の高速道路だが、HBMは1024、あるいは2048車線に相当し、将来は百万車線へと進化するかもしれない」と比喩しました。

しかし、帯域幅の向上だけではボトルネックは解消されません。大規模モデルは出力時にHBMや将来のHBF（高帯域フラッシュメモリ）から頻繁にデータの読み書きを行うため、GPUの大部分の時間が「データ到着を待つ」状態に陥ります。

金教授は、百万台のGPUを導入しても、実際に計算に使われる時間は約10％に過ぎず、アルゴリズムの最適化を施しても30％を超えるのは難しいと推定しています。

この「データ移動」に伴うエネルギー消費と遅延を解決するため、金教授は今後のAI演算が「記憶体中心」になると予測しています。

理想的な3D構造を「100階建てのビル」に例え、「1階にGPUを設置し、データはエレベーターで下に降りて計算し、すべてをその建物内で完結させれば、長距離の移動が不要になる」と説明しました。HBM4以降では、一部のGPU機能が記憶体構造に統合されると予想されています。

さらに、金教授は3層の異種メモリ構造を提唱しています。最も高速なHBM（積層DRAM）は百貨店のようにホットデータを保持し、大容量のHBF（積層NAND）はアパート群のようにコールドデータを保存します。そして、彼が提唱するHBS（高帯域SRAM）は超低遅延のキャッシュとして機能します。GPU／CPUは最上層に配置され、放熱とスケジューリングに特化します。

金教授は特に、NVIDIAのCEOジェンスン・フアン（黄仁勳）が最近韓国を頻繁に訪れている理由は、GPUのマイクロアーキテクチャの性能向上が頭打ちになり、高発熱の特性からメモリのように大規模に積み重ねることが難しいためだと指摘しました。

彼は、今後の3D AIコンピュータの電源供給と放熱能力が企業の生死を分ける核心競争力になると強調しています。これは、DRAMとNANDの両方の技術を有する三星電子とSKハイニクスが、将来のアーキテクチャで中心的立場を占めるチャンスがあることを意味します。

ただし、金教授はこれが単なる「GPU時代」から「記憶体時代」への移行ではなく、GPU、HBM、先進パッケージング、ネットワーク接続、放熱技術のシステムレベルの競争であると警告しています。

中国企業が自社開発のGPU／NPUを積極的に推進し、国内メモリ産業の発展を後押しする中、金教授は韓国業界に対し、「これは生存をかけた長期的な競争であり、最後まで生き残るしかない」と率直に語りました。