「HBM之父」：未來AI競爭看記憶體，未來3D架構決勝散熱與供電，中美會追趕上來

被韓國媒體譽為「HBM之父」的韓國科學技術院（KAIST）教授金正浩（Kim Jung-ho）表示，AI的本質就是記憶體。

他在接受《東亞日報》專訪時提出這項顛覆性觀點，指出過去業界過度聚焦於模型演算法與GPU算力，但當大規模模型實際運作時，注意力機制、上下文快取（KV Cache）與推論生成的每一個環節，都高度依賴記憶體系統的支援。

金正浩說明，HBM透過將多層DRAM垂直堆疊，大幅拓展資料傳輸的「車道數」，並生動比喻：「傳統記憶體像8道高速公路，HBM則是1024甚至2048車道，未來可能演進至百萬車道。」

然而，頻寬的提升並未根除瓶頸。大模型在輸出瞬間需頻繁從HBM或未來的HBF（高頻寬快閃記憶體）讀取與寫入資料，導致GPU絕大部分時間處於「等待資料抵達」的閒置狀態。

金正浩估計，即便部署百萬台GPU，真正用於計算的時間僅約10%，即使透過演算法優化，也很難超過30%。

為解決「資料搬運」所產生的能耗與延遲問題，金正浩預測未來AI運算將走向「以記憶體為中心」的架構。

他將理想的3D架構比喻為一棟百層大樓：「在一樓安裝GPU，資料只需搭電梯下樓計算，整棟大樓就能解決所有事，省去長途奔波。」從HBM4開始，部分GPU功能將整合進記憶體結構中。

金正浩進一步描繪三層異質記憶體架構：速度最快的HBM（堆疊DRAM）扮演百貨公司，存放熱門資料；容量巨大的HBF（堆疊NAND）如同公寓群，儲存冷資料；而他提出的HBS（高頻寬SRAM）則作為超低延遲的快取。GPU／CPU將置於頂層，專注於散熱與工作排程。

金正浩特別指出，輝達執行長黃仁勳近期頻繁訪韓，正是因為GPU微架構的效能成長已近停滯，且高發熱特性使其難以像記憶體般大規模堆疊。

他認為，未來3D AI電腦的供電與散熱能力將成為核心競爭力，決定企業的生死存亡。這也意味著，擁有DRAM與NAND雙重技術積累的三星與SK海力士，有機會在未來架構中佔據核心地位。

不過，金正浩也警示，這並非簡單地從「GPU時代」切換為「記憶體時代」，而是GPU、HBM、先進封裝、網路互連與散熱技術的系統級競賽。

面對中國業者積極自研GPU／NPU並帶動本土記憶體發展的追趕壓力，金正浩對韓國業界直言：「這是一場關係生存的長期競爭，只能努力活到最後。」