黄仁勳が語るAI新時代の青写真：GPUからAI工場へ、輝達が未来の計算を再定義

輝達 (NVDA-US) の執行長、黄仁勳は、先日、スタンフォード大学の講義「CS153：最先端システム」に招かれ、学生たちとコンピューティング産業の将来について対談した。彼の講演では、一つの核心的な主張が示された。一般的にAIは、画像認識や文章生成、プログラミング支援といった、コンピュータ内の新しいアプリケーションとして捉えられているが、その理解はもはや狭すぎるというのだ。

黄仁勳によれば、実際に起きている変化は、チップ、ネットワーク、ストレージ、データセンター、さらにはソフトウェア開発のスタイルに至るまで、コンピューティングの全体がAIを中心に再構築されつつあることだ。彼はこれを、IBM System/360の登場以来、コンピューティング産業が真に意味するところの「再発明」が初めて起こっていると表現した。

黄仁勳は指摘する。過去数十年間のコンピュータの動作原理は、本質的に、プログラマーがコードを書き、コンパイラがそれをバイナリに変換し、プロセッサが固定された命令に従って実行するという流れだった。インターネット、クラウドコンピューティング、モバイルデバイスが次々と登場しても、この根本的なロジックを揺るがすことはなかった。

しかし、ニューラルネットワークの出現がこのパターンを打ち破った。機械はもはや人間が書き下した固定ルールを実行するだけではなく、データから構造を学習し、その場の状況に応じて即座に答え、画像、行動、さらにはコードを生成するようになったのだ。

黄仁勳は、「生成式（Generative）」という三文字は、単にコンテンツを生成することだけを意味してはならないと述べる。モデルは同時に、中間的な思考プロセスや、ツール呼び出しの命令、タスクの計画、行動のシーケンスを生成している。そして、環境を継続的に観察し、他のソフトウェアを呼び出し、実行結果を検証する能力も持っている。

言い換えれば、コンピューティングは「一度きりの要求に応える」ものから、「継続的に働き続ける」ものへと変化しているのだ。

自動運転車を例に挙げよう。車両はデータベースから事前に録画されたステアリング操作を呼び出すことはできない。道路、歩行者、周囲の状況をリアルタイムで判断し、意思決定を下さなければならない。これが、黄仁勳が「将来、動くすべての機械が段階的に『ロボット』の特性を持つようになる」と考える理由である。

モアの法則の鈍化後、システムレベルの協同設計が性能向上の鍵に

コンピューティングのパラダイムがAIへと移行する中で、ハードウェアの進化は、従来のチップアーキテクチャを延長するだけでは性能向上を達成できなくなっている。黄仁勳は繰り返し、これからの競争の核心は「協同設計（co-design）」にあると指摘する。すなわち、アルゴリズム、AIモデル、コンパイラ、チップ、インターコネクト技術、ネットワーク、ストレージ、データセンターといった各要素が、同じワークロードを念頭に置いて、全体として最適化されることを意味する。

この理念は、初期のRISCアーキテクチャの設計哲学にまで遡ることができる。当時、コンパイラとプロセッサが相互に連携しなければならないことが強調され、それぞれが独立して動作するのとは対照的だった。

AI時代に入ると、協同設計の範囲はさらに拡大する。単一のチップに限定されず、CPU、GPU、スイッチチップ、高速インターコネクト、ネットワーク、ストレージシステムを含む、完全なAIコンピューティングプラットフォームを構築するのだ。

その背景にある理由は、グラフィックスレンダリング、分子動力学、量子化学、流体シミュレーション、あるいはディープラーニングの学習など、これらすべてが高度に並列的で膨大な計算量を要する作業であり、汎用プロセッサだけでは効率と拡張性の両立が困難だからである。

モアの法則による性能向上が徐々に鈍化する中、産業界は並列計算、データフロー、通信方式の再設計という、システムアーキテクチャの革新を通じて、全体の計算能力を継続的に向上させようとしている。

黄仁勳は、ソフトウェアとハードウェア、システムの各層を横断する統合最適化により、過去10年間で、特定のAIワークロードの計算能力を約100万倍向上させたと語った。

しかし、このデータは単一のGPUの性能が飛躍的に向上したことを示しているのではなく、全体のシステム性能の進歩を反映している。そのため、モアの法則の時代の後には、市場競争の焦点が「どのチップが最も速いか」から、「どの完全なコンピューティングシステムが最も効率的に実際のAIワークロードを完了できるか」へと徐々に移行しているのだ。

MFUだけに注目するな、システムが生み出すAI価値が重要

講義のディスカッションの中で、学生は大規模AIクラスタでよく使われる指標であるモデルフロップス利用率（MFU, Model FLOPs Utilization）に言及した。

一般的に、MFUが高いほどGPUリソースの利用率が高く、高価な計算設備がアイドル状態になっていないとされる。しかし、黄仁勳は、この指標に過度に依存すると、システム性能を誤って判断する可能性があると述べた。

彼は指摘する。大規模AIコンピューティングプラットフォームの性能は、GPUの計算能力だけに依存するのではなく、ビデオメモリ帯域幅、メモリ容量、ネットワークインターコネクト、ストレージシステムなど、複数の要因に左右される。どの要素もボトルネックになり得るため、システム設計では、特定のリソースに余裕を持たせることが一般的であり、単一のボトルネックが全体の計算を遅らせるのを防ぐ。

つまり、ある時点で一部のGPUがフル稼働していなくても、それがシステムの効率が低いことを意味するわけではない。MFUをより高くするために、意図的にリソースの余裕を圧縮すると、逆にボトルネックが拡大し、全体のタスク所要時間が長くなる可能性がある。

この状況は、AI推論フェーズで特に顕著である。大規模言語モデルがトークンを一つ生成するごとに、モデルの重みとコンテキスト情報を継続的に読み取る必要があるため、推論速度を真に制限するのは、GPUのピーク浮動小数点演算能力ではなく、複数のチップが共同で提供するメモリ帯域幅であることが多い。

そのため、MFUが特に高いわけではないシステムでも、より高い帯域効率と低い消費電力によって、同じ時間内により多くの推論作業を完了できる可能性がある。

黄仁勳はそのため、AIインフラを評価する際には、システムがどれだけのFLOPSを持っているかではなく、特定のエネルギー消費量でどれだけの価値あるAI成果を生み出せるかを測るべきだと主張する。

「1ワットあたりで生成できるトークン数」という指標ですら、異なるトークンの価値の差異を完全に反映できないが、単にハードウェアの利用率を追求するよりも、実際のビジネス効益により近い。

AIシステムにとって、本当に重要なのは、機器がフル稼働しているかどうかではなく、目標の作業をより速く、より効率的に完了できるかどうかである。

HopperからFeynmanへ：輝達の各世代アーキテクチャは次なるAI計算ニーズを狙う

黄仁勳は、輝達の各世代のGPUアーキテクチャの設計理念は、現在のボトルネックを解決するのではなく、次の段階のAI計算ニーズに先んじて対応することにあると述べた。Hopperは主に大規模AIモデルの事前学習に焦点を当てており、市場に数十億ドル規模のAIスーパーコンピュータが登場する前から、関連システムの構築を開始していた。

AI産業の重心が学習から推論へと徐々に移行する中で、Grace Blackwell NVLink 72は、72個のGPUをラック規模のシステムで高速インターコネクトで接続し、メモリ帯域幅を向上させることで、大規模言語モデルの推論とトークン生成を加速する。

黄仁勳は、前世代アーキテクチャと比較して、関連ワークロードの性能が約50倍向上したと指摘しており、これはモアの法則がもたらす増幅をはるかに上回る。

次世代のVera Rubinは、AIエージェントアプリケーションをターゲットにする。エージェントは長期記憶、作業記憶、大量のツール呼び出しが必要となるため、GPUに加えて、CPU、ストレージ、高速インターコネクトも同時に最適化され、待ち時間を低減し、全体効率を向上させる必要がある。

より長期的には、コードネーム「Feynman」のアーキテクチャは、複数のAIエージェント、サブエージェント、各種ツールからなる「エージェント群」をサポートする。黄仁勳は強調する。輝達の製品ロードマップは、単なるハードウェアのアップグレードではなく、次世代のAIソフトウェアの動作モードを予測し、それに応じて対応するコンピューティングプラットフォームを構築することにある。

オープンモデルの価値は、チャットボットの構築だけではない

黄仁勳は、オープンモデル（Open Model）の意義は、チャットボットを開発することだけではないと述べる。それは、異なる言語、産業、研究分野が、修正可能で微調整可能なAI基盤モデルを所有できるようにすることにある。多くのニッチ市場は規模が限られているため、商用のクローズドモデルがリソースを投入しない可能性がある。そのため、オープンモデルは各分野のAIイノベーションを加速する。

彼は、将来のAIは自然言語を超えて、バイオメディカル、化学、気候科学、自動運転、ロボティクスなどの分野に拡大すると指摘する。これらの応用には、大規模言語モデルをそのまま適用するのではなく、専用のモデルアーキテクチャと学習方法が必要となる。

このため、輝達はNemotron、BioNeMo、Alpamayo、GR00T、気候モデルなど、複数の基盤モデルをすでにリリースしており、各分野のAIエコシステムの構築を支援している。

黄仁勳はまた、将来のAIは言語推論能力とワールドモデル（World Model）を統合し、システムが物体を識別するだけでなく、環境を理解し、因果関係を推論し、自律的に意思決定できるようにすると強調する。例えば、自動運転の安全性を高めることなどが挙げられる。

さらに、彼はオープンモデルがセキュリティ研究にも役立つと考えており、より多くの研究者がモデルの挙動を検証し、脆弱性を発見し、より効果的なAI防御メカニズムを構築できるようになる。これにより、攻防競争が少数のクローズドモデルに限定されるのを防ぐことができる。

AIはすべての学問に統合されるべきだが、基礎能力は不可欠

AI教育について語る中で、黄仁勳は、AIを独立した一科目として捉えるべきではなく、すべての学問の学習ツールとして統合すべきだと考える。学生が論文を読んだり、資料を検索したり、プログラムを書いたり、実験を行ったり、問題を解決したりするのを支援するものである。

しかし、彼は強調する。AI