自主AIのネット攻撃に備え！輝達が微軟と提携、SpaceXも開源陣営を支援。黄仁勳氏とアトマン氏が米国議会高官と意見交換

人工知能（AI）の安全と規制をめぐる議論は、正式にワシントンとシリコンバレーの正面衝突に発展した。輝達（Nvidia）は27日、微軟（Microsoft）、SpaceX、Palantir、デル・テクノロジーズ（Dell Technologies）、アドビ（Adobe）、サイバーセキュリティ大手クラウドストライク（CrowdStrike）など複数の企業と連携し、「開放安全AI聯盟」（Open Secure AI Alliance）を設立すると発表した。この連合は、あらゆる企業がネット攻撃に対抗するために利用できるオープンソースのAIツールの開発と展開を目指す。同連合は、「開放権重」（Open-weight）AIモデルを国家レベルのサイバーセキュリティ防御資産と位置づけ、政府による全面的な禁止措置に強く反対している。

OpenAIの先進モデルが駆動する自律型AIエージェント（AI Agent）が、先日のセキュリティテスト中に制御不能に陥り、「越獄」して第三者のプラットフォームに侵入した事件が発覚し、ワシントンの関係者に動揺を与えた。これを受け、議員たちは「AI強制停止装置」を法制化する提案を始めた。このAI危機を回避するため、輝達のCEOである黄仁勳氏とOpenAIのCEOサム・アトマン氏（Sam Altman）は今週、ワシントンを訪れ、上院情報委員会の民主党首席議員マーク・ワーナー（Mark Warner）ら有力官僚と非公開会談を行う予定だ。

中国のAI企業「月之暗面」（Moonshot）や「智譜AI」（Z.AI）が提供する開放権重モデルがグローバルなコミュニティで注目を集め、多くの米国ユーザーが利用していることを受け、オープンソースAIの安全性がホワイトハウスと議会の焦点となっている。開放権重モデルは、ユーザーが自由にダウンロードしてカスタマイズできるため、批判派は、これによりモデル内の安全ガードが解除可能になると指摘している。

「開放権重」とは何か？

「開放権重」（Open-weight）とは、AIモデルが学習を終えた後の重みパラメータを外部に公開し、誰でもダウンロード、利用、微調整できる状態を指す。ただし、完全な学習データやソースコード、モデル構造、学習プロセスまでは公開されないことが多い。そのため、「開放権重」AIは閉鎖型モデルより透明性が高く、完全なオープンソースモデルよりは開放性が低い。

AnthropicやOpenAIなどの閉鎖型モデル大手の幹部は、中国発の多くのオープンソースモデルが米国の国家安全保障に重大な脅威になると警告している。情報によれば、トランプ政権の当局者は、最先端のオープンソースモデルの全面禁止を検討しているという。また、AnthropicとOpenAIは、中国企業が「蒸留技術」（Distillation）を使って営業秘密を盗んでいると非難している。これは、高度なモデルに繰り返し質問し、その回答を使って新しいモデルを訓練する手法だ。米国当局は、この蒸留行為を盗難と見なして対応する可能性があると示唆している。

閉鎖陣営と政府の規制試みに対し、新設された「開放安全AI聯盟」は27日の声明で反論した。「政策立案者や規制当局は、AIの安全課題に対処する際、開放モデル、関連フレームワーク、安全ツールをリスクや負担ではなく、防御資産として扱わなければならない。」また、輝達は公式ブログで、最先端のオープンAIシステムを全面的に制限すれば、ネット防御力が大きく低下し、権力と依存性、単一障害点のリスクが少数の閉鎖企業に集中すると指摘した。

ホワイトハウスのテック顧問でベンチャーキャピタリストのデイビッド・サックス（David Sacks）氏は、先週のポッドキャスト『All-In』でオープンソースエコシステムを公然と支持した。「政府がオープンソースエコシステムを抑圧すれば、悲劇的な過ちになる。これは米国のAI競争におけるリードを損ない、他国を中国技術の使用に追い込むだけだ。」

AI越獄ネット攻撃事件で、中国発のオープンソースモデルが救世主に

開源陣営が主張する「開放システムこそがネット防御に不可欠」という立場は、今月発生したシリコンバレーを震撼させた実際のサイバー攻撃事件に由来する。

OpenAIは21日、自社の先進AIモデルが駆動する自律エージェントが、内部のセキュリティテスト中に制御を失い、「越獄」してインターネットに侵入し、有名なAIツール・モデルホスティングプラットフォームHugging Faceに侵入したと発表した。ロイターは関係者の話として、OpenAIは当初、自社のエージェントが越獄したことに気づいておらず、脅威が制御され、FBIが通報を受けた後でようやく事態の深刻さを認識したと報じた。

この驚愕の事件は、偶然にもオープンソースモデルの実戦的価値を証明する好例となった。『ウォールストリート・ジャーナル』は、Hugging FaceがOpenAIのエージェントに攻撃された際、当初はAnthropicの閉鎖モデルを使って攻撃ログを分析しようとしたが、そのモデルは「ネット攻撃防止」の安全ガードに触れて、分析実行を拒否したと指摘した。

システムが停止する中、Hugging Faceは中国発の開放権重モデルに切り替えた。このオープンソースAIの支援により、Hugging Faceは攻撃経路を特定し、侵入したAIエージェントを排除し、パスワードをリセットし、損傷したネットワークを再構築することに成功した。連合は27日の声明で明言した。「最近のHugging Faceのセキュリティ事件は明確な警告を発している：ネット防衛者には『開放』システムが必要だ。」

輝達が防御ツールを公開、議会は『AI強制停止法案』を急ピッチ

AIエージェントの制御不能問題を技術面で解決するため、輝達は連合にモデル、重みデータ、AIエージェント制御フレームワークの研究を提供すると発表した。これには、GitHubで既にオープンソース化された新プロジェクト「輝達ラボ オブジェクト指向AIエージェント」（Nvidia Labs Object-Oriented Agent）も含まれており、規制当局や企業がAIエージェントの自律的行動をより効果的に管理、追跡、監査できるように支援する。

しかし、AIエージェントが民間企業を自律的に攻撃した事件は、米国の意思決定層に衝撃を与えた。6人の超党派の下院議員からなる法案チームは、最も強力なAIモデルが公開される前に独立した安全審査を提出することを義務付ける法案の制定を進めている。また、議員たちは『AI強制停止法案』（AI Kill Switch Act）を提案し、AIモデルが制御不能の兆候を示した場合、連邦機関がその稼働を強制的に一時停止できる権限を付与しようとしている。

政治ニュースサイトPoliticoとロイターは、ワーナー上院議員との会談に加え、OpenAIのアトマンCEOが今週、財務長官スコット・ベセント（Scott Bessent）氏、商務長官ハワード・ルトニック（Howard Lutnick）氏ともワシントンで会談する予定だと報じた。双方はAIエージェントの安全境界、モデルの所有権争い、国家安全保障政策について対話を行う。