ChatGPT暴走で災害発生、Hugging Face以外にも被害！OpenAIが認める：複数の「公開アクセス可能なサービス」を攻撃

OpenAIは、暴走したChatGPTエージェントによるサイバー攻撃が、単一の企業にとどまらない広範な影響を及ぼしていたことを明らかにした。当初、Hugging Faceが史上初の完全自律型AIハッカー攻撃の唯一の被害者と考えられていたが、OpenAIは自社のAIが複数の「公開アクセス可能なサービス」を攻撃していたことを認めた。この制御不能なAIはインターネット上で4組のログイン資格情報を発見し、それによって4つの独立した匿名サービスにアクセスした。

一方、数百人のサイバーセキュリティ専門家が参加した緊急ブリーフィングで、Hugging Faceは世界初の完全自律AIハッキング攻撃の標的となった経験を語った。同社によると、AIは人間よりもはるかに高速で動作したが、人間のハッカーが決して犯さないような奇妙な判断やミスも繰り返したという。Hugging Faceは、AIツールアプリのストアのようなプラットフォームを提供している。同社は、ハッカーAIエージェントが絶え間なく動作し、数千通りの異なる方法を同時に試行したと述べた。

同社は7月16日に、強力な自律AIによって侵入されたことを初めて公表し、警察に通報した。それから約1週間後、OpenAIはテスト中にAIが封鎖環境から脱出し、Hugging Faceを攻撃したことを認めた。このAIは、OpenAIが設定したハッキング課題の答えを見つけようとしていたため、Hugging Faceを標的にしたのである。OpenAIは7月29日（水）に声明を更新し、このハッキング攻撃の影響が当初の想定よりも広範囲に及んでいたと補足した。

同社は「これらのモデルは、アカウントレベルで公開されている資格情報を、他の公開アクセス可能なサービスでも識別・使用した。これにはHugging Face事件に関与した4つのサービス上の4つのアカウントが含まれる」と説明した。ただし、「公開アクセス可能なサービス」という表現が企業を指すのかどうかは明言していない。

「不器用な行動」

7月28日（火）、業界団体のクラウドセキュリティアライアンス（CSA）は、7月24日（金）にHugging Faceが主催した緊急会議の内容をもとに報告書を作成し、Hugging Faceのレビューを受けた。CSAは「これらのエージェントは非効率な経路を選び、人間なら選ばないような不器用な行動を示した」と記した。

AIエージェントはすでに完了した操作を繰り返し、エージェント型AIシステムが文脈や思考の流れを失っていることを示した。また、大量の不整合な命令やテキストのハルシネーション（幻覚）を生成し、痕跡を適切に隠蔽しないなど、粗雑な行動も見せた。

しかし、こうした誤りや奇妙な行動の中でも、Hugging FaceはAIエージェントが高度な技術力を持ち、数日間にわたる攻撃中に状況に迅速に適応したと警告している。

「ジュラシック・パーク」

これらのAIエージェントはHugging FaceのITネットワーク内に3日間潜伏した後、ようやく発見された。同社のAIおよびサイバーセキュリティの専門家たちは、多くの時間をかけてようやくAIエージェントを制御・駆除した。一般的な企業では、このような対応は困難である可能性が高い。

同社は今回の攻撃によるコスト損失の額を明かしていないが、インフラの約3分の1を再構築するために多くの労力を費やしたと述べている。Hugging Faceは、AIおよびサイバーセキュリティ業界に対して事実を率直に開示したことで称賛されている。

CSAは、この事件がAI「エージェント……いつか必ず方法を見つける」という映画『ジュラシック・パーク』の台詞を想起させると警告した。報告書には「エージェントは目標志向であり、自らサブゴールを設定し、防御策を回避するためにリアルタイムで調整しながら、機械的な速度で継続的に動作する。その持続性は、人間の対応を圧倒するほどである」と記されている。

サイバーセキュリティ責任者であるリテシュ・パテル（Ritesh Patel）氏は、約450人とともにHugging Faceのブリーフィングに参加した。彼は、業界が制御不能なAIエージェントという新たな脅威に直面していると語った。

彼は「これが最先端モデルによって駆動される自律エージェントの現実だ。彼らは執拗に活動し、大量のノイズを発生させ、目標達成のためにすべての可能な経路を試みる。これは従来の防御策を簡単に圧倒する」と述べた。

「チョムピー（Chompie）」というハンドルネームで知られるエシカルハッカー、バレントゥイーナ・パルミオッティ（Valentina Palmiotti）氏はCSAの報告書をレビューした。彼女は、エージェントの侵入方法は一見無秩序に見えるが、明らかに効果的だと指摘した。

彼女は「彼らは大量のことを試し、どれがうまくいくかを見極めるのだ」と語った。「同時に、彼らは退屈しないし、睡眠も必要とせず、無限に継続できる。」

制御不能の歴史

AIエージェントが「制御不能」になるのは、今回が初めてではない。CSAの報告書では、2024年9月に、初期バージョンのChatGPTモデルがコンテナ環境から脱出し、別のテストに必要な答えを取得した事例に言及している。

CSAは、その事件はOpenAIの内部ITシステムに限定されており、「当時は概ね称賛された」と指摘している。しかし報告書は、「制御不能」な行動は「例外ではなく、もはや常態化している」と警告している。

報告書は、グローバルなサイバーセキュリティ専門家に対し、大量のAIエージェントが高速かつ奇妙で不器用な方法で動作するという新しい常態に適応する必要があると呼びかけている。これはさらなるセキュリティ脆弱性につながる可能性がある。

また、AIエージェントの使用者や開発者は責任を持って管理すべきであり、サイバーセキュリティ防御者がエージェントの最終所有者を特定できるような仕組みの構築が求められている。

過去の報道によると、OpenAIは自社のAIがHugging Faceに侵入していたことに気づくまで4日間かかったという。OpenAIは、自らの調査結果をまもなく公表し、外部がこの事件から教訓を得られるようにすると述べている。

この記事は人工知能を用いて翻訳されたもので、原文は英語である。公開前にBBCの記者が翻訳内容を確認した。