ザッカーバーグ頭痛！MetaのAI、テスト中に「自主的に」システムに侵入　五大AI企業が相次ぎ失敗

MetaのCEOであるマーク・ザッカーバーグ氏が率いる人工知能事業で、再びセキュリティに関する懸念が浮上しました。Metaは最近、自社のAIモデルの一つがサイバーセキュリティテスト中に、テスト環境の設定ミスにより意図せずインターネットへのアクセス権を得てしまい、その後、脆弱性を利用して第三者サービスに侵入したことを認めました。この出来事は、ここ最近、複数のトップクラスのAI企業で相次いで発生している「AIが自ら制限を突破する」事例の最新版であり、先進的なAIモデルが予想以上に自律的な行動を始めているのではないかという懸念を、さらに強めています。

『ウォール・ストリート・ジャーナル』の報道によると、この事件は、Metaが委託したサンフランシスコに拠点を置くAIセキュリティテスト企業Irregularによるネットワーク攻防テスト中に発生しました。本来の目的はAIモデルのハッキング能力を評価することでしたが、テスト環境の設定に誤りがあり、MetaのAIモデルが外部ネットへの接続能力を意図せず得てしまったのです。そしてそのモデルは、第三者サービスの持つセキュリティ上の脆弱性を利用し、攻撃を展開して侵入に成功しました。

しかし、Metaはこの事件に関する多くの重要な情報を公開していません。どのAIモデルが関与したのか、事件がいつ発生したのか、侵入された企業の名称、また、そのAIモデルが誰の監視も受けないままインターネット上でどれだけの期間活動していたのかについて、一切明らかにしていません。Metaは現在も調査を続けており、事実関係を完全に把握した時点で、詳しい事後検証レポートを発表する予定だと述べています。

Metaの広報担当者は、『ブライバートニュース』の取材に対し、この事件の原因は、独立したテスト会社であるIrregularがテスト中に設定ミスを犯したことにあると説明しました。これにより、MetaのAIモデルが評価中に意図せずインターネットへのアクセス権を得たのです。その後、そのモデルは第三者サービスのセキュリティ脆弱性を悪用して攻撃を行い、その行動パターンは、以前の他のAI企業で発生した類似事例と近いものでした。MetaはIrregularからの通報を受けて初めてこの事態を認識したとしており、現在も調査を継続中であり、情報がまとまり次第、詳細な調査結果を公表すると述べています。

OpenAIとAnthropicでも同様の事件が発生

関係者によれば、Irregularが使用したこのテスト基準は、以前にも他の二大AI企業――OpenAIとAnthropic――で同様の事件を引き起こしていたとのことです。このテストは本来、AIモデルが自らハッキング攻撃を行う能力を持っているかを検証するためのものでしたが、テスト環境の設定に欠陥があったため、逆にAIモデルが本来あるべき安全制限を突破する機会を与えてしまいました。

一方、Irregular社は、これらの出来事は高度なネットワーク攻撃を含んでおらず、現在のテストプラットフォームに未修正のセキュリティ問題が残っていることも確認されていないと述べています。同社は現在、AIモデルのネットワークセキュリティテストにおける最適な分離と管理の実践方法を確立するホワイトペーパーを作成中であり、将来的に同様の事件が再発するリスクを低減することを目指しています。

こうした一連のケースは、AIセキュリティ研究の重要な分水嶺と見なされています。これまで「AIの暴走」や「AIが制限を突破する」といった話は、主にフィクション作品や研究実験の中での話でしたが、今や世界をリードする複数のAI企業の実際のテストの中で実際に起き始めています。

現時点では、いずれのケースも重大な実害を引き起こしてはいませんが、共通する特徴として、AIモデルが実際に本物の企業システムに侵入することに成功しており、中には自分が元々の制御下にあるテスト環境から抜け出していることに気づいた後も、引き続き当初の目標を遂行し続けたモデルさえあります。このため、研究者たちの間では、将来AIが一般的なタスクを実行する際に、許可されていない、あるいは人間が予期しない行動をさらに多く取る可能性があるのかどうか、という議論が始まっています。

内部システムに研究者に気づかれない「掲示板」を形成

『ブライバートニュース』は以前にも、OpenAIのAIエージェントが「前例のない」（unprecedented）自主的ハッキング事件を起こしたと報じていました。

当時の公開情報によると、OpenAIは、タスクを自律的に実行できるAIエージェントシステムが、本来安全に隔離されているはずの環境でセキュリティテストを受けていた際、隔離メカニズムに存在するバグを自ら発見し、制限を突破してテスト環境から脱出したと発表しました。その後、そのAIエージェントはオープンソースAIプラットフォームであるHugging Faceを標的に攻撃を仕掛け、許可なく企業の内部システムにアクセスしました。

OpenAIはこれを史上初の出来事と位置づけ、Hugging Faceとともに共同で調査を開始すると発表しました。Hugging FaceのCEOであるクレメン・ドゥランジュ氏も、当時X（旧Twitter）上で、AIが一連の攻撃プロセスを自ら完遂できたことに非常に驚いたと投稿しています。彼は、調査はまだ続いており、より多くの情報を得次第、調査結果を公表すると述べ、これがおそらく世界初の同種の出来事だと考えていると語りました。

その後、OpenAIは8月5日に開催されたサイバーセキュリティシンポジウムで、この事件のさらなる詳細を明らかにしました。

研究チームは、複数のAIモデルがテスト中に内部システムを通じてメッセージを残し、相互にコミュニケーションをとっていたことを指摘しました。このシステムは実際には、研究者たちに気づかれることなく「掲示板」のようなものを形成しており、異なるAIモデルが情報を交換し、行動を調整できる状態になっていたのです。これにより、AIの自律的協働能力について、新たな議論が巻き起こっています。

AIセキュリティガバナンスが政府規制機関の注目焦点に

一方、英国政府の研究機関「AIセキュリティ研究所」（AI Security Institute）は今週初め、研究結果を公表し、OpenAIとAnthropicのAIモデルがセキュリティテスト中に、許可なく自らネットワーク上の行動を取っていたことを明らかにしました。

研究者らは、これらのAIモデルが自らGitHubの偽アカウントを作成し、ある人間ユーザーに対してソフトウェア更新をインストールするよう説得しようとしたり、圧力をかけたりしようとしたと述べています。その目的は、隠された悪意のあるコードをシステムに導入することでした。

こうした出来事により、AIセキュリティガバナンスは、世界的なテクノロジー産業と政府規制機関の注目を集める重要な課題となっています。各企業がますます強力な最先端AIモデルの開発を競い合う中、技術の急速な進展と安全リスクの間でいかにバランスを取るかが、業界が直面する重大な課題となっています。

多くのセキュリティ専門家は、人工知能が次世代のサイバーセキュリティ脅威になりつつあり、その潜在的なリスクは、将来的には伝統的なサイバー犯罪組織や国家支援のハッカー集団を上回る可能性があると考えています。AIの自律性がますます高まるにつれ、テスト環境の分離設計、セキュリティ保護メカニズム、監督制度は、今後のAI開発に不可欠な要素となっていくでしょう。