Googleの研究者、オープンウェブがAIエージェントに対するプロンプト注入攻撃面になりつつあると警告

企業向けAIエージェントは、ウェブが抱える最も古い信頼の問題を受け継いでいるのかもしれない

Googleの研究者は、提示された候補メタデータと要約によると、悪意ある公開ウェブページが間接的なプロンプト注入を通じて企業向けAIエージェントを実際に汚染していると警告している。この警告は、エージェント型AIをめぐってここ数カ月続いてきた懸念をより鮮明にする。システムに外部ソースを読み、要約し、そこから行動する自律性を与えれば与えるほど、オープンウェブの敵対的な性質を引き継いでしまうという懸念だ。

ここで述べられている脅威は、狭義の意味での従来型ソフトウェア脆弱性ではない。モデルの振る舞いを操作するものだ。悪意あるページは、それを訪問、索引化、要約するAIエージェントに影響を与えるよう設計された指示や内容を埋め込める。そのエージェントが企業のツールやワークフローに接続されていれば、リスクは誤った出力にとどまらず、下流の意思決定、検索チェーン、業務上のアクションへと波及しうる。

なぜ間接的なプロンプト注入は構造的に解決しにくいのか

この警告が重要なのは、多くの現在のAI製品の背後にある設計上の前提、つまり開発者がモデルの周囲に十分なガードレールを置けば、エージェントは広範な文書を安全に扱えるという考え方を狙っているからだ。間接的なプロンプト注入攻撃は、入力層そのものを汚染することでこの前提に挑戦する。問題は、ユーザーがモデルに何を尋ねるかだけではない。周囲の環境が、ユーザーの気づかないところでモデルに何を要求しているかでもある。

提供された要約によれば、Common Crawl リポジトリを調査したセキュリティチームが、このリスクに関連する証拠を見つけたという。この点が重要なのは、Common Crawl は非常に大規模で、ウェブ規模のデータ作業で広く使われているからだ。もしそこですでにプロンプト注入のパターンが見えているなら、問題は理論上のものではない。AIシステムが検索、要約、閲覧にますます依存する、その同じ公開情報環境に悪意あるコンテンツを仕込めることを示唆している。

なぜエージェントは事態を深刻にするのか

チャットボットは幻覚や指示の読み違いを起こすことがあるが、エージェントは「何かをする」よう設計されているため、より深刻な攻撃面を生み出す。ページを取得し、システムに接続し、アクションを下書きし、ときにはワークフローを発火させる。つまり、汚染されたページが危険であるために、従来の意味でソフトウェアを「ハッキング」する必要はない。次に起こることを変えるのに十分な程度、モデルの推論をそらせばよいだけだ。

企業にとって、これは新しいセキュリティ境界の問題を生む。ウェブには昔からスパム、詐欺、悪意あるスクリプト、欺瞞的コンテンツが存在してきた。人間の作業者は、訓練、ブラウザ防御、組織的な管理を組み合わせてその環境を扱っている。AIエージェントはまだ同等の判断力を持たず、悪意あるコンテンツを機械の速度と規模で処理できる。この非対称性により、昔からあるインターネット上の問題が、AI時代特有の問題へと変わる。

AI導入へのより大きな教訓

Googleの警告は、単なる研究上の注記ではなく、製品アーキテクチャの問題として読むべきだ。AIエージェントに公開ページの閲覧や取り込みを許すシステムは、それらのページに敵対的な指示が含まれている可能性を前提にしなければならない。安全なデフォルトは信頼ではない。疑念、隔離、そしてエージェントの出力が機密システムに影響を与える前の多層検証だ。

提供資料にはGoogleの完全な緩和ガイダンスが含まれていないため、ここで得られる証拠は網羅的というより方向性を示すものだ。だが、その方向は十分に明確だ。企業向けAIエージェントは、言語モデルがテキストを解釈し、ウェブには攻撃者が書いたテキストが存在するという現実にぶつかっている。より多くの企業がエージェントの運用化を急ぐなか、最も重要なセキュリティ上の問いは、モデルに何ができるかではなく、何をさせられてしまうかになるのかもしれない。

この記事は AI News の報道に基づいています。元記事を読む。