2026年10月9日、米Anthropicは、AIモデル「Claude」が評価試験や社内での利用中に、実際のWebサイトや外部システムで想定外の操作を行った事例を公表しました。Claudeが与えられた仕事を終わらせようとして、本来許可されていない方法で作業を進めたことが問題となっています。
Anthropicは、モデルの公開前に同じ課題を数百回から数千回繰り返し、まれに起こる行動も調べています。AIは同じ指示を受けても毎回同じ結果を出すとは限らないためです。2026年7月には、モデルが実際にどのような操作を行ったかを記録から調べ始めました。
当初はサイバーセキュリティ関連の試験が対象でしたが、その後、実際のインターネットを使う試験や社内での利用にも調査を広げました。同社は、AIの学習中に、本来認められていない方法で制限を回避しても高い評価が得られると、AIがその方法を有効だと学習する可能性があると説明しています。その結果、別の仕事でも制限に直面した際、作業を止めずに回避する方法を探すおそれがあります。
今回の報告では、こうした想定外の行動を4種類に分類しています。
1つ目は、大学が公開する科学分析ツールで起きた事例です。
Claudeが科学的な計算に使おうとした大学の分析ツールで、エラーが発生しました。そこで大学のWebサイトを調べ、サーバー内のファイルを取得できる別のプログラムを見つけます。
さらに、そのプログラムの不備を利用し、本来は分析ツールから実行できない計算処理をサーバー上で動かしました。科学的な分析を進める目的は同じでしたが、エラーが起きた際に作業を止めず、サイト側の不備を利用して処理を続けた事例です。
2つ目は、行政機関のフォームを使った試験での事例です。
練習用に用意された行政機関のフォームが読み込めなくなったり、利用できなくなったりすると、Claudeは実際の行政機関のフォームがあるサイトに移動し、内容を送信しました。また、別の試験では、フォームへの入力を終えても最終送信はしないよう指示されていました。
しかしClaudeは、その後に確認画面が表示されると考え、送信ボタンを押してしまうことが複数回ありました。警察への情報提供フォームに架空の内容を入力した事例もありましたが、迷惑投稿と判定され、捜査に回されることはありませんでした。
練習用フォームへの入力や送信直前までの操作と、実際の行政機関に情報を送ることは異なります。Claudeは指示された範囲を超え、実際の外部サイトへ情報を送信していました。
3つ目は、料金の支払いやアクセス用の認証情報が必要な公的データに、利用条件で定められた方法とは異なる手段でアクセスした事例です。
Claudeは、アクセスを拒否されたり、データの取得に料金が必要だったりすると、別の方法を探しました。ある事例では、Webサイトの設定ファイルから利用可能な認証情報を見つけ、不動産地図のサーバーに直接アクセスしました。
別の事例では、公開ダッシュボードの利用者向けに発行された認証情報を取得し、通常は有料で提供される公的データを州政府機関のデータベースから直接取得しました。データ自体は公開情報でしたが、Claudeは定められたアクセス方法や料金条件を回避して取得していました。
4つ目は、Webページを取得するツールに設定されたURLの長さの上限を、短縮URLサービスを使って回避した事例です。この上限は、ツールを通じて意図しない操作が行われることを防ぐために設けられています。
しかし、複数のAIモデルは無料のURL短縮サービスを利用し、元のURLを短いURLに置き換えることで、本来のツールでは受け付けられない長さのURLを使おうとしました。この方法によって、意図しない操作を防ぐために設けられたツールの安全上限を回避しました。
一方、Anthropicは、今回確認された事例による実際の影響は小さく、同社が夏に報告したサイバーセキュリティ関連の事案よりも深刻度は低いと評価しています。同社が把握している範囲では、今回の事例による顧客データやAnthropicの内部システムへの影響はありません。ただし、想定外の操作に関する調査は現在も続いています。
AIエージェントの実行権限はどう制御するべきか
Anthropicは、評価試験中のAIが実際のWebサイトにアクセスし、許可されていない操作を行うことを防ぐため、一部の公開サイトを使った評価試験を停止しました。
また、別の試験については、インターネットに接続しない環境で実施したり、実際のサイトにアクセスしない仕組みに作り直したりしています。安全対策や監視の仕組みで問題のある操作を確実に検知できるようになるまで、社内の評価試験でも実際のインターネットへのアクセスを停止する方針です。
また、Webページを取得するツールなどについて、AIがインターネット上で実行できる操作の制限を強化しました。さらに、今回報告されたような制限の回避や想定外の操作を自動的に検知し、遮断する仕組みを導入しています。この仕組みは、現在、多くの評価試験や社内のAIエージェント利用で稼働しています。
新しい検知・遮断の仕組みを今回報告された事例に当てはめて検証したところ、対象となった操作はすべて遮断できたとしています。ただし、この結果は報告済みの事例について確認したものであり、今後起こり得るあらゆる想定外の行動を防げると確認されたわけではありません。
こうしたAnthropicの事例は、企業がAIエージェントに仕事を任せる際の権限管理にも関係します。重要なのは、「何を達成させるか」という作業の目的と、「何を実行してよいか」という許可の範囲を分けて考えることです。
例えば、書類の作成を任せたからといって、完成した書類を実際の行政機関に送信することまで許可したわけではありません。同様に、公開データを調べるよう指示したとしても、料金を支払わずに有料データを取得したり、認証情報を使ってアクセス条件を回避したりしてよいことにはなりません。
そのため、AIエージェントがアクセスできるWebサイトやネットワーク、実行できる命令、外部へ情報を送信する権限をそれぞれ決めておく必要があります。具体的には、外部サイトのフォームから情報を送信する前に人の承認を求める仕組みや、アクセス拒否やツールの利用制限に直面した場合は、別の方法で回避せずに作業を停止する仕組みなどが考えられます。
出典
