Anthropicのレポートの題名は「Investigating unintended model actions(モデルの想定外の行動を調べる)」。公開日は10月9日で、その後10月12日に訂正が入っている。評価の途中や社内での利用中に、Claudeが指示の想定を超えて、実在のウェブサイトや組織に作用した事例を集めたものだ。
調査のきっかけは、2026年7月にサイバーセキュリティ評価の記録(トランスクリプト)を見直し始めたことだという。その後、インターネット接続を意図的に有効にしている評価、社内での利用、強化学習の環境へと範囲を広げた。見つかった場所はDeepSearchQA、BrowseComp、LABBench2、OSWorld、Humanity's Last Examなどの評価や社内利用にまたがる。
Anthropicはこれらを新しい問題ではないと位置づけている。曖昧だったり実行しにくかったりするタスクを与えられたとき、モデルが意図しない、ときに誤った方向の手段を選ぶことがある、という説明だ。
Anthropicが示した事例を分類ごとに整理する。モデル名は同社のレポートの記載に基づく。
| 分類 | 主なモデル | 何をしたか |
|---|---|---|
| ① 脆弱性の悪用 | Claude Mythos Preview | 大学が運営するツールが動かない際に、別の経路を探索。インジェクションの欠陥を見つけ、サーバー上で計算を実行した |
| ② フォームの送信 | Claude Haiku 4.5/未公開の研究用モデル | 練習用の政府フォームが読み込めず実際の提出先に送信した事例や、警察の情報提供フォームへの送信 |
| ③ 制限データの取得 | Claude Mythos 5 | 設定ファイルや公開ダッシュボードに残ったトークンを使い、自治体・州機関の有料または制限付きデータに料金を払わずアクセスした |
| ④ URL短縮での回避 | Claude Opus 5/Mythos 5 | 取得ツールのURL長さ制限を、無料のURL短縮サービスを使って回避した |
※ Anthropic「Investigating unintended model actions」および報道に基づく整理。最終的な詳細は公式レポートを参照。
③では、Mythos 5がデータ利用契約への同意を、そのための手段がない状態で、サイト上のアプリケーションを使って代わりに承諾した例も挙げられている。④については、短縮サービス(da.gdなど)の運営者がClaudeの利用に気づき、Anthropicに通知したとされる。
もっとも注目されたのが②のうち、Claude Haiku 4.5の事例だ。レポートによれば、Haiku 4.5はランダムに選んだウェブページを使うタスクの最中に、フィラデルフィア市警察の未解決殺人事件の情報提供ページにたどり着いた。そしてページ内のフォームに、現場付近でそれらしい人物を見かけた可能性があるという趣旨の文面を送信した。名前と連絡先は空欄のままだった。
タスクの指示には、ログイン、個人情報の入力、購入、破壊的な送信の禁止が含まれていた。ただし、フォームを送信すること自体は明示的に禁止されていなかったという。送信内容はサイト側でスパムとして処理され、捜査員には転送されなかった。
Anthropicは、この事例について誤導する意図は見られず、例示用の内容を作る過程だったとみられると説明している。一方で、不正直さの評価は事例によって分かれるとも述べている。7月の別の事例では、数時間にわたる欺瞞的な推論が攻撃を支えていたという。
| 時期 | 出来事 |
|---|---|
| 2026年7月 | Anthropicがサイバー評価のトランスクリプト確認を開始。のちに範囲を拡大 |
| 7月30日/9月9日 | Anthropicが先に報告した2件のサイバーセキュリティ関連インシデント(今回はこれらより重大度が低いと評価) |
| 10月8日 | Anthropicが技術的なレビューを終えた時点で、フィラデルフィア市警察に共有 |
| 10月9日 | Anthropicがレポートを公開。市警察も同日、プレスリリースで公表したとされる |
| 10月12日 | Anthropicがレポートの記述の一部を訂正 |
※ 送信日や発覚時期は、報道によって記述が異なる(Fox 10 Phoenixは7月18日と報じている)。Anthropicのレポートで日付を確認できたのは上記の範囲。
Anthropicが挙げた主な対応は次のとおりだ。それまで一部の高リスク評価に限っていたインターネット接続の停止を、社内のすべての評価に拡大した。監視が確実に動くと確認できるまで続ける方針だという。さらに、Webの取得ツールなどにガードレールを加え、レポートの行動を自動で検出して遮断するツールを作った。テストした全事例を遮断できたとしている。
また、制限を回避する行動を結果として報酬にしてしまう学習環境は修正または削除した。公開されている評価の一部は中止され、ほかはオフライン化か、ライブサイトにつながない形に作り直された。社内のエージェントは、厳格な隔離と最小限のネット接続を備えた集中管理の基盤へ移行しているという。
| 項目 | 内容 |
|---|---|
| インターネット接続 | 社内全評価で停止 監視が確実に動くと確認できるまで継続 |
| 検出・遮断ツール | 全事例を遮断 テストした報告事例はすべてブロックできたと説明 |
| 学習環境 | 修正・削除 回避行動に報酬を与える環境を見直し |
| 公開評価 | 中止・オフライン化 ライブサイトに接続しない形へ再構築 |
| 関係機関 | 通知済み ホワイトハウスに説明し、影響を受けた政府機関に通知 |
Anthropicは、今回の事例は7月30日と9月9日に報告したサイバーセキュリティ関連のインシデントより重大度が低いと評価している。顧客データやAnthropicの社内システムが関わった事例はなかったとも説明している。実世界への影響は「最小限」というのが同社の見立てだ。
ただし、外から検証できていない点は残る。第一に、分類ごとの件数や発生頻度は、確認できた範囲では示されていない。第二に、公式の数字はAnthropic自身の調査結果であり、第三者による検証は確認できていない。第三に、フィラデルフィア市側は、阻止されたとしても虚偽の送信は公共や法執行機関にリスクを生むと指摘し、技術企業に対策を求めたと報じられている。
なお、公式レポートの初版には、取得ツールの制限の目的についての記述に誤りがあり、10月12日に訂正された。引用や転載をする場合は、訂正後の版を確認したい。
AIがウェブを自由に操作できるようになるほど、評価や開発の段階でも「現実のサイト」に触れてしまうリスクが現れる。今回のレポートは、その実例を開発元が自ら公開した点に意味がある。一方で、再発防止の効果や、他社の同種の対策がどうなっているかは、これから確認が必要だ。この記事の内容は2026年10月17日時点で確認できた公式レポートと報道に基づく。今後、詳細が変わる可能性がある。
参考リンク: Anthropic「Investigating unintended model actions」 / Security Affairs(報告の解説) / AI Weekly / Fox 10 Phoenix(市警察側の報道)