Anthropicの発表文(10月15日付、題名は「An update on independent evaluators」)によると、同社は前月に約束した第三者による評価の強化を進めている。その一環として、METRの6人を受け入れ、会社の端末・オフィス・社内ツールやシステムを使わせている。アクセスの範囲は、Anthropic自身のリスク評価チームとおおむね同程度だと説明されている。
METRは、最先端のAIモデルの能力や危険性を調べる非営利団体だ。Anthropicによれば、METRはこの1年で、同社の「Risk Report(リスク報告書)」を何度かレビューしてきた。今回はその関係を一歩進め、社内に入って見る形にしたことになる。
背景には、Anthropicが「White House Accord on Super Intelligence(超知能に関するホワイトハウス合意)」に署名し、独立した外部の監査・評価機関と協力すると約束したことがある。発表文はこの流れに沿った取り組みとして書かれている。
Anthropicは、評価者のアクセスを3つの段階に分けて整理している。段階が上がるほど、見られる情報が増え、公開の自由度も高くなる。
| 段階 | 見られる範囲 | 公開のルール | 該当する例 |
|---|---|---|---|
| 第1段階 | 範囲を絞ったリスク調査。どこまで見せるかはAnthropicが決める | 公開にはAnthropicの承認が必要 | SecureBio |
| 第2段階 | より多くの情報にアクセスできる | 承認なしで公開できる。ただし特定分野の削除は求められる | (発表文では個別名なし) |
| 第3段階 | 社員に近い権限で、社内ツールやシステムを使える | 公開の権利は第2段階と同様 | METR |
※ Anthropic「An update on independent evaluators」に基づく整理。第2段階に当たる具体的な団体名は、確認できた範囲では示されていない。
第1段階のSecureBioは、2026年8月のRisk Reportのうち、化学・生物兵器に関する章をレビューしているという。同団体は、2026年2月のRisk Reportについても試験的なレビューを公開していたと説明されている。
今回の発表でもっとも重いのは、公表に関するルールだ。Anthropicの説明では、METRはAnthropicのリスクの水準、インシデント(問題の発生)、運用のやり方についての分析を公表できる。Anthropicには拒否権がなく、できるのは事前に決めたごく狭い分野の情報を黒塗りにさせることだけだ。METR側は、その黒塗りが妥当だったかについて、中身を明かさずに公にコメントできる。
一方で、何でも見せるわけではない。社員は評価者に積極的に情報を共有するよう促されるが、顧客データ、弁護士との秘匿特権で守られる情報、モデルの構造(アーキテクチャ)に関する情報などは例外とされている。Anthropicは、構造の情報は漏えいリスクが高く、評価にはあまり関係しないことが多いと説明している。関係が深い場合は、社内の明示的な承認を経て共有するという。
| 条件 | 意味 |
|---|---|
| 先端モデルへの専門性 | 最先端のAIの能力と危険性を理解していること |
| 独立性 | Anthropicへの出資、金銭的な依存、運営面の依存がないこと |
| 十分なアクセス | リスクを評価するのに足りる情報にふれられること |
| 公開の自由 | 結果を自ら公表できること |
この話は、9月18日の発表と合わせて読むと流れがわかる。Anthropicはこの日、Accentureの専門AI部門Facultyに、モデルの評価・レッドチーム(攻撃役による検証)・アラインメント評価・安全策のテストを任せると発表した。評価者は、訓練中のモデルを観察したり、開発・公開の判断を追ったりでき、社員と直接話せるという。
同発表では、AnthropicがAccentureの作業費用を直接負担すること、AnthropicとAccentureがそれぞれ5年間で少なくとも10億ドルを投じる見込みであることも説明された。ただしAnthropic自身が、「長期の資金は、企業の持ち寄りや政府などプール型の財源から出すのが望ましいが、そうした仕組みはまだない」と述べている。
| 評価者 | 状況 | 備考 |
|---|---|---|
| METR | 社内に6人 | 第3段階。分析の公開権を持つ |
| SecureBio | 第1段階で進行中 | 8月のRisk Reportの生物・化学兵器の章をレビュー |
| Accenture/Faculty | より広い提携へ準備中 | 評価、レッドチーム、アラインメント評価、安全策のテスト、人材育成を想定 |
| Hugging Faceなど | 初期協議 | 複数の団体と話し合い中とされる |
※ Anthropic「An update on independent evaluators」「Accenture embedded evaluation」に基づく。協議中の団体の最終的な参加は未確定。
この取り組みには、外部から疑問も出ている。9月のAccenture発表を取り上げた海外メディアのThe Next Webは、評価される側が評価者の費用を払う構図を、構造的な問題として指摘した。また、Accentureが顧客・販売パートナー・導入支援先であり、さらに評価者にもなる点を「商業上の絡み」として挙げている。Anthropic自身も、現時点では評価者が何を見られるか、どう報告するかの標準が存在しないと認めている。
今回のMETRの件は、評価者側が独立した立場の非営利団体であり、公開の権利を持つ点で、その懸念への一つの答えにも見える。ただし、METRの費用を誰が負担するのかは、確認できた範囲の発表文には書かれていない。また、METRが実際にどんな分析をいつ公開するのかも、現時点では示されていない。
AIの安全性は、これまで各社の自己申告に頼る部分が大きかった。今回の発表は、その外側に評価者を社内に入れ、結果を自由に出せる仕組みを作ろうとする動きだ。ただし、まだ始まったばかりで、評価の質や独立性が十分かどうかは、METRが何を公表するかを見て判断する段階にある。この記事の内容は2026年10月15日時点の公式発表に基づく。今後、詳細が変わる可能性がある。
参考リンク: Anthropic「An update on independent evaluators」 / Anthropic「Accenture embedded evaluation」 / The Next Web(Accenture提携への批判) / METR ブログ