GLOSSARY
レッドチーミング
敵に先んじて AI システムを意図的に攻撃します — ジェイルブレイク、プロンプトインジェクション、奇妙なエッジケース — そして壊れた箇所を直します。
レッドチーミングは軍事用語を借用します。内部の「レッドチーム」が敵を演じ、ジェイルブレイクの言い回し、操作的なペルソナ、多言語の回避策、不条理なエッジ入力でモデルを探り、失敗の地図を作ります。フロンティアラブは常設プログラムを実施し報告書を公表し、規制当局はその証拠を次第に求め、バウンティ型のクラウド攻撃は産業の一分野になりました。
成果は決して「安全」ではなく、今日の失敗の地図と修正のループです。構築者への教訓は、安全性は対抗的なテストであってチェックボックスではないということです。お金を使える AI エージェントを誰も壊そうとしなかったなら、壊せるものと想定してください。