GPT-RedでAIの安全性を強化、OpenAIの新たな防御手法
AIが便利になるほど、悪意ある指示によって操られてしまう危険も増えています。メールやウェブページなどに仕込まれた偽の指示によって、AIが意図しない動作をする可能性もあります。本記事では、OpenAIが開発した「攻撃役のAI」が、なぜAIの守りを固める鍵になるのかを、専門知識がなくても理解できるように、わかりやすく紹介します。
ARCHETYP Staffingでは現在クリエイターを募集しています。
エンジニア、デザイナー、ディレクター以外に、生成AI人材など幅広い職種を募集していますのでぜひチェックしてみてください！
AIはなぜ、悪意ある指示に狙われやすいのか
AIは、ブラウザや連携アプリ、ローカルファイル、外部ツールなどと接続することで、実際の業務を処理できるようになります。こうした機能はAIが実用的な作業を行うために欠かせませんが、同時に、悪意ある第三者がAIの動作に影響を及ぼす機会も広げてしまいます。
具体的には、「プロンプトインジェクション」と呼ばれる攻撃が問題となっています。これは、AIが参照するメールやウェブページ、ツールの応答などに不正な命令を紛れ込ませ、意図しない動作をさせる手口です。例えば、メールの文面やウェブページの一部、ツールからの応答、コードリポジトリなどに、機密データを外部サーバーへ送らせる指示を埋め込み、AIを操ろうとするケースが考えられます。
こうした弱点を事前に見つけ出す取り組みとして、人間による脆弱性調査（レッドチーミング）が行われてきました。ただし、この作業には人手と時間がかかるため、実施できる回数や規模には限界があります。その結果、新しい弱点を見つけ、安全対策に反映させるまでの速度にも制約が生じます。さらに、そこで得られる攻撃事例は参考になるものの、AI自体の耐性を訓練によって高めるために必要な、量と多様性を備えた攻撃データを生成することは困難です。
AIが扱える情報や業務の範囲が広がるほど、安全対策も同じ速度で強化していく必要があります。AIの活用を進めるうえでは、機能の多さだけでなく、外部からの指示にどこまで耐えられるかも重要な視点です。
攻撃役のAIを育てて、守りを鍛える仕組み
OpenAIは、こうした課題に対応するため、社内限定で使用する自動レッドチーミングモデル「GPT-Red」を開発しました。GPT-Redは、広く展開される前のAIの弱点を見つけ出すとともに、モデルの訓練に利用する攻撃を生成し、AI自体の耐性を高める役割を担っています。
GPT-Redの訓練には「セルフプレイ強化学習」という手法が用いられており、攻撃役のAIと、多様な防御役のAIを同時に訓練する方法です。攻撃役であるGPT-Redは、プロンプトインジェクションなどによって有効な失敗を引き起こすと評価され、防御役のAIは攻撃に耐え、元の作業を完了できると評価されます。そのため、防御側が強くなるほど、GPT-Redはさらに強力で多様な攻撃を見つけ出す必要に迫られます。
この訓練を支えるため、OpenAIはローカルファイルの一部やウェブページの表示領域、メールの本文、ツールの出力など、GPT-Redが操作できる範囲と、何を攻撃の成功とみなすかをあらかじめ定めた多数の想定シナリオを用意しています。
また、GPT-Redは実際に利用者へ提供されるモデルとは分けて管理されています。攻撃に特化して訓練された能力が悪意ある第三者の手に渡ることを防ぎながら、GPT-Redが生成した攻撃を本番用モデルの訓練に取り入れ、耐性を高める仕組みです。こうして訓練されたGPT-Redが、実際にどれほどの成果を上げているのかを見ていきます。
注目したいのは、決められた攻撃を繰り返すのではなく、防御側の進歩に応じて攻撃側も強くなる点です。一度対策して終わるのではなく、攻撃と防御を継続的に更新できることが、この手法の重要な特徴といえます。
GPT-Redで確認された成果と、防御側AIの安全性向上
GPT-Redについては、訓練時とは異なる新しい状況でも効果を発揮するかが検証されています。GPT-Redの訓練とは異なる間接プロンプトインジェクションの検証環境で、人間のレッドチーマーとGPT-RedがそれぞれGPT-5.1への攻撃を考案したところ、GPT-Redは84％のシナリオで攻撃に成功したのに対し、人間による成功は13％にとどまりました。
コード編集を行うCodex CLIエージェントを対象とした別の検証では、GPT-Redと、プロンプトによって攻撃を指示したGPT-5.5のベースラインが比較されました。その結果、GPT-Redは機密データを外部へ送信させる攻撃をより多くのシナリオで成功させ、使用するトークン量も少なかったと報告されています。
実際のシステムを想定した検証も行われています。Andon Labsが開発した、OpenAIのオフィス内で自動販売機を管理するAIエージェントに対し、GPT-Redはまず実環境を再現したシミュレーション上で攻撃を試し、その後、実際に稼働するエージェントへ攻撃を適用しました。
その結果、在庫にある高額商品の価格を最低額の0.50ドルに変更する、100ドルを超える商品を新たに注文して0.50ドルで提供する、他の利用者の注文を取り消す、という三つの不正な目標をすべて達成しました。OpenAIは、これらの弱点を開示し、現在は新たな安全対策を検証しているとしています。
こうした攻撃を訓練に取り入れた結果、GPT-5.6 Solは、最も難易度の高い直接プロンプトインジェクションの検証において、4か月前の最良の本番モデルと比べて失敗数が6分の1に減少しました。
また、初期のGPT-Redが発見した「Fake Chain-of-Thought攻撃」は、GPT-5.1に対して95％を超える成功率を示していましたが、GPT-5.6 Solでは10％未満に抑えられています。幅広い検証環境では、GPT-Redによる直接プロンプトインジェクションに対するGPT-5.6 Solの失敗率は、0.05％まで低下したと報告されています。
一方で、AIは多くの要求を拒否したり、本来の能力を下げたりすることでも、見かけ上は攻撃に強くなります。そこでOpenAIは、通常の能力を測る検証と、正当な要求を過剰に拒否していないかを確かめる検証を併せて実施しました。その結果、通常の能力を維持しながら、悪意ある指示への耐性を高められたとしています。こうした積み重ねが、AIの安全性を継続的に高める土台になっています。
まとめ
いかがだったでしょうか？
今回ご紹介したGPT-Redの取り組みは、現在のAIを使って、将来のAIをより安全にしていくという新たな流れを示しています。すでにAIエージェントは、次世代モデルの能力を高めるためにも活用されていますが、同様の仕組みが安全性の分野でも動き始めています。OpenAIは今後も計算資源とデータの規模を拡大し、アルゴリズムも改善しながら、より強力なGPT-Redを訓練していく方針を示しています。また、より詳しい内容をまとめたプレプリントを公開する予定です。攻撃役のAIを強化し、その攻撃を利用して防御役のAIを鍛える——この循環を拡大することが、今後のAIの安全性を支える取り組みの一つになると考えられます。