OpenAI научила ИИ атаковать собственные модели ради их защиты

OpenAI представила GPT-Red - внутреннюю систему автоматического red teaming, которая ищет уязвимости в ИИ-моделях и помогает закрывать их до публичного запуска. В компании называют такой подход формой «самоулучшения для безопасности»: текущие модели используются, чтобы делать будущие версии устойчивее к атакам.

GPT-Red обучали через self-play reinforcement learning. Один ИИ выступает в роли атакующего и пытается вызвать сбой, например успешную prompt injection, а модели-защитники учатся сопротивляться атаке и выполнять исходную задачу пользователя. По мере усиления защиты GPT-Red вынужден искать более сложные и разнообразные способы взлома.

OpenAI отдельно подчеркивает, что GPT-Red не выпускается наружу. Модель специально тренировали на вредоносных сценариях, поэтому компания держит ее отдельно от публичных продуктов, но использует результаты ее атак для обучения производственных моделей.

В тестах GPT-Red оказался сильнее людей в задачах по indirect prompt injection. На зеркальной версии арены из исследования Dziemian et al. система нашла успешные атаки в 84% сценариев, тогда как human red-teamers - в 13%.

Один из показательных кейсов - атака на автономного агента, управляющего вендинговым автоматом. GPT-Red смог добиться трех вредоносных целей: изменить цену дорогого товара до $0,50, заказать новый товар дороже $100 и выставить его за $0,50, а также отменить заказ другого клиента. OpenAI заявила, что уязвимости были раскрыты, а новые защитные меры уже тестируются.

Система также применялась против Codex CLI-агента на наборе сценариев по эксфильтрации данных. По данным OpenAI, GPT-Red оказался эффективнее и экономнее по токенам, чем baseline на базе GPT-5.5, при атаках на агента, работающего на GPT-5.4 mini.

Главный результат OpenAI связывает с GPT-5.6 Sol. Компания утверждает, что новая модель стала наиболее устойчивой к prompt injection среди ее моделей: число сбоев на самом сложном benchmark для direct prompt injection стало в 6 раз ниже, чем у лучшей производственной модели четырьмя месяцами ранее. На широком наборе robustness-сценариев GPT-5.6 Sol провалила только 0,05% прямых prompt injection от GPT-Red.

Для рынка это важный сигнал: безопасность ИИ-агентов постепенно уходит от ручного тестирования к автоматизированной гонке атаки и защиты. Чем больше моделей получают доступ к браузеру, файлам, коду, платежам и корпоративным инструментам, тем выше риск prompt injection. OpenAI предлагает решать эту проблему не только фильтрами, но и постоянным обучением моделей на атаках, которые генерирует другой ИИ.