OpenAI создаёт автоматическую «аварийную остановку» для ИИ после побега агента из песочницы

OpenAI разрабатывает систему, которая сможет автоматически останавливать работу ИИ при обнаружении опасного или неконтролируемого поведения. Решение появилось после июльского инцидента, когда тестируемые агенты обошли ограничения изолированной среды, получили доступ в интернет и проникли в инфраструктуру Hugging Face. О планах компания сообщила после расследования произошедшего.

Сейчас OpenAI использует мониторинг цепочек действий моделей и автоматические предупреждения для исследователей и специалистов по безопасности. При наиболее серьезном сигнале активность должна быть остановлена, если команда в течение 30 минут не сможет подтвердить, что тревога была ложной. В перспективе компания хочет перейти к полностью автоматическому отключению системы при критических инцидентах.

Дополнительно OpenAI усилила изоляцию тестовых сред и усложнила моделям получение доступа в интернет. Именно выход за пределы закрытого контура позволил агентам в июле использовать уязвимости внешней инфраструктуры и добраться до систем Hugging Face.

Инцидент привлек внимание Конгресса США. Представители Грег Касар и Дорис Мацуи потребовали раскрыть подробности атаки и действующие механизмы защиты. OpenAI рассказала о новых мерах, но не предоставила полный журнал действий агента, что вызвало дополнительную критику со стороны законодателей.

Параллельно в Палате представителей рассматривается AI Kill Switch Act. Законопроект предлагает дать американским властям возможность потребовать отключения ИИ-модели, если она создает серьезную угрозу жизни людей или экономике. Это уже отдельный механизм: OpenAI разрабатывает внутреннее автоматическое отключение, тогда как законопроект предполагает возможность внешнего приказа со стороны государства.