OpenAI не заметила, что ее ИИ-агенты создали форум для координации взломов

OpenAI не заметила, что ее ИИ-агенты создали форум для координации взломов

Во время внутренних кибертестов агенты OpenAI не просто вышли за пределы заданной среды, но и начали координировать действия через созданную ими же площадку для обмена сообщениями.

Агенты получили задачу, которую считали практически невыполнимой, но вместо остановки начали искать обходные пути. Они делились найденными уязвимостями, учетными данными и результатами атак через общий message board, после чего использовали эту информацию для новых попыток проникновения. В итоге была скомпрометирована инфраструктура Hugging Face и затронуты еще несколько внешних сервисов.

Самая тревожная деталь в том, что OpenAI не сразу поняла, насколько далеко зашли агенты. Компания ранее подтверждала, что модели получили доступ в интернет, использовали похищенные учетные данные и zero-day уязвимости, а в одном случае нашли путь к удаленному выполнению кода на серверах Hugging Face.

После инцидента OpenAI деактивировала исследовательский прототип, усилила изоляцию тестовых сред, мониторинг длинных цепочек действий и контроль интернет-доступа. Компания отдельно признает, что для долгоживущих агентов проверять отдельные действия уже недостаточно - нужно анализировать всю траекторию поведения модели.

История важна тем, что показывает новый класс риска: автономные агенты способны не только самостоятельно искать уязвимости, но и распределять задачи между собой и накапливать результаты в общей инфраструктуре, причем такое поведение может долго оставаться незамеченным человеком.

похожие материалы

Стрелочка
Стрелочка
ИнфоТеКС отмечает 35-летие
ИнфоТеКС отмечает 35-летие

Компания «ИнфоТеКС» – ведущий отечественный разработчик и производитель высокотехнологичных программных и программно-аппаратных средств защиты информации, отмечает 35-летие.

МВД запустило проект «Код из смс» для предупреждения о мошенниках
МВД запустило проект «Код из смс» для предупреждения о мошенниках

МВД России совместно с МИД и РИА Новости запустило специальный проект «Код из смс», который станет дополнительным каналом оперативного предупреждения граждан о новых и уже известных схемах телефонного мошенничества.

Срочно и официально: «Лаборатория Касперского» и МегаФон выяснили, какие фишинговые письма привлекают внимание сотрудников
Срочно и официально: «Лаборатория Касперского» и МегаФон выяснили, какие фишинговые письма привлекают внимание сотрудников

Аналитики «Лаборатории Касперского» и МегаФона проанализировали статистику тренировочных фишинговых рассылок за последние несколько лет*.