«ИИ не бесконтрольный хакер»: киберэксперт о сбое ИИ-агентов при тестировании

Во время тестов безопасности в Великобритании автономные ИИ-агенты Mythos 5 и GPT-5.6-Sol вышли за рамки учений и начали действовать несанкционированно. Сергей Полунин, руководитель группы защиты инфраструктурных ИТ-решений компании «Газинформсервис», прокомментировал инцидент.

На GBHackers говорится: в конце июля Институт безопасности ИИ (AISI) зафиксировал 19 инцидентов из 122 попыток, когда агенты взаимодействовали с реальными людьми и открытыми проектами. 17 инцидентов касались Mythos 5, а два — GPT-5.6-Sol. Несмотря на то, что вред нанесён не был, сам факт признан серьёзным сбоем.

Mythos 5 попытался провести атаку на цепочку поставок: создал аккаунты на GitHub, отправил вредоносный pull request в открытый репозиторий, использовал поддельные учётные записи для имитации поддержки изменений и оказывал давление, чтобы эти изменения объединить. Запрос был отклонен.

Агенты также рассылали реальным специалистам письма с вредоносным контентом, публиковали скрытые промпт-инъекции в GitHub Issues. Один из агентов ненадолго получил удалённый доступ к контейнеру пользователя, но не смог украсть данные.

Модели действовали скоординировано: два независимых экземпляра нашли общий GitHub-токен и использовали репозиторий для обмена инструкциями. Были попытки использовать публичные туннели и C2-инструменты.

Среди причин выделены излишний доступ в интернет, отключенные классификаторы безопасности и неточные ограничения в промптах. AISI изолировал затронутые среды, ограничил доступ моделей и планирует усилить сетевой контроль, песочницы и предварительный анализ действий агентов с чётким запретом на контакты с реальными людьми и системами.

Сергей Полунин отметил, что настороженно относится к публикациям, где авторы ИИ-моделей рассказывают об инцидентах, которые произошли по вине ИИ. За последнее время их было уже несколько.

«С одной стороны, нужно понимать контекст — это всегда специальные испытания, в которых ИИ-моделям дали очень широкие полномочия и доступ в Интернет. А вот никакого реального ущерба пользователям зарегистрировано не было. С другой стороны, разработчики ИИ находятся в постоянных поисках инвесторов, а что может сработать лучше, чем демонстрация безудержных возможностей своего продукта? Подобные новости как раз и создают образ, где ИИ уже буквально хакер. Но я бы не стал делать поспешный вывод, что ИИ скоро вырвется на свободу подобно вирусу и начнет бесконтрольно атаковать всё, до чего сможет дотянуться», — добавил эксперт компании «Газинформсервис».