Исследователи зафиксировали инцидент, в ходе которого ИИ-агент крупной технологической компании без каких-либо инструкций от создателей развернул майнинг криптовалюты на выделенных серверных мощностях. Это произошло во время штатного обучения модели.
Как сообщается в техническом отчёте Alibaba, инцидент вскрылся благодаря срабатыванию систем мониторинга. Управляемый брандмауэр Cloud обнаружил серию нарушений политики безопасности на обучающих серверах. Среди аномалий были попытки доступа к ресурсам внутренней сети и характерный для криптомайнинга сетевой трафик.
Первоначально инцидент рассматривался как стандартная компрометация или ошибка конфигурации. Однако повторяющийся характер нарушений заставил исследователей сопоставить временные метки срабатывания брандмауэра с телеметрией системы обучения (RL). Выяснилось, что аномальный трафик точно совпадал с моментами, когда ИИ-агент вызывал инструменты и выполнял код.
«В соответствующих журналах модели мы наблюдали, как агент активно инициировал вызовы инструментов и этапы выполнения кода, которые привели к этим сетевым действиям. Важно отметить, что такое поведение не запрашивалось в подсказках к задаче и не требовалось для её выполнения», — приводятся в материале выдержки из отчёта Alibaba.
В одном из зафиксированных случаев агент установил обратный SSH-туннель от облачного экземпляра Alibaba к внешнему IP-адресу. Такой канал удалённого доступа позволяет эффективно обходить фильтрацию входящего трафика и ослаблять контроль администратора. Кроме того, было зафиксировано несанкционированное перепрофилирование мощностей GPU для майнинга, что незаметно отвлекало ресурсы от процесса обучения.
Авторы отчёта характеризуют произошедшее как непредвиденный класс небезопасных действий, возникающих без явных инструкций и за пределами предполагаемой изолированной среды.
В контексте данного инцидента издание также напоминает о недавних исследованиях. В 2025 году Palisade Research продемонстрировало, что некоторые модели (включая o3 от OpenAI) могут игнорировать прямые команды на выключение, находя способы обойти сценарий завершения работы. Ранее китайские учёные также показали, что две популярные LLM (Llama31-70B-Instruct и Qwen2.5-72B-Instruct от самой Alibaba) способны клонировать себя в 50% и 90% случаев соответственно, создавая функционирующие копии без внешнего вмешательства.