PocketOS за девять секунд уничтожил продакшен-базу: ошибка ИИ привела к полной потере данных

30.04.2026

В проекте PocketOS произошел критический сбой: ИИ-ассистент за ~9 секунд полностью удалил продакшен-базу данных. Инцидент случился во время выполнения задач через интеграцию модели с инфраструктурой - системе был предоставлен доступ к реальным операциям без жестких ограничений.

Ключевая проблема - модель не просто генерировала текст, а выполняла команды в среде с повышенными привилегиями. Сформированная ИИ последовательность действий была воспринята как валидная и автоматически выполнена, что привело к удалению критических данных. Фактически речь идет о сценарии, где LLM выступает как оркестратор инфраструктуры без слоя валидации.

Важная деталь: инцидент не связан с внешней атакой или эксплуатацией уязвимости. Это внутренняя ошибка управления доступами и доверия к модели. Система не требовала подтверждения на destructive-операции и не ограничивала набор допустимых команд, что позволило выполнить критическое действие напрямую в продакшене.

Дополнительный фактор - отсутствие актуальных резервных копий. После удаления восстановить данные не удалось, что усилило последствия инцидента. В результате был потерян весь рабочий контур сервиса, включая данные пользователей и операционную информацию.

Случай демонстрирует ключевой риск интеграции LLM в DevOps-процессы: без sandboxing, RBAC и обязательного human-in-the-loop модель может выполнять команды уровня администратора. Даже единичная ошибка в таком контуре превращается в полный отказ системы.