Диверсия в коде: как Data Poisoning превращает ИИ в «троянского коня»

10.06.2026

Евгения Шафоростова

Автор

Атаки на системы искусственного интеллекта смещаются с уровня кода на уровень данных. Вместо эксплуатации уязвимостей инфраструктуры злоумышленники изменяют обучающие выборки, формируя у моделей предсказуемо ошибочное поведение. Такой подход, известный как Data Poisoning, позволяет внедрять скрытые дефекты, которые не выявляются стандартными методами тестирования и проявляются уже в промышленной эксплуатации. Кибер Медиа разбирает, как злоумышленники создают «закладки» в моделях, почему стандартные методы мониторинга бессильны перед тонким отравлением и как защитить корпоративный интеллект от скрытых угроз.

Содержание

Анатомия невидимой атаки: когда ИИ становится целью

Современная кибербезопасность столкнулась с вызовом, который невозможно зафиксировать стандартными логами. Пока индустрия оттачивала методы борьбы с эксплойтами, на сцену вышло Adversarial ML — подходы к атаке на логику работы алгоритмов. Если классический хакинг ищет ошибки в коде, то AML эксплуатирует несовершенство математического восприятия нейросетей.

Разница подходов меняет саму парадигму защиты: классическая атака пытается заставить компьютер выполнять команды, которые не были предусмотрены разработчиком, в то время как AML заставляет его выполнять свои функции, но на основе данных, намеренно искаженных для провокации ошибки. В этом случае входной поток выглядит абсолютно легитимно, а система просто принимает неверное решение, считая его штатным.

В таких атаках выделяются две принципиально разные стратегии:

Evasion-атаки. Тактическая манипуляция «здесь и сейчас». Хакер подбирает такой цифровой шум для файла или изображения, который превращает вредоносный объект в «невидимку» для уже обученного антивирусного ИИ.
Data Poisoning. Стратегическое «отравление» фундамента. Вместо обхода готовых фильтров атакующий внедряет дефекты в саму обучающую выборку. Это превращает процесс подготовки ИИ в создание мины замедленного действия.

Подмешивая в датасет небольшие объемы искаженной информации, злоумышленник не снижает общую точность системы, но формирует скрытые зоны ложного доверия. Ключевая особенность метода — эффект отложенного действия. Модель может демонстрировать безупречные результаты на тестах, пока внутри нее зреет заранее заложенный триггер — системный дефект, встроенный в логику модели.

В нужный момент эта архитектурная брешь позволит активировать сценарий, который система сочтет безопасным. Обнаружить подобную компрометацию постфактум крайне сложно и зачастую требует специализированного анализа поведения модели. Уязвимость становится неотделимой частью поведения модели. На практике это часто приводит к необходимости глубокой ревизии архивов данных и в ряде случаев — к переобучению модели с нуля.

Векторы компрометации ИИ

Методы компрометации обучающих выборок эволюционируют от хаотичной деградации до высокоточной инъекции признаков. В примитивном сценарии используется нецелевое зашумление — массовый вброс некорректно размеченных данных для обрушения общей точности классификатора. На другом полюсе находятся таргетированные закладки, где модификации подвергается лишь ничтожная доля датасета. В него внедряется специфический паттерн: от едва заметного изменения градиента в пиксельной сетке до уникальных идентификаторов в текстовых строках.

Векторы воздействия классифицируются по характеру ущерба:

Нарушение доступности — стратегический DoS. Цель — превратить модель в бесполезный генератор ошибок, провоцируя лавину ложноположительных срабатываний и паралич бизнес-процессов.
Нарушение целостности — скрытые бэкдоры. Алгоритм сохраняет исходную точность, но гарантированно пропускает атаку при предъявлении триггера в промышленной эксплуатации.

Для энтерпрайз-сегмента выбор между этими сценариями напрямую влияет на масштаб рисков: от временного простоя сервисов до глубокой скрытой компрометации периметра.

Алексей Синадский

Ведущий исследователь УЦСБ

Любой тип атаки может привести к нежелательным для корпоративных ML-систем последствиям. Чтобы понять, от каких атак защищаться в первую очередь, нужно предварительно провести аудит, оценить риски для конкретной системы и составить модель угроз — может быть, важно усредненное качество работы, а может — надо защищаться от триггеров в пользовательских данных.

Точность работы ML-систем может быть снижена атаками label-flipping, которая искажает границы разделения классов. Backdoor-атаки внедряют в данные (и далее в модель) специальный триггер, который не встречается в обычных данных, но при подаче его в процессе инференса злоумышленником модель меняет поведение.

Сложность борьбы с этими векторами зависит от их технической реализации. Часть классических бэкдоров может быть выявлена через аудит разметки, но методы типа clean-label poisoning позволяют внедрять эксплуатируемый признак без явного нарушения логики обучения. Для инженера такие данные выглядят валидными. Это превращает верификацию данных в поиск аномалий, которые намеренно мимикрируют под штатные признаки.

В итоге безопасность ИИ-системы начинает зависеть не от защищенности кода, а от целостности всей цепочки поставок данных. Гарантировать ее на всем жизненном цикле модели крайне сложно, особенно при работе с внешними источниками данных.

Точки входа: архитектурные бреши в жизненном цикле данных

Жизненный цикл ML-модели — это сложный конвейер, где безопасность конечного продукта напрямую зависит от доверия к каждому этапу обработки информации. Уязвимость заложена в самой открытости современных методов подготовки данных. Вектор атаки может быть направлен на любое звено пайплайна:

Сбор данных. Использование открытых источников и готовых датасетов — самое уязвимое место. Злоумышленнику достаточно наполнить веб-ресурсы специфическим контентом, который гарантированно попадет в поисковую выдачу парсеров.
Аннотация. Здесь критическим фактором становится аутсорсинг. Использование краудсорсинговых платформ или сторонних подрядчиков для разметки данных открывает путь для инсайдерских атак или намеренной порчи меток.
Хранение и версионирование. Даже если данные собраны корректно, они могут быть изменены в хранилище до начала процесса обучения. Недостаточный контроль доступа к системам контроля версий данных превращает их в идеальную точку входа для внедрения закладок.

Смещение фокуса атаки на ранние стадии пайплайна меняет привычную модель угроз: теперь ИБ-специалисту приходится анализировать не только защищенность кода, но и репутацию поставщиков контента.

Лидия Виткова

К.т.н, начальник Аналитического центра кибербезопасности (АЦКБ) «Газинформсервис»

На практике наиболее уязвимым этапом в жизненном цикле моделей машинного обучения является непосредственно разметка данных, поскольку именно на этом этапе формируется «эталонная истина» (ground truth), относительно которой модель оптимизирует свои параметры. Любые искажения — как случайные, так и злонамеренные — на этой стадии фундаментально компрометируют процесс обучения, заставляя алгоритм усваивать ложные закономерности.

Риски усугубляются высокой долей ручного труда и аутсорсинга, распределенностью процесса между множеством аннотаторов и автоматизированными инструментами, а также отсутствием стандартизированных практик верификации меток в условиях жестких ограничений по срокам и бюджету. При этом в большинстве промышленных ML-пайплайнов этап разметки не выделяется как отдельный объект защиты, что с точки зрения информационной безопасности является системной ошибкой: фактически это самостоятельная зона риска, уязвимость которой распространяется на все последующие стадии жизненного цикла модели.

Практика показывает, что компрометация на этапе хранения часто требует взлома инфраструктуры, что фиксируется классическими средствами защиты. В то же время атаки на этапе сбора и аннотации эксплуатируют организационные пробелы. Если при сборе данных из веба фильтрация настроена недостаточно жестко, система воспринимает искаженные данные как часть нормального распределения.

Это делает этап подготовки данных одной из ключевых точек риска. В условиях энтерпрайз-сектора, где объемы обучающих выборок исчисляются терабайтами, ручная проверка каждого семпла невозможна. В итоге успех атаки определяется не техническим изяществом эксплойта, а способностью злоумышленника растворить вредоносный паттерн в огромном массиве легитимной информации на самых ранних стадиях ее формирования.

Искусство маскировки: почему статистический контроль не работает

Традиционные методы очистки данных и поиск статистических выбросов оказываются бессильны перед атаками нового поколения. Главная проблема заключается в том, что «отравление» современными методами не создает аномалий, которые могли бы зафиксировать стандартные инструменты мониторинга. Вместо грубого искажения признаков атакующий использует математически выверенные пертурбации, которые мимикрируют под естественную вариативность данных.

Особую опасность представляет техника clean-label poisoning. В отличие от классических методов, здесь злоумышленник не меняет метку класса: если система обучается распознавать вредоносный трафик, «отравленный» семпл в датасете будет выглядеть и быть помечен именно как вредоносный. Однако внутри него скрыта такая комбинация признаков, которая заставляет модель при обучении выстроить ошибочную логическую связь. В результате возникают критические дефекты:

Ложная корреляция. Модель начинает считать безобидный признак, например, специфический размер заголовка пакета, неоспоримым доказательством легитимности файла.
Слепота к триггерам. В логику внедряется «белое пятно», которое активируется только при наличии уникального ключа, известного атакующему.
Консистентность распределения. На графиках и в ходе проверки качества данных «ядовитые» примеры не выделяются на фоне общего массива, проходя все фильтры как валидные данные.

Подобная маскировка делает неэффективным стандартный подход к безопасности ИИ, основанный на проверке точности. Модель может демонстрировать высокие метрики на валидации, оставаясь при этом скомпрометированной.

Станислав Ежов

Директор по развитию ИИ «Группы Астра»

«Тонкое» отравление я бы искал не по грубым выбросам, а по внутренним представлениям модели: через спектральный анализ, кластеризацию активаций, топологический анализ и анализ поведения во время обучения. Обычные методы поиска аномалий полезны как первичный фильтр, но сами по себе часто такие атаки не выявляют.

Обнаружение таких закладок требует перехода от простого анализа данных к анализу поведения самой модели в процессе обучения. Использование техник дифференциальной конфиденциальности или анализ влияния конкретных обучающих примеров на финальные веса позволяют выявить «токсичный» вклад.

Однако в условиях энтерпрайз-сегмента, где скорость развертывания моделей часто превалирует над глубиной аудита, такие проверки проводятся редко. В итоге маскировка срабатывает: система уходит в продакшн с «зашитой» уязвимостью, которая проявит себя только в момент реальной атаки, когда менять что-либо в архитектуре будет уже поздно.

Риски Open Source

Обучение современных нейросетей с нуля требует колоссальных вычислительных мощностей, что делает процесс недоступным для большинства компаний. В условиях жесткого Time-to-Market индустрия перешла на модель Transfer Learning: бизнес берет базовые модели из публичных репозиториев и дообучает их под свои задачи. Такая стратегия радикально снижает порог входа, но формирует «слепую зону» в периметре безопасности. Использование сторонних компонентов сопряжено с несколькими критическими рисками:

Транзит скрытой логики. Вместе с архитектурой компания импортирует все «закладки», заложенные на этапе первичного обучения. Эти дефекты невозможно обнаружить обычными антивирусами, так как они скрыты в математических параметрах самой модели.
Уязвимости сериализации. Популярные форматы хранения моделей часто позволяют упаковывать в файл произвольный исполняемый код. При загрузке модели встроенный вредоносный код может выполниться с правами целевой системы.
Тайпсквоттинг и подмена. Злоумышленники создают репозитории с именами, визуально похожими на популярные библиотеки, или взламывают аккаунты доверенных контрибьюторов для подмены проверенных моделей на «отравленные» версии.

В итоге безопасность Enterprise-решения начинает напрямую зависеть от уровня доверия к анонимному владельцу репозитория.

Лидия Виткова

К.т.н, начальник Аналитического центра кибербезопасности (АЦКБ) «Газинформсервис»

Риск «закладок» в предобученных open-source-моделях вполне реалистичен: в публичных репозиториях часто отсутствуют механизмы верификации авторов и целостности артефактов, что позволяет злоумышленнику внедрить бэкдор еще на этапе предобучения. Открытость кода — палка о двух концах: она упрощает анализ, но и дает атакующему больше информации для обхода защит. Универсального метода аудита пока нет, однако сформировался набор снижающих риски практик: верификация хеш-сумм и цифровых подписей, статический анализ весов, тестирование на триггерных выборках и сравнение с эталонными бенчмарками.

Проверка сторонних нейросетей — задача на порядок сложнее анализа исходного кода. Если статические анализаторы находят уязвимую функцию, то для поиска дефектов в миллиардах параметров требуются специфические методы вроде Neural Cleansing или стресс-тестирования на состязательную устойчивость.

Поскольку полноценный аудит часто нивелирует экономическую выгоду от использования Open Source, многие ограничиваются проверкой точности на своих тестах. Это создает идеальные условия для атак на цепочки поставок: внедренный дефект может годами находиться в режиме ожидания, пока модель не будет интегрирована в критически важный бизнес-процесс.

Концепция Zero Trust в ML: архитектурные методы противодействия

Защита ИИ-систем требует перехода от реактивного мониторинга к эшелонированной обороне. Поскольку полностью исключить попадание «яда» в обучающую выборку в современных масштабах данных практически невозможно, стратегия выживания строится на концепции «нулевого доверия» к каждому входящему байту.

Основной удар по злоумышленнику наносится еще до начала обучения через методы пре-процессинга. Вместо простой очистки данных инженеры могут использовать механизмы дифференциальной конфиденциальности, добавляя контролируемый шум. В ряде сценариев это снижает влияние отдельных вредоносных паттернов: модель сохраняет способность видеть общую картину, но перестает запоминать специфические триггеры, на которые рассчитывает атакующий.

Если же «яд» все же проник в систему, в игру вступает модификация процесса обучения. Здесь безопасность интегрируется напрямую в математику модели через коррекцию функции потерь. Внедряются штрафные коэффициенты, которые ограничивают влияние любого отдельного примера на итоговые веса. Это ограничивает возможность атакующего существенно влиять на поведение модели через малую долю скомпрометированных данных. Таким образом, даже при наличии закладок модель снижает чувствительность к отдельным аномальным примерам, отдавая приоритет устойчивым закономерностям.

Олег Белоусов

Директор по искусственному интеллекту Лиги Цифровой Экономики

Универсального решения нет — нужна комбинация подходов в зависимости от задачи и ресурсов:

Фильтрация данных — первая линия обороны. Мы используем статистические методы и модели-детекторы, обученные на «синтетических» примерах, «отравленных» данных.

Устойчивое обучение повышает защиту модели от атак, но часто снижает точность на чистых данных. Применяем только для систем мониторинга технологических процессов в нефтегазе, где устойчивость к атакам важнее небольшой потери точности.

Отсечение нейронов и дообучение — самый практичный подход. Отключаем нейроны, срабатывающие только на специфичных паттернах-триггерах, сохраняя общую точность модели. Это пост-обработка уже обученной модели, не требующая переобучения с нуля.

Детекция триггеров — наиболее универсальный метод. Ищем минимальное изменение входных данных, резко меняющее предсказание. Если находим — модель скомпрометирована. Этот метод работает для компьютерного зрения и обработки языка, но является достаточно ресурсоемким.

Исходя из опыта экспертов Лиги, могу сказать, что ни один метод по отдельности не дает надежной защиты — работает только комплексный многоуровневый подход.

В качестве финального фильтра все чаще рассматривается прунинг — удаление избыточных нейронных связей. Скрытые бэкдоры обычно полагаются на специфические, слабо задействованные узлы архитектуры. Удаляя все лишнее ради оптимизации модели, в отдельных случаях это также может ослаблять или устранять внедренные закладки. Однако универсальной таблетки не существует: для энтерпрайз-сектора защита — это всегда баланс между безопасностью и сохранением точности, где каждое решение принимается исходя из критичности бизнес-процесса.

Заключение

Data Poisoning меняет базовые принципы защиты ИИ: угрозы больше не обязательно проявляются как сбои или аномалии. Модель может работать стабильно и показывать высокую точность, оставаясь при этом уязвимой. Это требует пересмотра подходов к MLOps: контроль данных, проверка источников и анализ поведения моделей должны стать стандартной практикой. В противном случае внедрение ИИ в критические бизнес-процессы будет сопровождаться системным риском, который сложно выявить до момента реальной атаки.