Измененные изображения научились обходить защиту AI-моделей

Исследователи из Florida International University показали, что микроскопические изменения в изображениях могут обходить защитные механизмы vision-language models. Метод получил название JaiLIP - Jailbreaking with Loss-guided Image Perturbation.

Суть атаки в том, что изображение визуально почти не меняется для человека, но модель воспринимает его иначе. Алгоритм вносит пиксельные perturbations, которые подталкивают AI-систему к ответам, обычно заблокированным политиками безопасности.

В тестах на BLIP-2 измененные изображения заметно повышали вероятность вредных или небезопасных ответов. В одном из примеров модифицированное изображение светофора заставило модель выдать инструкцию, как нарушить правила дорожного движения и избежать штрафа.

По данным исследователей, использование JaiLIP почти удвоило число вредных ответов AI-моделей. В научной работе также указывается, что метод превзошел ряд существующих image-based jailbreak-подходов и создавал практически незаметные для человека изменения.

Риск особенно важен для компаний, которые внедряют мультимодальные AI-системы в клиентскую поддержку, бухгалтерские процессы, автоматизацию заявок и другие рабочие сценарии. Если такая система принимает изображения от пользователей, вредоносная картинка может стать не просто файлом, а скрытым способом обойти guardrails модели.

Авторы подчеркивают, что речь идет не о взломе конкретного чат-бота, а о более широкой проблеме безопасности VLM. Модели анализируют изображения как набор числовых признаков, поэтому даже малозаметные изменения могут влиять на интерпретацию запроса и итоговый ответ.

Исследователи считают, что такие атаки нужно учитывать при внедрении AI-инструментов. Компаниям стоит ограничивать доступ к чувствительным данным, осторожнее принимать изображения от пользователей и заранее проверять, какие защитные механизмы есть у используемой модели.