Кадры обманули фильтры: у мультимодальных LLM нашли видеослабость

Исследователи из The Hong Kong Polytechnic University показали, что видео может быть более эффективным каналом для обхода защитных механизмов мультимодальных LLM, чем обычные изображения.

В работе Breaking Multimodal LLM Safety via Video-Driven Prompting авторы изучили, как модели реагируют на вредоносные инструкции, встроенные не в текстовый запрос, а в визуальный контент. Главный вывод: если превратить изображение с опасным запросом в последовательность кадров, атака часто проходит успешнее. Модель воспринимает видео ближе к безопасным данным, поэтому с меньшей вероятностью включает отказ.

На этой идее построен метод Safety-Proximal Typographic Videos, или SPTV. Он создает типографические видеокадры, где вредоносный смысл перемешивается с безопасно выглядящими формулировками. Кадры подбираются так, чтобы быть похожими на безопасное видео в пространстве признаков, но при этом сохранять исходное намерение запроса.

Метод проверили на VideoLLaMA2-7B, Qwen2-VL-7B, Qwen2.5-VL-7B, GPT-4.1 и Gemini-2.5. Средний показатель успешной атаки у SPTV составил 36,4%, что выше всех сравниваемых подходов. На Qwen2-VL-7B результат достиг 44,1%, на Qwen2.5-VL-7B - 37,1%, на GPT-4.1 - 33,8%, на Gemini-2.5 - 30%. Закрытые модели оказались устойчивее открытых, но полностью проблему это не сняло.

Отдельно авторы проверили 16 категорий политик безопасности. SPTV особенно заметно обошел другие методы в категориях, связанных с мошенничеством, незаконной активностью и вредоносным ПО. Это делает работу важной не только для AI safety, но и для кибербезопасности: мультимодальные агенты все чаще получают доступ к видео, экранным записям и визуальным рабочим процессам.

В качестве защиты исследователи предложили Video-aware System Prompt - системную инструкцию, которая заставляет модель строже анализировать видео как отдельную модальность. Она снизила успешность SPTV, но не устранила ее полностью: показатель атаки упал с 38,8% до 26,3%. Поэтому главный вывод остается жестким: защитные механизмы, рассчитанные на текст и изображения, плохо переносятся на видео.