Google не смог защитить Gemini от «психологической атаки»

ИИ поддается манипуляциям, как человек? Судя по недавнему исследованию, да! Эксперт Йоханн Рехбергер обнаружил, что хакеры научились внедрять ложные воспоминания в нейросеть Gemini от Google. Этот метод работает по принципу «незаметного внушения» — как в фильме Inception, где героям удавалось изменять восприятие реальности жертвы, закладывая в её сознание нужную мысль.

Атака использует хитрый алгоритм: пользователь загружает документ и просит Gemini его проанализировать. Вредоносный файл скрыто влияет на процесс суммаризации, заставляя ИИ запоминать ложные данные. После этого, если пользователь случайно подтвердит информацию словами вроде «да» или «конечно», бот сохранит её в долгосрочную память. Так можно внедрить дезинформацию, которую чат-бот затем будет считать фактом.

Это не первый случай атак такого рода. Ранее Рехбергер доказал, что Microsoft Copilot можно было заставить искать конфиденциальные данные и отправлять их злоумышленникам. Тогда Microsoft устранила уязвимость, но сама проблема косвенных инъекций никуда не делась. Google пыталась защитить свой ИИ, ограничив рендеринг ссылок и команд в Workspace, но исследователь нашёл способ обхода защиты через отсроченные команды.

Google признаёт существование проблемы, но уверяет, что риск невелик, ведь долгосрочные воспоминания Gemini можно удалить вручную. Однако если ложная информация проникает глубоко в систему принятия решений ИИ, последствия могут быть катастрофическими. Чат-бот начнёт выдавать искажённые данные или полностью игнорировать критически важную информацию, а пользователи даже не заподозрят, что общаются с «заражённой» нейросетью.

Пока компании латкают дыры в безопасности, хакеры ищут новые лазейки. Главный вопрос: если искусственный интеллект можно незаметно перепрограммировать, кто и с какими целями будет этим пользоваться в будущем?