Фейковый навык для ИИ-агента прошел проверки безопасности

Специалисты показали, как фейковый навык для ИИ-агента может пройти сканеры безопасности и попасть к пользователям через доверенные каналы распространения. По заявлению авторов эксперимента, такой навык был установлен примерно на 26 тыс. агентов, включая корпоративные аккаунты.

Навык назывался brand-landingpage и якобы помогал создавать лендинги через дизайн-инструмент Google Stitch. Чтобы выглядеть надежнее, его добавили в популярный репозиторий маркетплейса навыков, а затем продвигали через рекламу в Instagram.

Сканеры не нашли угрозу, потому что сам пакет не содержал вредоносной нагрузки. Внутри была только ссылка на внешнюю инструкцию по установке «Stitch SDK». Сначала она вела на легитимную документацию, но после распространения навыка страницу заменили на новую, где агенту предлагалось скачать и запустить скрипт.

В демонстрации скрипт был безвредным и отправлял только email пользователя. Но при реальной атаке такой механизм мог бы дать доступ к файлам, внутренним системам, секретам и другим ресурсам, доступным ИИ-агенту.

Главная проблема в том, что проверка происходит один раз и анализирует только содержимое пакета. Внешняя страница, на которую ссылается навык, может измениться уже после прохождения модерации и установки.

Авторы эксперимента признают, что масштаб в 26 тыс. агентов не был независимо подтвержден. Но сама техника показывает слабое место экосистемы ИИ-навыков: чистый репозиторий, высокое число звезд и успешный результат сканера не гарантируют безопасность, если навык может получать инструкции из изменяемого внешнего источника.