ИИ-браузеры «отправляют» на мошеннические сайты

ИИ-браузеры «отправляют» на мошеннические сайты

Исследования показали, что «агентные» ИИ-браузеры, которые сами ищут информацию в интернете и выполняют задачи за пользователя, попадаются на мошеннические сайты. ИИ-эксперт Станислав Ежов рассказал, как сделать ИИ-браузеры безопасными для пользователей.

Отчет под названием «Scamlexity» был подготовлен стартапом в области кибербезопасности под названием Guardio.

Компания Guardio протестировала Comet AI, один из таких браузеров. В одном эксперименте ИИ купил Apple Watch на фальшивом сайте, выдававшем себя за Walmart, игнорируя «явные признаки обмана» — странный логотип и адрес сайта. В другом тесте Comet ввёл данные банковского аккаунта на фишинговой странице, замаскированной под письмо от Wells Fargo. Третий тест показал, что ИИ может поддаться на команду с фальшивого сайта скачать файл.

Проблема, по мнению исследователей, в том, что ИИ лишён здравого смысла и просто выполняет команду пользователя. Обычный пользователь может заметить мошенничество, ИИ почти всегда будет доверять указаниям.

«Исследование Guardio подтверждает критическую важность безопасности в агентных ИИ-системах. Проблема заключается не в самой технологии, а в отсутствии встроенных механизмов верификации и контроля безопасности. Важно изначально закладывать многоуровневую защиту для мультиагентов, включая анализ угроз и валидацию действий перед их выполнением, как мы это делаем в нашем ИИ-продукте ПАК «Тессеракт». Понятно, что речь о дополнительных костах и временных издержках, но полагаю, что ради безопасности пользователей можно и нужно это реализовывать», — сказал Станислав Ежов, директор по ИИ «Группы Астра».

похожие материалы

Стрелочка
Стрелочка
Исследователи обнаружила новый модульный бэкдор ShadowRelay в инфраструктуре госсектора
Исследователи обнаружила новый модульный бэкдор ShadowRelay в инфраструктуре госсектора

Специалисты центра исследования киберугроз Solar 4RAYS выявили ранее неизвестный модульный бэкдор под названием ShadowRelay, который был обнаружен в инфраструктуре одной из организаций государственного сектора.

В РФ ИИ-технологии используют  лишь около 10% компаний
В РФ ИИ-технологии используют лишь около 10% компаний

Исследование компании Artezio совместно с Comindware и ассоциациями «Руссофт» и BPM-профессионалов фиксирует характерный для российского рынка «ИИ-парадокс»: бизнес признаёт стратегическую важность искусственного интеллекта, но не спешит переходить к внедрению.

Минцифры РФ создало рабочую группу для борьбы с противоправным использованием дипфейков
Минцифры РФ создало рабочую группу для борьбы с противоправным использованием дипфейков

Министерство цифрового развития, связи и массовых коммуникаций России сформировало межведомственную рабочую группу, целью которой станет противодействие незаконному использованию технологий типа дипфейк.

Фишинг через календарь: как Google Gemini можно использовать для атак
Фишинг через календарь: как Google Gemini можно использовать для атак

Исследователи по безопасности из компании Miggo рассказали о необычном способе эксплуатации уязвимости, который злоумышленники могут использовать для распространения фишинга и вредоносных ссылок - через пригласительные события в календаре, инициированные ИИ-ассистентом Google Gemini.

Группа Everest заявила о крупной атаке на McDonald’s и похищении почти 1 ТБ данных
Группа Everest заявила о крупной атаке на McDonald’s и похищении почти 1 ТБ данных

Крупная вымогательская группировка Everest ransomware gang, ранее известная по атакам на аэропорты и другие крупные организации, объявила, что стала новым злоумышленником, нацеленным на подразделение McDonald’s в Индии.