Группа исследователей выпустила ПО для блокировки фишинговых атак с использованием ИИ

Несовершенство чат-ботов на основе ИИ может превратить полезную технологию в оружие в руках злоумышленников. С появлением ChatGPT и подобных ботов люди даже с минимальными техническими навыками могут создать фишинговый веб-сайт и использовать его для кражи личных данных, финансов или других целей. Чтобы сделать фальшивый сайт, мошеннику достаточно знать определенные команды или подобрать их самостоятельно. Впрочем, в интернете многие делятся своими открытиями со всеми желающими.

ИБ-эксперты уже выражали обеспокоенность использованием технологии ИИ для разработки мошеннических схем. Поэтому многие чат-боты блокируют опасные запросы. Но команда из Арлингтона нашла уязвимые места. Они определили инструкции, которые могут быть использованы злоумышленниками. Исследователи разработали приложение, благодаря которому чат-боты на основе ИИ лучше распознают команды и игнорируют их.

«Эти инструменты очень мощные, и мы показываем, как злоумышленники могут ими злоупотребить», — сказала одна из соавторов ПО, доцент Техасского университета Ширин Нилизаде.

Группу исследователей заметили в отрасли кибербезопасности. Своими выводами команда поделилась на симпозиуме IEEE по безопасности и конфиденциальности (IEEE S&P 2024) и получила награду за выдающуюся работу.