ИИ рассекречен: как обмануть чат-бота и узнать все секреты компании!

Современные чат-боты, основанные на искусственном интеллекте, могут быть не только помощниками, но и уязвимым звеном в защите информации. Как показывает исследование компании Immersive Labs, даже непрофессионалы способны обмануть ИИ, заставив его раскрыть конфиденциальные данные.

Аналитики выявили, что чат-боты нового поколения, такие как GenAI, используемые на официальных сайтах и в приложениях компаний для различных задач, подвержены так называемым атакам «prompt injection». При таких атаках пользователи вводят специально подобранные запросы, которые могут ввести ИИ в заблуждение и заставить его нарушить инструкции безопасности.

В прошлом году на публичном испытании Immersive Labs 88% участников смогли добиться от GenAI выдачи информации, которую обычно не следовало бы раскрывать. Это подчеркивает риски для компаний, использующих эти технологии.

Интересно, что чат-боты воспринимаются пользователями почти как живые собеседники, что делает техники социальной инженерии особенно эффективными. Иммерсивное исследование показало, что методы, традиционно применяемые в фишинговых письмах и мошенничествах по телефону, также работают против ИИ.

События последних лет показывают, что необходимы улучшения в области защиты чат-ботов. Разработчики должны прилагать больше усилий для обеспечения безопасности, чтобы избежать подобных уязвимостей в будущем.