![Современные чат-боты, основанные на искусственном интеллекте, могут быть не только помощниками, но и уязвимым звеном в защите информации ИИ рассекречен: как обмануть чат-бота и узнать все секреты компании!](/upload/iblock/d79/5tkmbswa2wnwwb8h24qpbiagj94oqnt1.jpg)
Современные чат-боты, основанные на искусственном интеллекте, могут быть не только помощниками, но и уязвимым звеном в защите информации. Как показывает исследование компании Immersive Labs, даже непрофессионалы способны обмануть ИИ, заставив его раскрыть конфиденциальные данные.
Аналитики выявили, что чат-боты нового поколения, такие как GenAI, используемые на официальных сайтах и в приложениях компаний для различных задач, подвержены так называемым атакам «prompt injection». При таких атаках пользователи вводят специально подобранные запросы, которые могут ввести ИИ в заблуждение и заставить его нарушить инструкции безопасности.
В прошлом году на публичном испытании Immersive Labs 88% участников смогли добиться от GenAI выдачи информации, которую обычно не следовало бы раскрывать. Это подчеркивает риски для компаний, использующих эти технологии.
Интересно, что чат-боты воспринимаются пользователями почти как живые собеседники, что делает техники социальной инженерии особенно эффективными. Иммерсивное исследование показало, что методы, традиционно применяемые в фишинговых письмах и мошенничествах по телефону, также работают против ИИ.
События последних лет показывают, что необходимы улучшения в области защиты чат-ботов. Разработчики должны прилагать больше усилий для обеспечения безопасности, чтобы избежать подобных уязвимостей в будущем.
Нажимая на кнопку, я даю Согласие на обработку персональных данных в соответствии с Политикой обработки.