Умеет ли нейросеть хранить секреты? Защита данных при работе с ИИ

Нейросети все больше проникают в разные сферы нашей жизни: от анализа больших данных, синтеза речи и создания изображений до управления беспилотными автомобилями и летательными аппаратами. Так в 2024 году создатели Tesla добавили поддержку нейросетей для автопилота, в шоу дронов уже давно используют искусственный интеллект, благодаря, которому устройства выстраиваются в различные фигуры и QR-коды в небе, а маркетологи и дизайнеры применяют ИИ в своей работе для получения иллюстраций и текста.

После выхода в свет ChatGPT в конце 2022 года и ее популярности различные компании стали активно разрабатывать свои сервисы на основе GPT-моделей. С помощью различных сервисов и телеграм-ботов на основе ИИ, нейросети стали доступны широкому кругу пользователей. Вместе с тем, если не соблюдать правила информационной безопасности, использование различных сервисов и нейросетей сопряжено с определенными рисками. О них мы и поговорим подробнее.

Угрозы и риски использования нейросетей для пользователя

Эйфория, вызванная открытием чата GPT для множества людей, сменилась настороженностью. С появлением многочисленных сервисов на основе языковых моделей как бесплатных, так и платных, пользователи стали замечать, что чат-боты могут предоставлять недостоверную или вредную информацию. Особенную опасность представляет неверная информация, касающаяся вопросов о здоровье, питании, финансах, а также данные о изготовлении оружия, распространении наркотических веществ и т.д.

Кроме того, возможности нейросетей все время расширяются и самые последние версии способны создавать поразительно правдоподобные фейки, синтезируя голос или видео. Мошенники используют эти функции, чтобы обманывать своих жертв, подделывая сообщения и звонки от их знакомых и видео с известными личностями. Например, в 2021 году в соцсетях распространился ролик, созданный нейросетью, с якобы Олегом Тиньковым (признан в России иноагентом). В нем человек, похожий на основателя банка Тинькофф, рекламирует инвестиции. После перехода по ссылке, размещенной рядом с видео, открывается поддельный сайт банка.

Со временем фальшивый контент становится все труднее верифицировать. Чтобы оградить российских пользователей от угрозы, Минцифры планирует создать платформу для выявления дипфейков.

Сергей Полунин

Руководитель группы защиты инфраструктурных ИТ-решений компании «Газинформсервис»

Основная угроза, на мой взгляд, это появляющееся доверие многих пользователей к нейросетям и различным чат-ботам в частности. Вокруг нейросетей складывается ореол точности и непредвзятости, люди забывают, что нейросети вполне могут оперировать вымышленными фактами, давать неточную информацию и в принципе делать ошибочные выводы. Уже неоднократно было показано, что ошибки случаются. При этом, если вы задаете праздные вопросы, то скорее всего и ущерб будет минимальным. Однако, если вы используете чат-боты, чтобы решать вопросы в сфере финансов, или медицины, последствия могут быть весьма разрушительными. Кроме этого, зачастую для получения ответа от нейросети, ей необходимо предоставить какие-то данные. И очень большой вопрос – как эти данные затем будут обрабатываться и храниться. Никто не гарантирует, что сведения о вас, которые вы включили в запросы, не всплывут затем где-то даркнете или не станут почвой для качественной фишинговой атаки.

Обучение нейросети может происходить с помощью тренера, самостоятельно или смешанно. Самостоятельное обучение имеет свои сильные стороны, но также и недостатки — злоумышленники находят способы обмануть нейросеть.

Роман Денисенко

Ведущий специалист по анализу защищенности УЦСБ

В рамках LLM вероятны два основных типа уязвимостей, которые могут затронуть пользователей системы: уязвимости, связанные с самой моделью, и уязвимости приложения, в котором эта модель используется.

Некоторые модели могут постоянно обучаться на основе информации, полученной от ее пользователей. Данный процесс позволяет постоянно дообучать модель. Но у этого процесса есть и обратная сторона. При ошибках конфигурации модели, потенциально возможен случай, когда пользователь А может попытаться запросить модель вернуть вопросы, которые ранее спрашивал пользователь Б. Как результат, вполне возможно, модель вернет данную информацию, т.к. она, по сути, уже стала частью общей базы данных, которой оперирует LLM.

Злоумышленники могут использовать уязвимости нейросетей, чтобы получить конфиденциальные данные пользователей. Для этого они разными способами атакуют чат-боты и языковые модели. Например, используют «Prompt Injection» — метод, который заключается в изменении существующего промпта или добавлении нового. Вследствие атаки нейросеть может некорректно обрабатывать данные и выдавать ошибочные результаты.

Сергей Полунин

Руководитель группы защиты инфраструктурных ИТ-решений компании «Газинформсервис»

Сейчас самой заметной уязвимостью считается “prompt injection”, когда определенные запросы к нейросети, сформулированные специальным образом, открывают доступ к внутренним данным нейросети, о которых разработчик может не подозревать. Совсем недавно чатбот от Microsoft раскрыл весьма чувствительную информацию после буквально одного запроса.

В марте 2024 года багхантеры Offensive AI Lab — «Лаборатории наступательного ИИ» — благодаря особенности шифрования данных в ChatGPT и Microsoft Copilot, нашли возможность расшифровывать и читать перехваченные ответы. Способ оказался недостаточно точным, а в OpenAI отреагировали на сообщение и исправили эту проблему.

Злоумышленники также используют уязвимости в API, чтобы украсть конфиденциальные данные, в том числе пароли или корпоративную информацию. Кроме этого уязвимости делают возможным проведение DDoS-атак на систему и обход защиты.

Роман Денисенко

Ведущий специалист по анализу защищенности УЦСБ

Вторая глобальная область уязвимостей связана уже с самим приложением, которое использует нейросеть. Сама по себе LLM не может работать самостоятельно и нуждается в какой-то внешней «обертке», позволяющей пользователям с ней взаимодействовать. В качестве данной «обертки» обычно выступает какое-либо веб-приложение или сервис, предоставляющее конечным пользователями удобный механизм формирования запросов. Данные приложения могут быть подвержены всем классическим уязвимостям, которые могут быть использованы потенциальным нарушителем для кражи личных данных и истории переписки пользователей.

Еще один пример атаки на чат-боты — инъекция SQL. В этом случае злоумышленники могут получить доступ к базам данных сервиса или внедрить вредоносный код на сервере чат-бота.

Дмитрий Хомутов

Директор компании Ideco

Существует несколько типов атак на AI и важно уметь их различать. Например, могут использоваться уклонения, отравления, трояны, перепрограммирование и извлечение скрытой информации. Говоря о значимости взломов можно отметить, что атаки уклонением (модификация входных данных), потенциально, являются наиболее частыми. Если модель требует для работы входные данные, то их можно пытаться модифицировать нужным образом, чтобы вывести из строя ИИ. С другой стороны, атаки отравления данных носят долговременный характер. Троян, присутствующий в модели AI, сохраняется даже после ее переобучения. Все это можно объединить в состязательные атаки – способ обмануть нейросеть, чтобы она выдала некорректный результат.

Нейросети еще недостаточно защищены от атак, подделки данных и вмешательства в их работу для вредоносных целей, поэтому пользователям стоит проявлять бдительность и соблюдать определенные правила при работе с чат-ботами.

Меры предосторожности и рекомендации

Технология больших языковых моделей стремительно развивается, глубже проникает в повседневную жизнь и получает все больше пользователей. Чтобы защитить себя и свои данные от потенциальных угроз, важно придерживаться некоторых правил при работе с нейросетями:

• не делитесь с чат-ботом конфиденциальной информацией;
• скачивайте нейросетевые приложения и сервисы из надежных источников;
• перепроверяйте информацию, предоставленную чат-ботом.

Роман Денисенко

Ведущий специалист по анализу защищенности УЦСБ

Самая главная рекомендация – при работе с публичными нейросетями не стоит считать, что ваш диалог с ней приватен. Лучше исключить ситуацию, при которой заданные вопросы содержат какую-либо приватную информацию о вас или вашей компании. Исключение из ситуации – вы работаете с изолированным экземпляром нейросети, расположенным в вашей среде и за который ответственна ваша компания.

Также тщательно проверяйте сервисы, через которые вы взаимодействуете с нейросетью. Неизвестный телеграм-канал, обещающий бесплатную работу со всеми известными LLM моделями, точно не должен стоить вашего доверия.

Особенно внимательно стоит отнестись компаниям, чьи сотрудники используют нейросети на рабочем месте. Интерес злоумышленников к корпоративным данным выше и они охотятся за чувствительной информацией организаций в первую очередь.

Дмитрий Хомутов

Директор компании Ideco

Лучший способ защититься от киберугроз — внедрить обучение кибербезопасности и ИИ для сотрудников на постоянной основе. Это является важной составляющей любого рабочего процесса, тем более в России наблюдается нехватка квалифицированных киберспециалистов. Только 3,5% в полной степени соответствуют текущим требованиям для работника этой сферы. Посредством обучения возможно улучшить навыки специалистов и, следовательно, сократить количество атак более чем на 70%.

Также следует принять дополнительные меры для повышения общей IT-безопасности компании. В первую очередь необходимо разработать улучшенные алгоритмы обучения AI с учетом его возможных уязвимостей, что сделает модель надежнее на 87%. Также необходимо “тренировать” нейросеть: давать ей справляться с искусственно созданными кибератаками для улучшения работы алгоритма. Это поможет снизить число взломов на 84%. Кроме того, необходимо постоянно обновлять ПО, чтобы сократить количество уязвимостей более чем на 90%.

Чтобы снизить риски, связанные с работой с нейросетями, необходимо повышать осведомленность пользователей.

Заключение

И бизнес, и рядовые пользователи уже успели « распробовать» преимущества нейросетей. В большом количестве направлений они помогают решать повседневные задачи, экономить силы и деньги. Например, генеративные нейросети серьезно повлияли на стоимость производства кино, сериалов и других видеороликов, где нужна графика и обработка. Вместе с тем, примерно те же нейросети вызвали волну дипфейков, например – новую вариацию атаки Fake Boss.

Любой пользователь должен понимать, что нейросеть уязвима. Также как мессенджер, почтовый ящик или планировщик рабочих задач – она может быть взломана или подвержена другим сбоям, поэтому важно осознанно подходить к работе с ней.