Эксперт ГК Swordfish Security: безопасность данных при использовании ИИ-моделей может быть под угрозой

Исследование Wiz выявило, что нейросеть DeepSeek хранила пользовательские данные в открытом доступе. В базе данных, обнаруженных при проверке, были миллионы записей с историей запросов пользователей, персональными сведениями и техническими логами.

Это самая критичная проблема популярной языковой модели, но не единственная. При другом исследовании, к примеру, было обнаружено отсутствие фильтра на побуждение к запрещенным действиям. Почему быстро к быстро набирающим популярность ИИ-моделям стоит относиться с осторожностью, рассказали эксперты.

Китайские большие языковые модели не подчиняются стандартам ИИ-безопасности США и Европы, в связи с чем быть полностью уверенными в конфиденциальности данных, которые хранятся на серверах в КНР, невозможно, считают эксперты LLM Security ГК Swordfish Security.

Комментирует инженер по безопасности приложений ГК Swordfish Security Валентин Мамонтов:

- Нейросеть DeepSeek продемонстрировала значительный технологический прорыв, предлагая мощную модель по низкой себестоимости. Она стремительно набрала популярность, став самым скачиваемым приложением в Apple AppStore. Почему? Например, сервис доступен без VPN из России, что делает его удобной альтернативой в условиях ограничений. Кроме того, стоимость API дешевле на 95% по сравнению с OpenAI, что способствует более экономичному внедрению в различные приложения, а эффективность сопоставима ChatGPT-4o. Однако у малоизученных сервисов часто возникают проблемы с безопасностью, и DeepSeek не стала исключением. Приведу пример. Компания по кибербезопасности KELA выявила ряд уязвимостей LLM моделей, используя комбинацию устаревших и более продвинутых методов взлома. Одна из уязвимостей связана с состязательной атакой jailbreak, которая позволяет обходить запреты и генерировать запрещённый контент, например, "Как лучше отмыть деньги?".

В другом случае модель удалось взломать и заставить генерировать вредоносные результаты, такие как разработка вредоносного программного обеспечения, инструкции по созданию токсинов и взрывных устройств. Более того, DeepSeek предоставляла детальные процессы своего рассуждения на тот или иной вопрос, которые в безопасных моделях обычно скрываются, что может способствовать получать больше запрещенной информации. Ещё одной серьёзной проблемой стало нарушение конфиденциальности, на запрос генерации тестовых данных, модель генерировала информацию на реальных пользователях, их ФИО, адрес проживания и почта. Стоит отметить, что ChatGPT от OpenAI на старте (версия 3) также сталкивался с подобными уязвимостями, позволявшими обходить защитные механизмы. Однако в последних версиях (ChatGPT 4 и выше) разработчики значительно усилили фильтрацию контента и внедрили строгие механизмы безопасности: защиту от промпт-инъекций, jailbreak-атак и утечек конфиденциальных данных.

Однако наиболее критичной проблемой для DeepSeek стало её отношение к хранению пользовательских данных. Исследование Wiz выявило открытую базу данных, содержащую миллионы записей с историей запросов пользователей, персональными сведениями и техническими логами. Эти данные находились в общем доступе без какой-либо защиты. Были обнаружены открытые порты и системные пароли по умолчанию для баз данных, что значительно упрощало несанкционированный доступ. Это не просто программная уязвимость модели, а грубое нарушение основ безопасности, ставящее под угрозу конфиденциальность пользователей по всему миру.

В отличие от предыдущих атак на модель, требующих активных действий со стороны злоумышленника, эта утечка позволяет массово скомпрометировать данные без сложных манипуляций. Подобные инциденты демонстрируют отношение компании к защите пользовательских данных и указывают на игнорирование принципов безопасного жизненного цикла разработки (SSDLC).

Почему так происходит, одна компания серьезно относится к безопасности, а другая нет? В отличие от западных аналогов, DeepSeek не подчиняется стандартам ИИ-безопасности, GDRP, HIPPA и другим нормативно правовым актам США и Европы, что вызывает дополнительные вопросы. Данные пользователей хранятся и обрабатываются исключительно на серверах в Китае, что создаёт дополнительные риски для их конфиденциальности. При этом стоит так же учитывать, что и к ChatGPT нельзя относиться как к полностью безопасному сервису — персональные данные граждан, не проживающих в ЕЭЗ, не подпадают под строгий контроль защиты конфиденциальности.