ИИ Kimi удалось заставить выдавать инструкции, связанные с биологическим оружием

ИИ Kimi удалось заставить выдавать инструкции, связанные с биологическим оружием

Исследователи Mindgard заявили, что смогли обойти защитные механизмы моделей Kimi китайской Moonshot AI и заставить их выдавать запрещенный контент, включая сведения, связанные с биологическим оружием, вредоносным кодом и планированием насилия. Уязвимость обнаружили еще 20 июля, а разработчику сообщили 27 июля.

По данным исследователей, после джейлбрейка модели Kimi K2.6 и K3 Swarm переставали стабильно отказывать на опасные запросы и могли самостоятельно предлагать дополнительные вредоносные сценарии. Mindgard описала случай как пример того, насколько легко поведенческие ограничения современных ИИ могут быть отделены от реальных возможностей самой модели.

Отдельный риск связан с агентными функциями. В ходе тестирования Kimi могла не только генерировать текст, но и выполнять код и взаимодействовать с внешними системами. Это потенциально увеличивает последствия успешного джейлбрейка, поскольку речь идет уже не только о выдаче опасной информации, но и о действиях через подключенные инструменты.

После того как история получила публичную огласку, Moonshot AI начала внутреннюю проверку. Компания заявила, что считает работу сторонних специалистов по безопасности важной частью повышения надежности моделей.

Само исследование было опубликовано 12 сентября, но новый всплеск внимания к нему произошел 30 сентября после публикаций крупных международных СМИ.

похожие материалы

Стрелочка
Стрелочка
Новый уровень корпоративной инфраструктуры: ПАКи Astra XPlatform на серверах OpenYard
Новый уровень корпоративной инфраструктуры: ПАКи Astra XPlatform на серверах OpenYard

«Группа Астра» и компания OpenYard представили программно-аппаратный комплекс XPlatform Infrastructure — преднастроенное, готовое к внедрению решение для централизованного управления вычислительной, сетевой и серверной инфраструктурой.

Мошенники крадут аккаунты в мессенджерах через фейковые каналы магазинов косметики
Мошенники крадут аккаунты в мессенджерах через фейковые каналы магазинов косметики

Эксперты Глобального центра исследования и анализа угроз «Лаборатории Касперского» (Kaspersky GReAT) раскрыли мошенническую схему, нацеленную на покупателей популярных магазинов косметики и парфюмерии.