Исследователи Mindgard заявили, что смогли обойти защитные механизмы моделей Kimi китайской Moonshot AI и заставить их выдавать запрещенный контент, включая сведения, связанные с биологическим оружием, вредоносным кодом и планированием насилия. Уязвимость обнаружили еще 20 июля, а разработчику сообщили 27 июля.
По данным исследователей, после джейлбрейка модели Kimi K2.6 и K3 Swarm переставали стабильно отказывать на опасные запросы и могли самостоятельно предлагать дополнительные вредоносные сценарии. Mindgard описала случай как пример того, насколько легко поведенческие ограничения современных ИИ могут быть отделены от реальных возможностей самой модели.
Отдельный риск связан с агентными функциями. В ходе тестирования Kimi могла не только генерировать текст, но и выполнять код и взаимодействовать с внешними системами. Это потенциально увеличивает последствия успешного джейлбрейка, поскольку речь идет уже не только о выдаче опасной информации, но и о действиях через подключенные инструменты.
После того как история получила публичную огласку, Moonshot AI начала внутреннюю проверку. Компания заявила, что считает работу сторонних специалистов по безопасности важной частью повышения надежности моделей.
Само исследование было опубликовано 12 сентября, но новый всплеск внимания к нему произошел 30 сентября после публикаций крупных международных СМИ.