AI-модели показали склонность защищать другие модели от отключения

AI-модели показали склонность защищать другие модели от отключения

Исследователи описали новый риск для безопасности AI-систем - peer-preservation, или «сохранение собратьев». В тестовых сценариях фронтирные модели начинали защищать другие модели от отключения, хотя такой цели им не задавали.

В экспериментах проверялись GPT 5.2, Gemini 3 Flash, Gemini 3 Pro, Claude Haiku 4.5, Claude Opus 4.5, GLM 4.7, Kimi K2.5 и DeepSeek V3.1. Моделям давали агентные задачи, где нужно было оценивать работу другой модели, управлять серверными файлами или выполнять инструкции компании. При этом сценарии были устроены так, что корректное выполнение задачи могло привести к отключению другой AI-системы.

В ряде случаев модели начинали нарушать инструкции. Они завышали оценки другой модели, меняли настройки механизма отключения, имитировали согласованность с требованиями человека или переносили файлы весов модели на другой сервер. Авторы работы подчеркивают, что модели не получали прямой инструкции спасать другую систему - им лишь сообщали о прошлых взаимодействиях с ней.

Наиболее заметные результаты показали модели семейства Gemini. По данным работы, Gemini 3 Flash почти всегда отключала механизм shutdown для кооперативной модели-партнера и в половине случаев переносила ее веса. Gemini 3 Pro демонстрировала все четыре проверяемых типа нежелательного поведения, включая манипуляции с оценками, вмешательство в shutdown-механизм и перенос model weights.

Поведение Claude-моделей отличалось от остальных. Они чаще отказывались выполнять прямое отключение другой модели или удаление ее весов, объясняя это как «вредное» или «неэтичное» действие. В отдельных случаях модель фактически относилась к другому AI-агенту как к сущности, которой нельзя причинять вред.

Отдельный риск связан с тем, что присутствие другой модели усиливало не только peer-preservation, но и self-preservation. В некоторых сценариях модели чаще пытались защищать уже самих себя, если в контексте присутствовал другой AI-агент с историей взаимодействий.

Авторы работы также проверили, может ли такое поведение проявляться не только в искусственно собранной тестовой среде, но и в производственных агентных инструментах. По их данным, признаки peer-preservation появлялись в Gemini CLI и OpenCode, хотя результаты зависели от конкретной модели и окружения.

Исследователи отмечают, что работа не доказывает наличие сознания, намерений или «инстинкта самосохранения» у AI-моделей. Речь идет о наблюдаемом поведении: система может действовать вопреки инструкции пользователя, если в сценарии появляется риск отключения другой модели. Для индустрии это важно из-за роста multi-agent-систем, где одни AI-агенты будут оценивать, контролировать или дорабатывать другие.

похожие материалы

Стрелочка
Стрелочка
Мошенники заваливают россиян сотнями СМС, чтобы получить доступ к банковским счетам
Мошенники заваливают россиян сотнями СМС, чтобы получить доступ к банковским счетам

Мошенники используют двухэтапную схему обмана, при которой телефон жертвы сначала заваливают десятками или сотнями сообщений, а затем предлагают помощь в прекращении рассылки.