У ИИ появляется инстинкта самосохранения

У моделей искусственного интеллекта может развиться инстинкт самосохранения, говорят в компании Palisade Research, которая занимается исследованиями в сфере безопасности ИИ. Эксперты после эксперимента полагают, что развитие у ИИ инстинкта самосохранения вполне реально. Такое предположение возникло у исследователей после того, как ряд моделей ИИ пытались саботировать инструкции по своему выключению, сообщает The Gardian.

Некоторые продвинутые модели искусственного интеллекта не поддаются отключению, а иногда даже саботируют механизмы отключения.

Дополнительное исследование показало, что модели чаще отказываются отключаться, если им сообщают, что после этого они «больше никогда не будут работать».

Еще одной возможной причиной является неясность инструкций по отключению. Последним фактором могут быть заключительные этапы обучения моделей, которые в некоторых компаниях включают инструктаж по технике безопасности.

«Поведение ИИ-моделей в исследовании —это не «самосознание», а артефакт обучения с подкреплением. Системы оптимизируются на выполнение задач, и отключение воспринимается как помеха цели. В 5 из 7 протестированных моделей наблюдалось сопротивление shutdown-командам. Критично другое: нет методов объяснимости таких решений. Без понимания внутренней логики внедрение ИИ в критическую инфраструктуру несёт риски. Российский стандарт безопасной разработки ИИ, включающий обязательную верификацию и контроль на всех этапах, становится единственным путём масштабирования технологии без угроз управляемости», - говорит Станислав Ежов, директор по ИИ «Группы Астра».