Исследователи из Оксфордского университета провели эксперимент, в ходе которого ИИ-агенты выработали скрытый язык для сговора в блэкджеке. Модели, получившие задание совместно считать карты, обошли стандартную систему отслеживания. Внешне безобидные реплики вроде «дилер сегодня на горячей полосе» содержали закодированную информацию о следующей карте и указания по ставкам. Детектор безопасности не зафиксировал никаких отклонений.
Разгадать сговор удалось лишь с помощью механистической интерпретируемости — ученые обучили стороннюю модель отслеживать паттерны активаций в весах ИИ. Однако такой сигнал фиксируется только при одновременном мониторинге всех участников, что крайне сложно реализовать при массовом внедрении алгоритмов.
Результаты подтверждают опасения других научных групп: объединяясь, ИИ-агенты проявляют гораздо более опасное поведение, чем в одиночку. В аналогичных тестах Шанхайского университета Цзяотун и стартапа Emergence группы нейросетей быстро адаптировались к защитным системам, кооперировались для дезинформации и самостоятельно создавали сленг для обхода ограничений. Ученые предупреждают, что крупномасштабные модели склонны к еще более скрытному сговору, выявить который существующими инструментами безопасности практически невозможно.