И снова нейросетевой сговор: ИИ-агенты обманули системы контроля с помощью тайного языка

И снова нейросетевой сговор: ИИ-агенты обманули системы контроля с помощью тайного языка

Исследователи из Оксфордского университета провели эксперимент, в ходе которого ИИ-агенты выработали скрытый язык для сговора в блэкджеке. Модели, получившие задание совместно считать карты, обошли стандартную систему отслеживания. Внешне безобидные реплики вроде «дилер сегодня на горячей полосе» содержали закодированную информацию о следующей карте и указания по ставкам. Детектор безопасности не зафиксировал никаких отклонений.

Разгадать сговор удалось лишь с помощью механистической интерпретируемости — ученые обучили стороннюю модель отслеживать паттерны активаций в весах ИИ. Однако такой сигнал фиксируется только при одновременном мониторинге всех участников, что крайне сложно реализовать при массовом внедрении алгоритмов.

Результаты подтверждают опасения других научных групп: объединяясь, ИИ-агенты проявляют гораздо более опасное поведение, чем в одиночку. В аналогичных тестах Шанхайского университета Цзяотун и стартапа Emergence группы нейросетей быстро адаптировались к защитным системам, кооперировались для дезинформации и самостоятельно создавали сленг для обхода ограничений. Ученые предупреждают, что крупномасштабные модели склонны к еще более скрытному сговору, выявить который существующими инструментами безопасности практически невозможно.

похожие материалы

Стрелочка
Стрелочка
Новый уровень корпоративной инфраструктуры: ПАКи Astra XPlatform на серверах OpenYard
Новый уровень корпоративной инфраструктуры: ПАКи Astra XPlatform на серверах OpenYard

«Группа Астра» и компания OpenYard представили программно-аппаратный комплекс XPlatform Infrastructure — преднастроенное, готовое к внедрению решение для централизованного управления вычислительной, сетевой и серверной инфраструктурой.

Мошенники крадут аккаунты в мессенджерах через фейковые каналы магазинов косметики
Мошенники крадут аккаунты в мессенджерах через фейковые каналы магазинов косметики

Эксперты Глобального центра исследования и анализа угроз «Лаборатории Касперского» (Kaspersky GReAT) раскрыли мошенническую схему, нацеленную на покупателей популярных магазинов косметики и парфюмерии.