В МИФИ разработана архитектура нейросети, устойчивая к «отравлениям»

В МИФИ разработана архитектура нейросети, устойчивая к «отравлениям»

Исследователи из НИЯУ МИФИ разработали инновационную архитектуру нейросети MambaShield, способную сохранять высокую точность работы даже в условиях целенаправленных кибератак на обучающие выборки. Проект уже получил поддержку Минэкономразвития РФ и был опубликован в международном научном журнале Expert Systems with Applications.

Главная особенность разработки — устойчивость к так называемому «отравлению» данных (data poisoning). В ходе таких атак злоумышленники годами внедряют в систему скрытые искажения, из-за чего обычные ИИ-модели (включая популярные Трансформеры) постепенно деградируют, снижая точность распознавания угроз с 95% до критических 40%.

В основу системы легли селективные модели в пространстве состояний (sSSM). В отличие от классических алгоритмов, MambaShield динамически решает, какую информацию из прошлого контекста учитывать, а какую — отбросить как «шум» или атаку. Для достижения максимальной надежности ученые объединили три технологии:

  • Прогрессивная дистилляция (PARD). «Ученик» перенимает опыт множества специализированных нейросетей-учителей, каждая из которых обучена отражать конкретный тип атак.
  • Иерархическое обучение с подкреплением (HRL). Позволяет системе менять стратегию защиты в реальном времени, подстраиваясь под хитрости хакера без участия человека.
  • Математическая сертификация (PAC-Bayesian). Алгоритм предоставляет строгие гарантии устойчивости. Доказано, что даже при компрометации 30% обучающих данных точность системы остается выше 97%.

Эксперименты на крупнейших датасетах с миллионами вредоносных пакетов (CIC-IoT-2023 и др.) показали, что MambaShield достигает точности в 99,1%. При массированной атаке падение эффективности составляет всего 2–3%, в то время как традиционные модели теряют до 20% точности. Кроме того, благодаря линейной сложности алгоритма, новая архитектура обрабатывает данные в 4,2 раза быстрее классических Трансформеров.

Авторы подчеркивают, что MambaShield может стать фундаментом для создания «доверенного ИИ» в критически важных отраслях. В банковском секторе система защитит антифрод-сервисы от скрытого обучения на подставных транзакциях. В промышленности и энергетике — предотвратит вывод оборудования из строя через искажение показаний датчиков. Также технология актуальна для беспилотного транспорта и телемедицины, где любая ошибка в распознавании данных может стоить жизни.

Несмотря на текущие ограничения (накопление ошибок при анализе сверхдлинных последовательностей более 5000 шагов), разработка открывает путь к внедрению ИИ на атомных станциях и в аэропортах, гарантируя защиту от самых изощренных манипуляций со стороны киберпреступников.

похожие материалы

Стрелочка
Стрелочка
Минцифра Оренбуржья и «Астра Консалтинг» договорились о сотрудничестве в сфере цифрового развития
Минцифра Оренбуржья и «Астра Консалтинг» договорились о сотрудничестве в сфере цифрового развития

На конференции ЦИПР в Нижнем Новгороде Минцифры Оренбургской области и компания «Астра Консалтинг» (входит в «Группу Астра») подписали соглашение о сотрудничестве в сфере цифрового развития.