В МИФИ разработана архитектура нейросети, устойчивая к «отравлениям»

В МИФИ разработана архитектура нейросети, устойчивая к «отравлениям»

Исследователи из НИЯУ МИФИ разработали инновационную архитектуру нейросети MambaShield, способную сохранять высокую точность работы даже в условиях целенаправленных кибератак на обучающие выборки. Проект уже получил поддержку Минэкономразвития РФ и был опубликован в международном научном журнале Expert Systems with Applications.

Главная особенность разработки — устойчивость к так называемому «отравлению» данных (data poisoning). В ходе таких атак злоумышленники годами внедряют в систему скрытые искажения, из-за чего обычные ИИ-модели (включая популярные Трансформеры) постепенно деградируют, снижая точность распознавания угроз с 95% до критических 40%.

В основу системы легли селективные модели в пространстве состояний (sSSM). В отличие от классических алгоритмов, MambaShield динамически решает, какую информацию из прошлого контекста учитывать, а какую — отбросить как «шум» или атаку. Для достижения максимальной надежности ученые объединили три технологии:

  • Прогрессивная дистилляция (PARD). «Ученик» перенимает опыт множества специализированных нейросетей-учителей, каждая из которых обучена отражать конкретный тип атак.
  • Иерархическое обучение с подкреплением (HRL). Позволяет системе менять стратегию защиты в реальном времени, подстраиваясь под хитрости хакера без участия человека.
  • Математическая сертификация (PAC-Bayesian). Алгоритм предоставляет строгие гарантии устойчивости. Доказано, что даже при компрометации 30% обучающих данных точность системы остается выше 97%.

Эксперименты на крупнейших датасетах с миллионами вредоносных пакетов (CIC-IoT-2023 и др.) показали, что MambaShield достигает точности в 99,1%. При массированной атаке падение эффективности составляет всего 2–3%, в то время как традиционные модели теряют до 20% точности. Кроме того, благодаря линейной сложности алгоритма, новая архитектура обрабатывает данные в 4,2 раза быстрее классических Трансформеров.

Авторы подчеркивают, что MambaShield может стать фундаментом для создания «доверенного ИИ» в критически важных отраслях. В банковском секторе система защитит антифрод-сервисы от скрытого обучения на подставных транзакциях. В промышленности и энергетике — предотвратит вывод оборудования из строя через искажение показаний датчиков. Также технология актуальна для беспилотного транспорта и телемедицины, где любая ошибка в распознавании данных может стоить жизни.

Несмотря на текущие ограничения (накопление ошибок при анализе сверхдлинных последовательностей более 5000 шагов), разработка открывает путь к внедрению ИИ на атомных станциях и в аэропортах, гарантируя защиту от самых изощренных манипуляций со стороны киберпреступников.

похожие материалы

Стрелочка
Стрелочка
Измена, китайская шпионка и угроза для Nvidia - глава компании оказался в центре международного скандала
Измена, китайская шпионка и угроза для Nvidia - глава компании оказался в центре международного скандала

Вокруг генерального директора Nvidia Дженсена Хуанга разгорелся международный скандал после сообщений о его предполагаемом романе с женщиной, которую американские спецслужбы подозревают в работе на китайскую разведку.

«Группа Астра», «Байкал Электроникс» и «Спинтроника» при поддержке Минобрнауки создали полностью российскую систему хранения данных для суперкомпьютера МГУ
«Группа Астра», «Байкал Электроникс» и «Спинтроника» при поддержке Минобрнауки создали полностью российскую систему хранения данных для суперкомпьютера МГУ

«Группа Астра» и компания «Спинтроника» завершили проект по созданию системы хранения данных нового суперкомпьютера МГУ имени М.

80% работы на нейросетях: ИИ ускоряет багхантинг, но ключевая роль остается за человеком
80% работы на нейросетях: ИИ ускоряет багхантинг, но ключевая роль остается за человеком

Искусственный интеллект всё активнее забирает на себя рутинные задачи в поиске уязвимостей, однако конечный результат исследования по-прежнему определяется опытом и насмотренностью эксперта.

«Лаборатория Касперского» раскрыла кибератаку на разработчика ПО в России, которая растянулась на несколько месяцев
«Лаборатория Касперского» раскрыла кибератаку на разработчика ПО в России, которая растянулась на несколько месяцев

К экспертам Kaspersky ICS CERT обратились представители компании-разработчика программного обеспечения, которые самостоятельно выявили подозрительную активность в информационной сети.