В России создали систему для проверки защищённости ИИ-решений

02.10.2023

Учёные Центра компетенций Национальной технологической инициативы (НТИ) по технологиям хранения и анализа больших данных МГУ разработали решение для проверки устойчивости ИИ-систем к кибератакам.

Как пояснили эксперты, решение представляет собой веб-сайт для загрузки моделей машинного обучения в облако, где они в автоматическом режиме проходят тестирование на устойчивость к разным видам атак.

Отмечается, что в результате пользователь получает, как оценку возможности системы сохранять работоспособность в условиях внешних воздействий и изменений, так и версию дообученной модели, которая будет более устойчива к атакам.

Сергей Полунин, руководитель группы защиты инфраструктурных ИТ-решений компании «Газинформсервис»:

– Решения по защите ИИ нацелены не просто на защиту его инфраструктуры, а именно на саму логику работы искусственного интеллекта. Безусловно, защита серверов, на которых запущен код ИИ важна, но злоумышленникам интереснее скорее нарушить, а не прекратить его работу, чтобы тот выдавал некорректные решения. Например, если хакеры доберутся до обучающей выборки и сумеют добавить в нее свои объекты, то обученный на такой выборке модель будет ошибаться и даже выдавать заранее предсказуемые неправильный результаты.

похожие материалы

В 2025 году число кибератак на финансовые учреждения выросло на 43%

Финансовая отрасль остаётся одной из самых атакуемых в России: в 2025 году по сравнению с 2024-м количество кибератак на организации из этого сектора выросло на 43%.

подробнее

Организации в РФ хотят собственный ИИ-SOC

Среди организаций со штатом более 500 человек, где пока нет SOC, но в ближайшие два года планируется его создать, практически все руководители считают, что это должно произойти с поддержкой ИИ, говорится в результатах глобального опроса, проведённого экспертами «Лаборатории Касперского».

подробнее