1. Главная
  2. Новости
  3. В России подготовили первый ГОСТ по безопасной разработке ИИ

В России подготовили первый ГОСТ по безопасной разработке ИИ

В России подготовили первый ГОСТ по безопасной разработке ИИ

В России разработали первую редакцию национального стандарта для безопасной разработки программного обеспечения с технологиями искусственного интеллекта. Проект ГОСТ Р подготовлен при участии ФСТЭК России, Сбербанка и ИСП РАН и уже опубликован для общественного обсуждения.

Документ расширяет действующий ГОСТ Р 56939-2024, который регулирует процессы безопасной разработки ПО, но отдельно учитывает специфику ИИ-систем. Впервые на уровне национального стандарта описываются требования к безопасности не только исходного кода, но и моделей, весов, обучающих наборов данных, конфигураций и среды исполнения.

Проект выделяет 27 процессов безопасности. Часть из них повторяет классические практики secure development, включая статический и динамический анализ кода, часть адаптирует уже известные процессы под ИИ, например моделирование угроз и тестирование. Отдельные процессы вводятся специально для искусственного интеллекта: управление наборами данных и безопасное обучение моделей.

Особый акцент сделан на защите от отравления данных и моделей, контроле цепочек поставок, фильтрации обучающих данных и снижении риска внедрения вредоносного кода через сторонние библиотеки и ML-фреймворки. Также в проекте упоминаются состязательные атаки, утечки конфиденциальных данных через поведение модели, промпт-инъекции и обход guardrails.

Одно из заметных нововведений - обязательный «паспорт» модели ИИ. В нем должны быть указаны сведения об архитектуре, обучающих данных, лицензиях, области применения и ограничениях использования модели. Такой документ должен поставляться вместе с ПО, чтобы заказчик понимал, как именно можно использовать систему и где проходят зоны ответственности разработчика.

Для систем высоких классов опасности проект также требует размещать среды разработки, хранения артефактов, обучения моделей и используемые наборы данных на территории России. Пока стандарт не утвержден и не применяется, но после согласования он может стать базовой рамкой для ИИ-разработчиков, особенно в госсистемах и критической инфраструктуре.

РЕКОМЕНДУЕМ

похожие материалы

Стрелочка
Стрелочка
Устройство размером с монету позволило вмешаться в работу автопилота Boeing 737
Устройство размером с монету позволило вмешаться в работу автопилота Boeing 737

Исследователи из Калифорнийского университета в Сан-Диего и Оберлинского колледжа разработали аппаратный имплант размером примерно с монету, который позволяет вмешиваться в работу авионики Boeing 737.

подробнее Стрелочка
Более половины производственных предприятий по всему миру готовы полностью перейти на цифру — как это влияет на кибербезопасность
Более половины производственных предприятий по всему миру готовы полностью перейти на цифру — как это влияет на кибербезопасность

60% производственных предприятий по всему миру рассчитывают полностью перейти на цифровые технологии в течение ближайших двух лет — сегодня полностью цифровыми себя считают 9%.

подробнее Стрелочка
В Екатеринбурге пройдёт AI Growth Days
В Екатеринбурге пройдёт AI Growth Days

С 27 по 29 августа в Екатеринбурге пройдёт AI Growth Days — конференция от Alto, которая уже шестой год объединяет объединяет на одной площадке заказчиков digital-услуг, рынок аутсорс-разработки и digital-агентства.

подробнее Стрелочка
HoneyMyte использовала обновлённый бэкдор в кампаниях кибершпионажа против организаций в России и Азии
HoneyMyte использовала обновлённый бэкдор в кампаниях кибершпионажа против организаций в России и Азии

Эксперты Глобального центра исследования и анализа угроз «Лаборатории Касперского» (Kaspersky GReAT) проанализировали недавнюю активность APT-группы HoneyMyte и обнаружили обновлённый вариант бэкдора CoolClient.

подробнее Стрелочка