Российские нейросети будут проверять на «духовно-нравственные ценности» и устойчивость к промпт-инъекциям

Российские нейросети будут проверять на «духовно-нравственные ценности» и устойчивость к промпт-инъекциям

В России разрабатывают механизм проверки крупных ИИ-моделей на соответствие законодательству и традиционным духовно-нравственным ценностям. Экспертизу смогут проводить независимые испытательные лаборатории, прошедшие проверку государства. 

Процедура будет касаться не всех доступных в России нейросетей. Проверку должны проходить большие фундаментальные модели, разработчики которых хотят получить статус «национальной» или «суверенной». Такие статусы дают возможность претендовать на господдержку, получать доступ к данным государственных информационных систем и приоритетно использовать модели в отдельных сферах.

Для оценки планируют разработать специальные бенчмарки. Разработчик сначала самостоятельно протестирует свою модель по единой риск-ориентированной методике, после чего результаты изучит аккредитованная лаборатория. Эксперты смогут проверить ответы нейросети и попытаться обойти встроенные ограничения с помощью промпт-инъекций.

В лабораторию также потребуется передать документацию с описанием архитектуры модели, разработчика и используемых механизмов фильтрации. После испытаний будет подготовлено заключение, однако финальное решение о соответствии модели требованиям останется за Минцифры. Безопасность нейросетей, предназначенных для государственных информационных систем, отдельно будут оценивать ФСБ и ФСТЭК.

При этом окончательная схема еще не утверждена. Представитель Минцифры подчеркнул, что пакет подзаконных актов проходит межведомственное согласование, поэтому конкретные требования к лабораториям и процедуре тестирования еще могут измениться.

похожие материалы

Стрелочка
Стрелочка
Подготовлено исследование о развитии промышленного ИИ
Подготовлено исследование о развитии промышленного ИИ

Российский рынок промышленного искусственного интеллекта может вырасти с 40 млрд рублей в 2025 году до 134 млрд рублей к 2030 году при среднегодовом темпе роста в 27,4%, говорится в аналитическом исследовании «Промышленный искусственный интеллект».

Security Vision и «Перспективный мониторинг» объединяют усилия для развития российских ИБ-решений
Security Vision и «Перспективный мониторинг» объединяют усилия для развития российских ИБ-решений

Компания «Перспективный мониторинг» (входит в ГК «ИнфоТеКС»), один из лидеров российского рынка коммерческих SOC и вендор продуктов в сфере информационной безопасности, и компания Security Vision, разработчик первой на российском рынке информационной безопасности платформы для автоматизации и роботизации процессов ИБ, подписали соглашение о технологическом партнёрстве 14 октября в рамках третьей ежегодной конференции Ampire 360°.

Мошенники полтора года выманивали деньги у москвича даже после обращения в полицию
Мошенники полтора года выманивали деньги у москвича даже после обращения в полицию

В Москве зафиксирован случай продолжительного дистанционного мошенничества, в ходе которого злоумышленники на протяжении полутора лет неоднократно похищали деньги у одного человека.

Российский бизнес запросил 15 млрд рублей на разработку отечественных процессоров и ускорителей
Российский бизнес запросил 15 млрд рублей на разработку отечественных процессоров и ускорителей

Российские IT-компании предложили выделить 15 млрд рублей на разработку отечественных процессоров, вычислительных ускорителей и серверного оборудования для систем искусственного интеллекта.

Почти половине ИБ-руководителей требуется специализированная защита для искусственного интеллекта
Почти половине ИБ-руководителей требуется специализированная защита для искусственного интеллекта

40% руководителей по информационной безопасности в компаниях, использующих искусственный интеллект, заявляют о необходимости внедрения новых средств и услуг для защиты нейросетей.

В России запустили производство углеродных нанотрубок за 680 млн рублей для электроники и защиты промышленности
В России запустили производство углеродных нанотрубок за 680 млн рублей для электроники и защиты промышленности

В Новосибирске запустили производство многостенных углеродных нанотрубок, которые могут использоваться при создании аккумуляторов, электронных компонентов и защитных промышленных покрытий.