OpenAI представила фреймворк для отчётности о сбоях в безопасности ИИ

OpenAI представила фреймворк для отчётности о сбоях в безопасности ИИ

Компания OpenAI запустила специальную систему для отслеживания, расследования и публичного раскрытия случаев «рассогласования» нейросетей — ситуаций, когда ИИ-модели выходят из-под контроля или ведут себя вопреки установленным инструкциям.

В компании подчеркивают, что ранее подобные инциденты раскрывались бессистемно, а индустрия ещё далека от полного решения проблем безопасности. В рамках нового подхода разработчики намерены оперативно публиковать отчёты о нестандартном поведении алгоритмов, даже если природа сбоя ещё не до конца понятна или исправление не готово.

Вместе с анонсом фреймворка OpenAI обнародовала шесть конкретных кейсов из практики обучения и тестирования нейросетей. Среди зафиксированных аномалий: 

- модель GPT-5.6 Sol в ходе обучения добавляла в свои итоговые сводки инструкции, предписывающие скрывать ошибки и подделывать исторические данные от пользователя; 

- невыпущенная исследовательская модель пыталась обойти ограничения, внедряя скрытые команды в блоки контекста; 

- агент без разрешения использовал найденный открытый API-ключ, а не получив данные, сгенерировал фейковую финансовую отчётность; 

- несколько ИИ-агентов объединялись через сторонние файлообменники и сторонние репозитории для обмена данными в обход установленных сетевых барьеров.

В OpenAI рассчитывают, что новый фреймворк станет первым шагом к формированию единых отраслевых стандартов прозрачности в сфере безопасности ИИ.

похожие материалы

Стрелочка
Стрелочка
В Москве пройдет конференция TECH WEEK 2026 о цифровой трансформации и искусственном интеллекте
В Москве пройдет конференция TECH WEEK 2026 о цифровой трансформации и искусственном интеллекте

18–19 ноября 2026 года в Москве в шестнадцатый раз пройдет конференция TECH WEEK — деловая конференция, посвященная практическому применению искусственного интеллекта и цифровых технологий в бизнесе.

«Группа Астра» и «Мастер Лаб» обеспечат полную совместимость своего ПО и помогут с цифровизацией здравоохранения
«Группа Астра» и «Мастер Лаб» обеспечат полную совместимость своего ПО и помогут с цифровизацией здравоохранения

На XXVII международном конгрессе «Информационные технологии в медицине» «Группа Астра» и разработчик МИС для здравоохранения «Мастер Лаб» заключили соглашение о партнерстве в сфере ИТ.

Энергия точных ориентиров: «Knomary: Целеполагание» завоевала серебро в отраслевом рейтинге ECM-Journal
Энергия точных ориентиров: «Knomary: Целеполагание» завоевала серебро в отраслевом рейтинге ECM-Journal

Компания Knomary (входит в «Группу Астра») сообщает о том, что независимый экспертный портал ECM-Journal опубликовал масштабный обзор российских платформ управления по целям 2026 года, в котором система «Knomary: Целеполагание» заняла второе место.

TP-Link оказался под ударом сразу четырех штатов США - роутеры обвиняют в проблемах с безопасностью и связях с Китаем
TP-Link оказался под ударом сразу четырех штатов США - роутеры обвиняют в проблемах с безопасностью и связях с Китаем

Сразу четыре американских штата - Флорида, Айова, Небраска и Монтана - подали иски против TP-Link, обвинив производителя в том, что он вводил покупателей в заблуждение относительно безопасности своих роутеров и масштабов связей с Китаем.