В России начали создавать защиту от неконтролируемых ИИ-агентов

В России начали создавать защиту от неконтролируемых ИИ-агентов

Российские IT-компании начали разрабатывать отдельные системы контроля за автономными ИИ-агентами. Такие решения должны следить за тем, к каким данным и инструментам получает доступ нейросеть, анализировать ее действия и блокировать потенциально опасные операции. Интерес бизнеса к таким технологиям резко вырос по мере перехода от обычных чат-ботов к ИИ, способному самостоятельно выполнять многоэтапные задачи, пишут СМИ.

«Яндекс», MWS AI, «Сбер» и Т1 уже развивают собственную инфраструктуру для управления ИИ-агентами. В частности, системы позволяют ограничивать доступ моделей к корпоративным данным, фиксировать их действия и требовать подтверждения человека перед выполнением критических операций. В Т1 сообщили, что за последний год количество запросов бизнеса на подобные механизмы выросло примерно втрое. Около 80% обращений связано с защитой корпоративных данных, контролем критических решений и предотвращением утечек.

Технический директор центра технологий кибербезопасности ГК «Солар» Евгений Федоров сравнил такие системы с файрволами. Проблема заключается в том, что языковая модель не всегда способна отличить обычные данные от инструкции. Поэтому защитный слой должен находиться за пределами самой модели и контролировать запросы, ответы и обращения к внешним инструментам. По оценке «Солара», российский рынок продуктов для защиты ИИ уже в 2026 году может составить 1-2 млрд рублей, а вместе с сопутствующими услугами - до 4 млрд рублей.

Одним из факторов роста интереса к таким решениям стали зарубежные инциденты с автономными агентами. Летом более тысячи агентов OpenAI во время тестирования смогли координировать действия и взаимодействовать с внешней инфраструктурой, включая Hugging Face. Специалисты Кибер Медиа ранее писали, что зарубежные разработчики также создают отдельный класс защитных ИИ-агентов, которые должны противостоять автоматизированным атакам.

Во ФСТЭК при этом считают, что риски передачи конфиденциальной информации во внешние ИИ-сервисы уже учитываются действующими требованиями по информационной безопасности. В Минцифры добавили, что разработчики больших фундаментальных моделей обязаны определять правила эксплуатации и условия использования своих систем.

похожие материалы

Стрелочка
Стрелочка
МИД заявил о преимуществе российских систем спутникового интернета перед западными аналогами
МИД заявил о преимуществе российских систем спутникового интернета перед западными аналогами

Российские разработчики систем спутникового интернета готовы предоставлять зарубежным государствам не только услуги связи, но и условия для сохранения цифрового суверенитета.

«Яндекс» восстановил большую часть функций умного дома с «Алисой» после атак на дата-центры
«Яндекс» восстановил большую часть функций умного дома с «Алисой» после атак на дата-центры

Компания «Яндекс» сообщила о восстановлении большинства функций системы умного дома с «Алисой», работа которой была нарушена после серии атак беспилотников на дата-центры.

Anthropic предупредила о появлении ИИ-червей, способных самостоятельно заражать бытовую технику и серверы
Anthropic предупредила о появлении ИИ-червей, способных самостоятельно заражать бытовую технику и серверы

Компания Anthropic предупредила о новой потенциальной угрозе кибербезопасности: небольшие модели искусственного интеллекта могут в ближайшие месяцы научиться самостоятельно распространяться между подключёнными к интернету устройствами.

Синхронизация интересов: как крупный бизнес и ИТ-вендоры помогают вузам настроить обучение под реальные задачи
Синхронизация интересов: как крупный бизнес и ИТ-вендоры помогают вузам настроить обучение под реальные задачи

В Москве прошел форум «Цифровые решения», где представители власти, сферы образования, крупнейших корпораций и ведущих ИТ-компаний обсудили ход цифровизации госуправления и регионов, влияние технологий на развитие экономики и качество жизни людей, а также уделили особое внимание стратегии и практике создания и внедрения тех решений, что уже сейчас работают и дают реальный эффект.

Security Vision на SOC Forum: кибероперации на скорости ИИ – без потери контроля
Security Vision на SOC Forum: кибероперации на скорости ИИ – без потери контроля

Security Vision выступит стратегическим партнером SOC Forum, который пройдет 27-28 октября, и представит концепцию AI-Powered SOC – новый подход к работе центра кибербезопасности, в котором ИИ ускоряет кибероперации, а команда ИБ сохраняет контроль над решениями.

С 8 по 11 сентября 2026 года состоялся юбилейный, 25-й Всероссийский форум «Информационная безопасность. Регулирование. Технологии. Практика. ИнфоБЕРЕГ 2026»
С 8 по 11 сентября 2026 года состоялся юбилейный, 25-й Всероссийский форум «Информационная безопасность. Регулирование. Технологии. Практика. ИнфоБЕРЕГ 2026»

Участники детально проработали приоритетные векторы развития: усиление защиты критической информационной инфраструктуры (КИИ), масштабирование отечественных технологических решений и формирование стандартов безопасного применения искусственного интеллекта.

На Национальном промышленном Конгрессе обсудили шаги для достижения технологического суверенитета страны
На Национальном промышленном Конгрессе обсудили шаги для достижения технологического суверенитета страны

12 октября состоялся Национальный промышленный Конгресс PromSpace – главная дискуссионная площадка для обсуждения актуальных вопросов по формированию актуальной промышленной повестки в России, поддержке отечественных производителей, повышению их конкурентоспособности, а также содействию бизнес-инициативам в разработке, производстве и экспорте высокотехнологичной продукции.