2SDnjc1JCzF
Microsoft представила сканер для обнаружения бэкдоров в языковых моделях
Разработчики компании Microsoft опубликовали новый инструмент для обнаружения скрытых бэкдоров в больших языковых моделях (LLM) - программных модификаций, которые не проявляют себя обычным образом, но активируются при определённых триггерных входных данных.
По словам авторов, новый сканер ориентируется на три технические характеристики, которые характерны для моделей с бэкдорами: аномалии в распределении ответов, изменения в активациях внутренних слоёв и устойчивые паттерны поведения при наличии триггерных входов. Инструмент не требует предварительных знаний о природе триггера или его структуры и работает на базе анализов поведения модели при выводе (inference).
Техническая основа подхода заключается в детектировании структурных сигнатур бэкдора в весах модели и в распределении её ответов. Это позволяет не просто определить наличие потенциально вредоносного механизма, но и выдать ранжированный список подозрительных триггерных шаблонов для дальнейшего анализа безопасности.
В Microsoft отмечают, что растущий объём внедрения LLM в критические корпоративные задачи делает вопросы защиты и доверенности моделей приёмистыми задачами безопасности. Бэкдоры могут использоваться злоумышленниками для целенаправленного изменения поведения ИИ в контексте атак, сбора данных или обхода ограничений. Инструмент должен помочь защитить как исследовательские проекты, так и коммерческие системы с открытыми весами.
Эксперты по безопасности подчёркивают, что подобные инструменты важны на фоне роста рисков, связанных с манипуляциями структурой LLM, в том числе с помощью тонкой модификации весов или добавления исподволь активируемых триггеров. Внедрение практических методов обнаружения скрытых механизмов - шаг к укреплению доверия к системам ИИ и повышению устойчивости к атакам.
похожие материалы
Подготовлено исследование о развитии промышленного ИИ
Российский рынок промышленного искусственного интеллекта может вырасти с 40 млрд рублей в 2025 году до 134 млрд рублей к 2030 году при среднегодовом темпе роста в 27,4%, говорится в аналитическом исследовании «Промышленный искусственный интеллект».
Security Vision и «Перспективный мониторинг» объединяют усилия для развития российских ИБ-решений
Компания «Перспективный мониторинг» (входит в ГК «ИнфоТеКС»), один из лидеров российского рынка коммерческих SOC и вендор продуктов в сфере информационной безопасности, и компания Security Vision, разработчик первой на российском рынке информационной безопасности платформы для автоматизации и роботизации процессов ИБ, подписали соглашение о технологическом партнёрстве 14 октября в рамках третьей ежегодной конференции Ampire 360°.
Мошенники полтора года выманивали деньги у москвича даже после обращения в полицию
В Москве зафиксирован случай продолжительного дистанционного мошенничества, в ходе которого злоумышленники на протяжении полутора лет неоднократно похищали деньги у одного человека.
Масштабный сбой DeepSeek парализовал работу нейросети почти на пять часов
15 октября в работе китайской нейросети DeepSeek произошёл масштабный сбой, затронувший веб-версию, мобильное приложение и программные интерфейсы API.
Российский бизнес запросил 15 млрд рублей на разработку отечественных процессоров и ускорителей
Российские IT-компании предложили выделить 15 млрд рублей на разработку отечественных процессоров, вычислительных ускорителей и серверного оборудования для систем искусственного интеллекта.
Экспертный отчет: в 2026 году хакеры массово перешли на искусственный интеллект для обхода блокировок
Экспертно-аналитический центр ГК InfoWatch представил отчет о динамике кибератак за 2024–2026 годы, основанный на данных Роскомнадзора, НКЦКИ и Центробанка.
Почти половине ИБ-руководителей требуется специализированная защита для искусственного интеллекта
40% руководителей по информационной безопасности в компаниях, использующих искусственный интеллект, заявляют о необходимости внедрения новых средств и услуг для защиты нейросетей.
В России запустили производство углеродных нанотрубок за 680 млн рублей для электроники и защиты промышленности
В Новосибирске запустили производство многостенных углеродных нанотрубок, которые могут использоваться при создании аккумуляторов, электронных компонентов и защитных промышленных покрытий.
Российский рынок компьютерного зрения вырастет до 28,4 млрд рублей, но темпы развития замедляются
Российский рынок технологий компьютерного зрения по итогам 2026 года может увеличиться на 29%, достигнув 28,4 млрд рублей.
GitHub ужесточила правила публикации npm-пакетов из-за уязвимости
GitHub ужесточила правила публикации пакетов в npm из-за уязвимости, которая позволяла злоумышленникам выпускать новые версии чужих пакетов без кражи учётных данных, сообщает The Hacker News.