Большие языковые модели в кибербезопасности: от детекции угроз до автоматизации рутины

Искусственный интеллект проникает во все сферы, информационная безопасность не стала исключением. Большие языковые модели (LLM) способны помочь специалистам обработать терабайты логов, автоматизировать анализ вредоносного кода и ускорить реагирование на инциденты. Но внедрение LLM в ИБ-процессы компании требует взвешенного анализа: цена ошибки может быть слишком высока. Cyber Media разбирает, в каких сценариях уместны LLM, какие преимущества и ограничения несет эта технология и с чего начать процесс внедрения.

Что такое LLM в контексте кибербезопасности

Большие языковые модели в информационной безопасности — это специализированные инструменты, которые могут анализировать огромные массивы неструктурированных данных: логи безопасности, код приложений, данные Threat Intelligence, сетевой трафик и другие типы и предоставлять выводы на основе анализа.

Классическое машинное обучение давно востребовано в информационной безопасности. До бума генеративного ИИ компании много лет использовали антиспам-фильтры и антифрод-движки, детекторы аномалий в сетевом трафике и поведении пользователей (UEBA), классификаторы вредоносных файлов и URL, скоринговые модели для приоритизации алертов SIEM. Это классические ML-подходы, хорошо показывающие себя на структурированных данных, востребованы и сейчас: они дешевле в работе, их легче контролировать и проще анализировать, если говорить про аудит.

LLM — другой класс инструментов. В отличие от классических систем анализа, LLM работают по принципу генерации следующих токенов (чаще всего это текстовые данные), и поэтому могут улавливать контекст, устанавливать связи между разрозненными событиями и генерировать отчеты на понятном человеку языке. Это делает их ценным инструментом в современных реалиях, где объемы данных растут, а индустрия испытывает нехватку квалифицированных ИБ-специалистов.

Эффективность LLM в кибербезопасности подтверждается практическими результатами. Один из наиболее масштабных примеров внедрения таких моделей — Microsoft Security Copilot, которых можно назвать пионерами в этой области. Уже в начале 2024 года компания представила результаты исследования: опытные специалисты по безопасности с Copilot в среднем выполняли задачи на 22–23% быстрее, не теряя в точности, а в ряде сценариев — даже повышая ее.

Основные сценарии использования LLM в информационной безопасности

Во всем мире интерес к использованию LLM в информационной безопасности растет вместе с расширением возможностей технологии. Несмотря на то, что массовое внедрение только набирает обороты, ИБ-вендоры и компании с выстроенными отделами SOC внутри применяют языковые модели в прикладных задачах: от анализа кода до

классификации инцидентов. Постепенно формируются устойчивые сценарии применения, которые показывают стабильные результаты.

Чаще всего LLM используется для следующих задач:

• обработка результатов статического анализа в безопасной разработке (автоматическая разметка срабатываний, генерация описаний уязвимостей и предложений по их исправлению);
• первичная классификация и атрибуция инцидентов, подсказки при реагировании и выборе мер защиты (создание экспертных систем и AI-ассистентов для поддержки SOC-аналитиков);
• автоматизация рутинных операций, формирование отчётов на основе анализа событий безопасности (обработка огромных массивов данных и превращение их в структурированные отчёты и рекомендации).
• анализ логов и поиск аномалий (выявление известных паттернов опасного поведения и подозрительных аномалий);
• первичная оценка безопасности инфраструктуры (анализ конфигураций и автоматическое выявление потенциальных рисков);
• поиск и анализ уязвимостей в коде и ПО (интеграция в DevSecOps-конвейеры, генерация гипотез об уязвимостях, автоматизация ревью кода).

Российские компании активно используют LLM в сфере ИБ — особенно в направлениях, связанных с автоматизацией

анализа инцидентов. Внедрение идет постепенно: тестирование моделей на ограниченных сценариях, накапливание практики и адаптация подходов под реальные риски.

 Виктория Егорова

Заместитель директора департамента анализа безопасности «Группы Астра»

Наиболее ценные кейсы применения LLM — в области статического анализа. Это в первую очередь касается обработки результатов — автоматическая разметка (true/false positive), генерация описаний и возможных исправлений. LLM помогают специалистам быстро разобрать даже очень запутанные фрагменты кода, понять суть срабатывания на конкретном участке и, как минимум, дают отправную точку для работы над исправлением.

Ирина Дмитриева

Инженер-аналитик лаборатории исследований кибербезопасности компании «Газинформсервис»

LLM активно применяется в процессах совершенствования систем защиты информации. Обширный вектор работ — это выбор доверенных технологий для внедрения в экосистемы средств защиты и достижения высокоэффективного результата. В частности, обширный стек работ направлен на формирование экспертных систем (AI-ассистентов) для классификации и атрибуции инцидентов, подбора мер по предотвращению и реагированию на инциденты и построения корректной модели угроз.

Большие языковые модели повышают эффективность команд за счет автоматизации рутинных задач, ускорения анализа кода, логов и телеметрии, а также улучшения понимания сложных угроз благодаря структурированию неформализованных данных. LLM могут не только помочь начинающим специалистам в ускорении работы, но и масштабировать «живую» экспертизу — опытные сотрудники могут «научить» модель своим подходам к анализу, а затем применить эти методы к сотням однотипных задач.

Сергей Зыбнев

Ведущий специалист отдела по работе с уязвимостями ИС Бастион

К явным преимуществам можно отнести масштабирование экспертизы — LLM позволяет «клонировать» образ мышления опытного пентестера для решения рутинных задач. Это высвобождает время специалистов для фокусирования на сложных, нетривиальных уязвимостях, требующих интуиции и применения бизнес-логики.  При этом LLM превосходно справляются с созданием полиморфных, уникальных пейлоадов. Это делает атаки менее «шумными» и позволяет обходить сигнатурные и даже некоторые поведенческие средства защиты, когда специалисты ожидают увидеть стандартные паттерны из известных инструментов.

LLM действительно способны значительно упростить многие рутинные задачи в сфере информационной безопасности. Вместе с тем их применение требует глубокого понимания как технических возможностей, так и принципиальных ограничений этой технологии.

Ищем «подводные камни» LLM

Как и любая новая технология, LLM имеет ограничения, которые связаны как с работой самих моделей, так и с инфраструктурной спецификой. К ним относятся, например:

• генерация ложной или несуществующей информации (галлюцинации);
• увеличение рабочей нагрузки на аналитиков из-за необходимости верификации данных, предоставленных моделью;
• высокие требования к вычислительным мощностям и ресурсам для внедрения и эксплуатации LLM;
• расширение возможных векторов атак при интеграции LLM в ИТ-инфраструктуру;
• угроза утечки конфиденциальных данных при предоставлении модели доступа к чувствительной информации;
• уязвимость модели к специальным атакам (например, к Prompt Injection) и риск «отравления» обучающих данных.

Одной из самых обсуждаемых проблем остаются «галлюцинации» — случаи, когда модель уверенно выдает ложные

или выдуманные данные. В кибербезопасности это чревато негативными последствиями: неверный вывод может увести исследование атаки в сторону и увеличить время на реагирование, увеличить риски пропустить угрозу, создать лишнюю нагрузку на аналитиков. Для того чтобы преодолеть это ограничение, можно прибегнуть к различным методам – от контроля ответов модели аналитиками до создания специализированных систем, которые обучаются только на внутренних данных.

Егорова Виктория

Заместитель директора Департамента анализа безопасности «Группы Астра»

Галлюцинации можно свести к минимуму, например, с помощью шаблонных запросов, строгой фильтрации ввода/вывода, RAG-подхода с ограниченным контекстом и проверок типа «human-in-the-loop».

Другой важный нюанс в работе LLM — нехватка контекста. Это возможно решить через агентный подход: вместо того, чтобы передавать модели конкретные функции для обработки, система сама «собирает» недостающие данные для анализа, если они ей необходимы.

Другая группа ограничений связана с ресурсозатратностью и вопросами конфиденциальности. Для эффективной работы LLM требуются огромные массивы данных, значительные вычислительные мощности и квалифицированные MLOps-специалисты. Это означает серьезные финансовые и операционные издержки, особенно если учесть риски конфиденциальности, которые подразумевают необходимость локального размещения моделей. Чтобы система могла анализировать угрозы, ей нужно предоставить доступ к чувствительным данным — логам, коду, корпоративной документации. Однако даже при локальном развертывании сохраняется риск утечки: модель может непреднамеренно «вспомнить» и пересказать конфиденциальную информацию, например, в отчете для лиц, которые не должны иметь доступ к той или иной информации. Также увеличивается поверхность атаки: LLM может стать уязвимым звеном, если не защищена от prompt injection, отравления данных и других типов угроз, направленных на этот тип моделей. Это важно учитывать при формировании модели угроз для новой системы.

Эксперты подчеркивают, что на данный LLM не является единым решением «для всех» из-за дороговизны и специфики внедрения и использования. В ряде случае можно обойтись и классическими ML-методами, которые более экономичны, но не менее эффективны.

Иван Костыря

Старший аналитик SOC UserGate

LLM можно назвать хорошим инструментом, если понимать, как и где им пользоваться, но никак не «серебряной пулей», которая сделает всю работу за специалиста. Некоторые задачи можно решить и без применения LLM, как сейчас, и происходит в большинстве случаев – грамотным применением доступных средств, будь то поиск информации, анализ поведения или обогащения данных.

Не стоит забывать также и о применении машинного обучения (ML) и поиска по математическим алгоритмам, вроде отклонения от средней или неожиданных девиаций в потоке данных. Данные средства не требуют больших языковых моделей, но в грамотных руках результаты применения в безопасности компании могут удовлетворить большинство запросов.

С чего начать внедрение LLM в процессы

Прежде чем запускать пилотный проект, стоит ответить на ряд вопросов: какие именно задачи невозможно эффективно решить с помощью классических инструментов, в том числе ML, будет ли внедрение выгоднее и эффективнее для компании по сравнению с другими методами, есть ли возможность обеспечить безопасную среду для внедрения и функционирования LLM. Модели не должны становиться новой точкой входа для атак или источником утечек.

Начать можно с небольших задач: выбрать узкий сценарий, где LLM может принести максимальную пользу — например, генерацию отчетов, автоматическую разметку алертов или анализ фрагментов кода. Далее — настроить и протестировать модель в изолированной среде под контролем специалистов.

Ирина Дмитриева

Инженер-аналитик лаборатории исследований кибербезопасности компании «Газинформсервис»

На первом этапе стоит определить цель и сценарий внедрения LLM. Имеется ли явная необходимость, где классические алгоритмы сильно уступают в производительности работы с массивами данных. Если имеется необходимость — нужна гарантия обеспечения безопасности работы с данными в контексте LLM. Безусловно, необходимо обязательное внедрение только on-prime-решений или частных инстансов с точным логированием действий над данными и самой моделью.

На втором крупном этапе важно сохранить валидацию данных и экспертную оценку в режиме «human-in-the-loop» в процессе принятия критических решений безопасности. Для этого рекомендуется сохранять побочные данные от LLM (алгоритмы и логику заключений), а также обеспечить постоянный контроль качества данных и обновления всех зависимостей в цепочке систем, связанных с биг-датой.

Особое внимание следует уделить следующим мерам безопасности:

• защитить модель от Prompt Injection: провести валидацию и очистку входного материала перед передачей в LLM;
• обеспечить защиту от «отравления» обучающих данных: проверять датасеты использовать проверенные источники данных, применять методы обнаружения аномалий;
• обеспечить контроль уязвимостей в цепочке поставок, если решение развертывается не проприетарно;
• ограничивать автономию LLM: обеспечить внедрение человеческого контроля на этапе принятия решений;
• предотвратить утечки чувствительной информации: провести анонимизацию данных, обеспечить фильтрацию ввода и вывода, аудит безопасности;
• проводить red-teaming и тестирование на проникновение — регулярные проверки LLM для выявления уязвимостей;
• обеспечить строгий контроль доступа к LLM: аутентификация, авторизация, ограничение прав доступа сотрудникам;
• мониторинг и логирование активности LLM: отслеживание взаимодействий с моделью и ведение журналов активности.

Заключение

Большие языковые модели демонстрируют реальную пользу в ИБ — от автоматизации рутинных задач до ускорения анализа инцидентов и масштабирования экспертизы. Однако эффективность таких решений зависит не только от качества модели, но и от зрелости инфраструктуры, готовности команды и выверенного сценария применения. LLM — это не универсальная замена специалистам, а инструмент, который требует продуманного внедрения, внимания к безопасности и четкого понимания, зачем он нужен именно в вашей организации. Поэтому перед запуском важно оценить цели, риски и ресурсы, а также предусмотреть технические и организационные меры защиты на всех этапах работы с моделью.