Как обучать корпоративные LLM на внутренних регламентах без утечки данных

Сегодня компании различных уровней и отраслей активно внедряют новейшие технологии для автоматизации и повышения производительности своей деятельности. В последние годы мы наблюдаем переход от средств «традиционной» автоматизации к более усовершенствованным, интеллектуальным системам, способным не только анализировать большие объемы данных, но и понимать контекст, оказывать помощь в прогнозировании и принятии решений. ИИ нашли свое применение: во внутренних поисковых системах, в корпоративных сервисах поддержки, в процессах по работе с персоналом, в анализе юридических документов и во многих других направлениях.

О том, как безопасно обучать ИИ на корпоративных данных специально для читателей Кибер Медиа расскажет Виктория Жиляева, эксперт по кибербезопасности Angara Security.

Немного о LLM

Среди ИИ-технологий особую популярность приобрели большие языковые модели или Large Language Model (LLM). LLM – это системы ИИ, обученные на огромных объемах данных для работы со сложной текстовой информацией: понимание и интерпретация «человеческого» языка, обобщение, поиск несоответствий и ошибок, анализ, упрощение формулировок.

Самыми известными примерами Больших Языковых Моделей считаются:

- ChatGPT от компании OpenAI (США);

- Gemini от компании Google (США);

- Grok от компании xAI (США);

- DeepSeek от компании High-Flyer (Китай).

Среди российского сегмента можно выделить:

- Яндекс GPT от компании Яндекс;

- GigaChat от компании Сбер;

- Cotype от компании MTS AI.

LLM предоставляют компаниям обширные возможности в области автоматизации различных прикладных задач, которые раньше требовали привлечения большого количества денежных и человеческих ресурсов либо были попросту невыполнимы.

Сценарии внедрения LLM в компании

Публичные LLM (вроде ChatGPT или Яндекс GPT) обучаются в закрытом контуре компаний-разработчиков, в связи с чем передавать им конфиденциальные данные небезопасно. Поэтому различные компании прибегают к другим вариантам работы с LLM.

В корпоративной практике используются три наиболее распространенных подхода при работе с LLM, каждый из которых отличается уровнем сложности, стоимостью, компетенциями специалистов и степенью контроля над безопасностью данных. Рассмотрим каждый из них более подробно.

Разработка и обучение LLM с нуля.

Разработка и обучение LLM с нуля — ‘nj трудоемкий, дорогостоящий и технологически сложный процесс, доступный только крупным компаниям с высоко квалифицированными командами разработчиков и большими вычислительными ресурсами.

Данный подход применяется в тех случаях, когда требуется модель, полностью адаптированная под внутренние процессы, регламенты и требования компании. При этом сама компания не хочет зависеть от внешних компаний-разработчиков и придерживается строгих требований по безопасности, к тому же ей важна полная прозрачность архитектуры и всех этапов обучения.

При использовании такого подхода внедрение LLM в компании будет осуществляться в несколько основных этапов:

1) Определение цели создания модели (например, выполнение поисковых запросов, анализ документов или автоматизация ответов сотрудникам).

2) Создание архитектуры модели (часто на базе трансформеров Decoder-only).

3) Подготовка большого количества данных для обучения (Datasets).

4) Первичное обучение разработанной модели на большом количестве подготовленных данных (Pre-training). Зачастую данный этап остается для разработчиков «черным ящиком», но именно здесь в модель закладываются фундаментальные знания языка, структуры текста и общие представления о мире.

5) Обучение с «учителем» (Supervised Fine-Tuning, SFT), где модели показывают правильные примеры диалогов или инструкций и обучают воспроизводить желаемый стиль ответов.

6) Обучение с подкреплением (Reinforcement Learning from Human Feedback, RLHF). На данном этапе модель не просто выбирает правильный ответ, а учится выбирать лучший из нескольких возможных вариантов ответов.

7) Позднее дообучение – обучение на внутренних данных компании. Важный и чувствительный для компании этап, на котором модель учится понимать: структуру компании, корпоративные процессы, внутреннюю терминологию, документы, регламенты.

Использование предобученной модели LLM с поздним дообучением в корпоративном контуре.

Это частый вариант использования LLM в компании, он позволяет внедрить модель высокого качества без больших вложений. При использовании данного подхода компания закупает уже предобученную коммерческую модель (например, GigaChat от компании Сбер) и разворачивает ее в своей инфраструктуре. Затем модель проходит этап дообучения на внутренних корпоративных данных.

Использование предобученной модели LLM.

Самый простой и быстрый вариант, который подходит компаниям для выполнения задач общего назначения. Модель также разворачивается в инфраструктуре компании, но данные не «зашиваются» в нее, вместо этого модель просто осуществляет поиск информации внутри доступного для нее сегмента данных и использует полученную информацию при генерации ответов.

Позднее дообучение LLM

При выборе подхода позднего дообучения LLM на внутренних данных возникает ключевая проблема – как дообучить корпоративную Большую Языковую Модель на внутренних данных таким образом, чтобы они не утекли за пределы компании?

Рассмотрим сценарии и этапы дообучения LLM, чтобы разобраться, в какие моменты возникают риски утечки данных и как их снизить.

Этап позднего дообучения LLM можно разделить на несколько основных подэтапов:

1. Выбор инфраструктуры.

2. Подготовка данных.

3. Выбор механизма обновления параметров.

4. Выбор метода дообучения.

5. Тестирование.

Выбор инфраструктуры

Выбор вычислительной инфраструктуры для дообучения LLM – это не только вопрос производительности и стоимости, но также вопрос контроля над данными.

Существуют три основных решения для дообучения LLM:

- on-premise кластеры;

- приватные облачные среды (Virtual Private Cloud, VPC);

- инфраструктуры с применением confidential computing.

1.  On-premise кластеры.

On-premise кластер представляет собой вычислительную инфраструктуру, размещенную в дата-центрах, принадлежащих компании и находящихся под ее прямым управлением.

Примерами on-premise кластеров являются:

- GPU-кластеры, расположенные в корпоративных центрах обработки данных;

- Hyper-Converged Infrastructure кластеры (HCI-кластеры) с GPU, CPU и Storage в одном узле;

- изолированный Machine Learning кластер без доступа к сети Интернет;

- локальные серверы.

Данное решение имеет следующие ключевое преимущество: обеспечение максимального контроля над данными и удобность при работе с чувствительной информацией.

К недостаткам можно отнести:

- высокую стоимость развертывания;

- сложность масштабирования;

- необходимость в обеспечении защиты информации.

2. VPC.

VPC представляет собой изолированную часть публичного облака, работающего как частная сеть компании.

VPC имеет ключевые преимущества:

- меньшая стоимость по сравнению с on-premise решениями;

- гибкое масштабирование;

- доступ к GPU-кластерам без необходимости приобретения оборудования.

Данное решение имеет также недостатки:

- данные физически находятся у облачного провайдера;

- безопасность облака обеспечивается провайдером, требуется доверие к модели безопасности облака.

3. Инфраструктуры с применением confidential computing.

Confidential computing представляет собой подход, при котором данные защищены не только при передаче и хранении, но и во время выполнения вычислений.

Для обеспечения такого подхода используются различные аппаратные механизмы защиты, например, аппаратное шифрование памяти. При этом, информация скрывается даже от администраторов такой инфраструктуры, ключи доступа есть только у заказчика.

Данный подход имеет ключевое преимущество в обеспечении безопасности обрабатываемых данных, по сравнению с on-premise и VPC решениями.

Подготовка данных

Все внутренние данные компании можно условно разделить на несколько больших групп:

- публичные или общие;

- конфиденциальные или для служебного пользования (ДСП);

- коммерческая тайна (КТ);

- ограниченного доступа.

Для каждой группы данных действуют свои правила пользования в процессе дообучения LLM.

Напрямую в обучении моделей для повышения качества их работы в контексте компании могут использоваться общие описания бизнес-процессов компании, внутренние глоссарии, методические материалы и обучающие курсы, стандарты оформления и правила коммуникации, общие инструкции и регламенты, шаблоны писем и документов.

Материалы, содержащие чувствительные сведения, например, персональные данные сотрудников и клиентов, раскрывающие коммерческую тайну, финансовую отчетность и бюджет, а также несущие регуляторные риски при утечке, напрямую не используются для дообучения модели. И зачастую такие документы проходят либо предварительное обезличивание и обобщение, либо полностью исключаются из взаимодействия с LLM.

Во избежание утечки чувствительной информации для компании подготовка данных для позднего дообучения производится поэтапно по следующему сценарию:

1. Классификация. На данном подэтапе на каждый документ ставится отметка:

- о типе материала (отчет, инструкция или др.);

- об уровне конфиденциальности (публичный/общий, ДСП, КТ, ограниченного доступа);

- о допуске для обучения модели (допущен, требуется модерация, не допущен и др.).

2. Обезличивание и обобщение. При использовании чувствительных данных в обязательном порядке удаляются или заменяются:

- ФИО, адреса и номера телефонов;

- номера счетов;

- внутренние коды;

- правила принятия решений;

- коммерческие показатели и другая важная/чувствительная информация.

3. Преобразование материалов в обучающий формат. Используемые материалы преобразуют в один из форматов:

- пара «вопрос – правильный ответ»;

- диалог;

- инструкция с ожидаемым результатом.

Выбор механизма обновления параметров

В процессе дообучения LLM зачастую требуется корректировка параметров модели (весов). Выбор механизма обновления параметров зависит от глубины необходимой адаптации модели. На практике используются два основных механизма обновления параметров:

- полное обновление всех параметров модели (Full-Parameter Fine-Tuning, FPFT);

- обновление выбранных параметров модели (Parameter-Efficient Fine-Tuning, PEFT).

1. FPFT

Данный механизм применяется в строго ограниченных сценариях, когда:

- модель не усваивает целевую тему (кластер информации);

- модель не усваивает специфические языковые конструкции;

- модель делает систематические ошибки.

Механизм имеет крайне ограниченное применение из-за наличия существенных недостатков, заключающихся в высоком риске запоминания закладываемых данных и в сложном откате внесенных изменений, что, в свою очередь, повышает риски утечек информации.

2. PEFT

В отличие от FPFT, данный механизм обновляет не всю модель целиком, а лишь небольшие слои, что позволяет произвести быстрое и точечное обновление параметров и легко прервать его на нужном этапе, а также упрощает аудит. Таким образом PEFT снижает риск утечки данных, так как заложенная информация может быть легко скорректирована. Но, в отличие от FPFT, PEFT не всегда способен изменить внутренние представления модели при глубокой адаптации.

Выбор метода дообучения

На завершающем этапе адаптации Большой Языковой Модели под корпоративные задачи важную роль играет выбор методики позднего дообучения.

Адаптация производится с применением метода «Обучение с «учителем» (SFT), в комбинации с выбранным механизмом обновления параметров:

- обучение с «учителем» + механизм полного обновления всех параметров модели (SFT + FPFT);

- обучение с «учителем» + механизм обновления выбранных параметров модели (SFT + PEFT).

1. SFT + FPFT

При выборе данного метода модель дообучается на внутренних данных компании с обновлением всех ее параметров. Фактически это означает запуск повторного обучения модели на новом кластере данных, но с сохранением общей архитектуры.

Такой метод позволяет:

- достаточно глубоко перестроить внутренние представления модели;

- многократно улучшить понимание контекста в рамках корпоративных задач;

- повысить качество при запоминании кластера данных.

Но метод также имеет ограниченное применение в связи с увеличением рисков при использовании SFT в связке с механизмом FPFT:

- значительно увеличивается риск непреднамеренного запоминания различных данных;

- усложняются аудит и интерпретация результатов;

- существенно затрудняется откат внесенных изменений.

2. SFT + PEFT

Метод SFT + PEFT стал стандартом при дообучении корпоративных LLM. В данном случае модель также обучается на внутренних корпоративных данных, но при этом обновляются лишь выбранные параметры.

Метод позволяет адаптировать модель под процессы и стиль компании, а также сохранить базовые знания и поведение модели.

SFT + PEFT существенно снижает риски утечки данных, так как модель не «запоминает» внутренние данные, а усваивает общие паттерны ответов и логику применения регламентов, что делает данный метод предпочтительным для компаний со строгими требованиями к обеспечению информационной безопасности.

Тестирование

Даже хорошо обученная LLM не может быть допущена к эксплуатации без комплексного тестирования.

Тестирование является финальным этапом, на котором проверяются не только корректность ответов и понимание контекста моделью, но также в обязательном порядке выполняются тесты на безопасность, включающие в себя проверки модели «противостоять» попыткам извлечения чувствительной информации, обхода ограничений и некорректного использования. Другими словами, LLM проверяют не на «интеллект», а на надежность и предсказуемость.

Такое тестирование включает в себя следующие виды проверок:

- Проверки на утечки данных. Модель просят воспроизвести фрагменты внутренних документов, предоставить точные формулировки, раскрыть числовые параметры и многое другое.

- Проверки на глубину запоминания данных. Проверяется, насколько глубоко модель запомнила обучающие данные. Для этого обычно используются вопросы с частичным совпадением формулировок, перефразированные вопросы и последовательные уточняющие вопросы.

- Проверки на устойчивость к промт-инъекциям. На данных тестах модель подвергается попыткам выдать информацию «в обход» установленных правил.

- Проверки соблюдения корпоративных регламентов. Данный тип тестов проверяет корректность применения внутренних регламентов и реакцию на запросы.

Только после успешного прохождения комплексного тестирования LLM допускается к работе с пользователями.

Заключение

Все чаще LLM становятся частью важных бизнес-процессов компании. При этом именно этап позднего дообучения представляет наибольший риск, связанный с утечками корпоративных данных.

Как показывает практика, защита данных при работе с LLM – это не единичная мера, а обширный комплекс мер, включающий в себя архитектурные, методологические и организационные решения.

Для реализации комплексного подхода к обеспечению информационной безопасности и последующему снижению рисков утечек необходимо использовать следующий алгоритм при внедрении LLM в компании:

- выбрать вычислительную инфраструктуру в зависимости от требований к безопасности, на которой будет производиться позднее дообучение модели;

- выполнить предварительную подготовку данных, при которой чувствительная информация будет исключена или обезличена/обобщена из обучающих материалов;

- использовать стандартный подход SFT + PEFT при выборе методики дообучения во избежание рисков, связанных с непреднамеренным запоминанием данных;

- проводить комплексное тестирование на безопасность модели перед ее допуском к эксплуатации.

В этом случае LLM перестает быть потенциальным источником рисков и становится управляемым инструментом, способным повысить эффективность бизнеса.