Игорь Кузнецов, Kaspersky GReAT: Все, что может сделать рядовой сотрудник, скорее всего, сделает и ИИ

Игорь Кузнецов: Граница проходит в жесткой логике принятия решений. При автоматизации атаки, как правило, используется инструментарий с заранее прописанными правилами: «если найдено А, делай Б».

Во время автономной атаки с использованием ИИ-агента логика принятия решений уже переходит к искусственному интеллекту: чат-бот получает инструкцию, самостоятельно строит план атаки, выбирает инструменты и подходы для ее проведения.

Игорь Кузнецов: Само понятие «ИИ-агент» по определению предполагает определенную самостоятельность. У него нет жестко заданного сценария: агент может отступать даже от пошаговой инструкции. Это связано с тем, что современные агенты работают на LLM-моделях, а LLM — инструмент вероятностный. Даже если несколько раз сделать один и тот же запрос, ответы ИИ, скорее всего, будут отличаться: иногда немного, иногда значительно.

То же самое касается и логики действий. Если использовать ИИ-агента для разработки или проведения атаки, его поведение каждый раз может отличаться: будут меняться ответы LLM и, соответственно, инструменты и подходы, которые она предлагает. Поэтому от ИИ-агентов не следует ожидать четкой логики: даже при одинаковой исходной задаче последовательность их действий может различаться.

Игорь Кузнецов: Поведение ИИ-агента можно предсказать двумя способами. Самый простой — дать ему определенную задачу вроде: «у тебя есть конкретные системы — используя их, проведи атаку», попросить выполнить ее несколько раз и посмотреть, что он будет делать. Далее, проанализировав чаты и последовательность действий в каждом из случаев, вы, скорее всего, сможете понять, как примерно действует агент.

Кроме того, модели не умеют фантазировать в общепринятом смысле этого слова. Они опираются на определенный массив данных, полученных из открытых источников или предоставленных экспертами при обучении. Эти данные в процессе обучения преобразуются в набор знаний, которые модель может комбинировать. Поскольку значительная часть таких знаний основана на открытых данных из интернета, основные подходы, которые может использовать агент, в целом известны. Эксперт, который знает, как проводятся кибератаки, может примерно предсказать последовательность действий агента, исходя из собственного опыта. В этом смысле агент во многом будет делать то же самое, что сделал бы специалист.

Отличие в том, что агент может повторять отдельные шаги, пробовать другие инструменты и, если что-то не получилось, менять тактику. Но информация о таких тактиках и инструментах тоже в значительной степени доступна. Например, подходы Red Team — команд, занимающихся тестированием защищенности организаций, — также можно воспроизводить с помощью агентов. Поэтому, если вы знаете, как действовал бы человек, то примерно можете представить и то, как будет действовать агент.

Игорь Кузнецов: Если коротко, на 100%. Сама суть агента заключается в том, что он может использовать разные инструменты и методы, уже известные модели.

Стандартный цикл работы агента выглядит так: сначала он получает задание, затем планирует действия и далее исполняет их. Если что-то в плане идет не так, модель может менять инструментарий и подходы, чтобы достичь поставленной цели.

При этом модели могут ошибаться и останавливаться. Поэтому зачастую требуется вмешательство человека, особенно когда эксперт видит, что задача выполняется неправильно.

То же самое происходит при разработке с использованием ИИ-агентов. Если модель «идет не туда» и выполняет большое количество очевидно неправильных шагов, человек, скорее всего, остановит ее работу, даст дополнительные указания, и уже с учетом новых вводных модель скорректирует свое поведение и продолжит выполнять задачу.

Все, что может сделать рядовой сотрудник без экспертных знаний, скорее всего, сможет сделать и ИИ

Игорь Кузнецов: Атрибуция — достаточно нечеткая дисциплина. Это не точная наука, и даже сам процесс атрибуции сложно формализовать. За годы существования целевых атак, к которым чаще всего применяется атрибуция, тактики атакующих неоднократно менялись — еще до появления технологий искусственного интеллекта и ИИ-агентов.

Изначально группировки, которые занимались целевыми атаками, использовали собственный инструментарий, который можно было достаточно точно связать с конкретной группой. Со временем атакующие поняли, что уникальный инструментарий позволяет защитникам проще их идентифицировать. Поэтому все чаще стали использоваться общедоступные инструменты, например, с открытым исходным кодом.

Чтобы сбить защитников с толку, атакующие также используют так называемые false flags — намеренно оставленные признаки, которые могут указывать на другую группировку и затруднять понимание того, кто на самом деле стоит за атакой. Поэтому появление ИИ-агентов, которые еще больше стирают эти различия и позволяют разным атакующим использовать схожий инструментарий, — это продолжение уже существующей тенденции.

В таких условиях при атрибуции важно смотреть и на другие признаки. В первую очередь — на интересы атакующих, их цели и географию атак. Такие признаки по-прежнему сохраняются и в принципе не могут полностью исчезнуть. Ведь у каждой группировки или отдельного атакующего есть определенная цель, которую они преследуют. Например, это может быть кибершпионаж в отношении определенных индустрий в конкретном регионе.

Подобные методы позволяют сузить круг потенциальных группировок, которые могут стоять за атакой.

Игорь Кузнецов: Использование общедоступных и коммерческих облачных ИИ-моделей для сложных и серьезных кибератак в принципе может стать проблемой для самих атакующих. Тот, кто владеет моделью, потенциально может распознать признаки ее использования в атаке, проанализировать действия злоумышленников, понять их цели, а затем опубликовать эту информацию. Например, крупные компании, которые создают облачные ИИ-модели, периодически сами обнаруживают действия злоумышленников, использующих их продукты. Такие случаи уже происходили, и информация о подобных атаках раскрывалась публично.

Если говорить о более технической стороне, то теоретически неправильно настроенный агент может случайно раскрыть инструментарий или данные с машин самих злоумышленников.

Для атакующих это может стать очень большой проблемой. Ведь чаще всего кибероперации, особенно сложные, проводятся так, чтобы максимально скрыть замысел, инфраструктуру и внутренние данные тех, кто проводит атаку. Агент же может по ошибке передать такую информацию, например, в чат или даже на компьютер, который в данный момент атакуется. Подобный сценарий может стать настоящим провалом операционной безопасности для злоумышленников.

Поэтому правильная постановка задачи и контроль ее выполнения по-прежнему остаются за человеком

Игорь Кузнецов: Не всегда. Многое зависит от того, какой инструментарий ИИ решил использовать. Если ИИ пишет небольшие программы или скрипты, которые затем выполняет, то у такого кода могут быть характерные признаки генерации с помощью ИИ. Например, в нем может быть много комментариев и подробных объяснений того, что происходит внутри.

Еще один характерный признак — большое количество эмодзи в строках программы. По совокупности таких признаков можно предположить, что код был сгенерирован с помощью ИИ. Но здесь есть нюанс: даже если атака проводится человеком вручную, но используемый инструментарий создан с помощью ИИ, выглядеть это будет примерно так же.

Поэтому заметить использование ИИ во время атаки возможно, понять, кто именно принимает решения — хакер или ИИ-агент, — уже сложнее.

Игорь Кузнецов: По сути, любая задача, которая не требует очень глубокой экспертизы, уже может быть полностью делегирована ИИ. Если проводить аналогию, ИИ-агент — это как большое количество стажеров или специалистов младшего уровня. Все, что может сделать рядовой сотрудник без экспертных знаний, скорее всего, сможет сделать и ИИ. Да, возможно, с ошибками, перепроверяя и переделывая, но такие задачи уже воспроизводимы и работают.

Если же необходимо экспертно разобраться в сложной системе, найти уязвимость или эксплуатировать ее, это все еще в большей степени прерогатива человека, хотя ИИ постепенно продвигается и в этих задачах. Мы уже видим прецеденты, когда уязвимости находят с помощью ИИ. Но здесь важно не попасть в ловушку ошибки выжившего: успешные примеры получают широкую известность, тогда как случаев, когда ИИ даже в агентском режиме не смог решить подобную задачу, значительно больше. Здесь все-таки нужен специалист.

И, конечно же, главное — правильная постановка задачи. Поведение ИИ-агентов сильно зависит от формулировки: даже несколько слов в неправильно сформулированном указании могут привести к совершенно другому результату. Поэтому правильная постановка задачи и контроль ее выполнения по-прежнему остаются за человеком.

Игорь Кузнецов: Тут я бы посмотрел от обратного — что лучше всего работает? В данный момент главное, что ИИ делает в атаках, — повышает общий уровень угрозы: он позволяет значительно масштабировать атаки, постоянно пробовать новые инструменты и находить новые цели.

Чтобы правильно от этого защищаться, нужна эшелонированная защита. Если против вас действует ИИ или большая группа злоумышленников, которые хотят взломать организацию, одного защитного продукта недостаточно.

Нужно защищаться на нескольких уровнях: использовать защитные решения на рабочих станциях, защищать серверы и сеть, а также вести постоянный мониторинг.

Если мы говорим о целевой атаке, то уже не так важно, кто стоит за ней — ИИ или люди. Если кто-то действительно хочет взломать организацию, у него могут быть большие ресурсы. Поэтому главное — вовремя понять, что атака началась, отследить ее и остановить. Для этого недостаточно только базовой защиты — необходим постоянный мониторинг с использованием EDR- и XDR-решений. Причем он должен охватывать не только отдельные рабочие станции, но и всю инфраструктуру организации.

Игорь Кузнецов: Да. ИИ используют, поскольку это удобный способ автоматизации. Хороший пример, пусть и более игровой, но из той же области, — соревнования Capture the Flag. По сути, это симуляция хакерских атак в ограниченной среде, где специалисты по кибербезопасности соревнуются друг с другом в атаке и защите.

За последние годы эта дисциплина сильно изменилась, поскольку ИИ стали использовать как с одной, так и с другой стороны. Теперь для большинства рутинных задач — как в защите, так и в атаке — участие человека может быть не нужно, если грамотно настроить среду. Поэтому использование ИИ-агентов действительно может значительно повышать в том числе и производительность защитников.

Если злоумышленники найдут способ использовать открытые и бесплатные ИИ-модели или модели, которые можно будет переносить вместе с вредоносной программой, такая автономная система потенциально будет представлять очень большую опасность

Игорь Кузнецов: Человек в данном случае все чаще будет становиться менеджером, только уже не людей, а подразделения, состоящего из ИИ-агентов. Его главная задача — правильно ставить задачи и контролировать, достигается ли с помощью ИИ поставленная цель.

При этом сейчас ИИ — это зачастую уже не один агент. При правильной постановке задачи и создании инфраструктуры может существовать, например, агент-оркестратор. По сути, это агент — мини-менеджер, который получает исходную задачу, разбивает ее на подзадачи и распределяет их между агентами-исполнителями.

Человек уже не следит за выполнением каждой конкретной подзадачи, а контролирует работу всей системы в целом. Поэтому контроль исполнения и правильное уточнение того, что именно должен сделать ИИ, и будут основными задачами человека, который с ним работает.

Игорь Кузнецов: Я много думаю об этом в последнее время. Лично для меня сценарий, который пока еще не воспроизведен и для которого существуют технические ограничения, — это полностью автономная система, которая в свободном режиме занимается кибератаками в интернете.

Если посмотреть в прошлое, 15-20 лет назад существовали сетевые черви — вредоносные программы, которые самостоятельно взламывали компьютеры, а затем использовали зараженные устройства для поиска новых жертв. То есть это была полностью автономная система, которая распространялась и заражала все вокруг.

Сейчас, когда появился ИИ именно в агентском режиме, потенциально может происходить все то же самое, но на более сложном уровне, поскольку ИИ способен менять логику своих действий. У него нет фиксированного набора действий, которые он может использовать для взлома.

Но пока все это ограничено тем, что для функционирования такого ИИ нужны большие и сложные модели, чаще всего облачные. Если злоумышленники найдут способ использовать открытые и бесплатные ИИ-модели или модели, которые можно будет переносить вместе с вредоносной программой, такая автономная система потенциально будет представлять очень большую опасность.