Владимир Зайцев, заместитель технического директора NGENIX: Пока существует Интернет, всегда будут попытки недобросовестно нажиться на пользователях, их данных и внимании

Специалисты по ИБ и киберпреступники находятся в постоянном соперничестве — кто кого победит в текущем «раунде», окажется ли «броня» крепче «снаряда». Один из таких «снарядов» это DDoS-атаки, которые не теряют своей актуальности и опасности для бизнеса. Как и связанный с ними бот-трафик, создающий множество проблем. Заместитель технического директора NGENIX Владимир Зайцев в интервью для Cyber Media рассказал, как распознать нежелательный бот-трафик и защититься от него.

Cyber Media: Сегодня мы говорим о бот-атаках. Но начать хотелось бы с разговора о защите веба в общем. Какое место бот-атаки занимают в контексте всех веб-угроз, с которыми могут столкнуться владельцы веб-ресурсов?

Борьба с кибератаками сегодня — критически важная задача для онлайн-бизнеса. Есть несколько разновидностей атак. DDoS-атаки и эксплуатация уязвимостей — уже признанная и всем понятная киберпреступная активность. А вот бот-трафик – это относительно молодая проблема для веба. Инструментарий, который используется злоумышленниками для этого типа атак, также может быть использован и для DDoS, и для поиска и эксплуатации уязвимостей.

Cyber Media: Какие цели у DDoS-атак и эксплуатации уязвимостей?

Основной целью DDoS-атак является недоступность веб-ресурса для легитимных пользователей. Способы уже давно изучены, со временем меняется лишь техническая реализация – обычно это либо атака на пропускную способность канала, либо на сетевой стек, либо на приложение. Атакующий генерирует большую нагрузку на слабые места в инфраструктуре жертвы, тем самым делая сайт недоступным.

Эксплуатируя уязвимость, злоумышленник может как полностью вывести ресурс из строя, так и получить доступ к данным. Или же вообще надолго обосноваться в вашей инфраструктуре и извлекать долгосрочную выгоду. Умный ботнет в этом случае, например, может применяться для брутфорса учетных записей, которые впоследствии используются для эксплуатации уязвимостей уже внутри периметра. Таким образом злоумышленник по цепочке проникает вглубь вашей инфраструктуры.

Cyber Media: А в чем тогда отличие именно бот-трафика?

Целью бот-трафика не является недоступность веб-ресурса или взлом. Он не считается классической киберпреступной активностью, но при этом доставляет владельцам веб-ресурсов достаточно головной боли. Если в предыдущих случаях ущерб видно сразу – недоступность сайта или утечка, то тут потери не всегда очевидны.

Чаще всего выгоду извлекают из сбора информации в массовых масштабах (цены, комментарии, изображения); генерации синтетической информации (отзывы о товарах, накрутка лайков или дизлайков); бронирования товаров с целью сделать покупку невозможной; подбора учетных записей и другой активности, которая без специальных инструментов будет выглядеть для бизнеса как обычный трафик.

Добавьте сюда тот факт, что подобный трафик может занимать до половины всей активности, – и вот вы уже платите кратно больше за мощности в облаке и лицензии на WAF.

Cyber Media: Получается, что весь такой автоматизированный трафик плохой?

Не совсем. Есть и полезные боты. Например, краулеры поисковых систем, боты нейросетей, которые собирают с веб-ресурсов данные, чтобы в дальнейшем использовать их для обучения и другие системы.

По нашим данным, в 2024 году половина интернет-трафика — это автоматизированный бот-трафик. При этом примерно 18% всего трафика — «хорошие» боты, а около 32% — «плохие». Именно плохими ботами пользуются киберпреступники и те, кто массово собирает информацию в корыстных целях.

Cyber Media: Запросы «плохих» ботов сложнее детектировать, чем, например, DDoS-атаки?

В большинстве случаев DDoS это явная аномалия. Ее проще детектировать, потому что вы сразу замечаете, что трафик на вашем ресурсе выглядит не так, как обычно. Методы атак уже изучены и отличаются лишь нюансами. Поэтому отсечь аномальный трафик можно большим количеством способов, например на основе позитивной модели поведения легитимного пользователя, а при объемных атаках достаточно широких каналов и подготовленной инфраструктуры.

А вот умные боты, которых создатели учат подстраиваться под логику приложения, с первого взгляда не демонстрируют аномалий в поведении. У них нет задачи уронить ресурс, они хотят быть незаметными настолько долго, насколько это возможно. Часто бот-трафик не демонстрирует и резких всплесков активности, он очень хорошо скрывается за пользовательским трафиком – боты используют резидентные прокси в сетях ШПД и мобильных операторов, эмулируют действия реальных пользователей, умеют распознавать речь и проходить CAPTCHA, эмулировать движение мыши. Идентифицировать их становится очень нетривиальной задачей.

Cyber Media: Кто стоит за созданием таких сложных бот-систем?

Во-первых, заказчики – те, кто извлекает финансовую выгоду, во-вторых, владельцы ботнетов – те, кто предоставляет сервис.

Cyber Media: В чем выгода заказчика?

Заказчики используют ботов по разным причинам. Одни собирают с их помощью данные для бизнес-аналитики — например, цены у конкурентов, поведение пользователей и другие важные сведения. Другие — недобросовестные конкуренты — применяют ботов для бронирования товаров, чтобы обычные покупатели не могли их купить. Это нужно, чтобы перетянуть аудиторию от конкурента на свои площадки. Есть и те, кто генерирует фальшивые отзывы, комментарии и другой контент, чтобы привлечь внимание пользователей и увеличить вероятность покупки.

Cyber Media: А кто такие владельцы ботнетов?

Человек (или группа), который разрабатывает сервис для ботнета и управляет им. Среди них, конечно, встречаются и дилетанты, у которых минимум опыта и знаний – таких блокировать проще всего. Но чаще всего мы боремся с профессиональными оппонентами, для которых это уже серьезный бизнес и часть своих услуг они предоставляют вполне себе «в белую». Кто-то из них парсит и не занимается совсем «черной» стороной, кто-то готов продать вам сервис по подбору паролей, смс-бомбингу и скальпингу.

При этом у ботоводов-профессионалов больше ресурсов и компетенций: есть команда разработчиков, налажены процессы, есть мощности, фермы устройств и пул резидентных прокси. По сути — это продукт, у которого существует бизнес-ценность, заказчики, стратегия развития. Только в отличие от обычных проектов эти ребята находятся в серой зоне: формально, с точки зрения закона, они могут ничего не нарушать, но, с другой стороны, генерируют избыточную нагрузку, торгуют собранными данными, спонсируют нелегальные сети резидентных прокси и всяческими другими способами развивают смежные криминальные области киберпространства.

Cyber Media: И именно им противостоят создатели антибот-решений. Кто же ведет в этой борьбе?

Технологический контекст веба таков, что на реверс-инжиниринг защиты можно потратить в разы меньше, чем на ее создание. Это непрерывная борьба меча и щита, порой круглосуточная. Порог входа в бизнес ботов сейчас значительно снизился: нейросети, открытые библиотеки и различные сервисы позволяют новичку стартануть достаточно быстро. Сюда же добавьте специальные сборки управляемых браузеров, трудно отличимые от обычных; огромные пулы IP-адресов резидентных прокси, чтобы избежать детектирования по IP-адресу; автоматизированные фермы мобильных телефонов.

При этом разработчикам антибот-решений нужно с одной стороны погружаться в особенности защищаемого приложения, с другой — погружаться в современные методы и разработки тех, кто пишет ботов. Здесь есть нюанс: антибот-команды не могут так рисковать в экспериментах, как их оппоненты. Для них важно не поломать работающий веб-ресурс: не заблокировать пользователя, не нарушить логику работы сайта – в противном случае бизнес спросит за любое падение выручки.

Cyber Media: Получается, обе стороны постоянно мотивируют друг друга придумывать что-то новое?

Да. Началась эта игра в «кошки-мышки» еще в 2013 году, когда у некоторых известных компаний появились первые JavaScript-челленджи. Они были очень простые по текущим меркам, например, браузеру нужно было сложить пару чисел и прислать результат. Для обхода достаточно было отреверсить простой скрипт, вытащить нужные переменные и подставить нужное значение в запрос.

В 2017 году Google выпустил библиотеку для тестирования Puppeteer. Через какое-то время стало понятно, что с ее помощью можно обходить антибот-системы, потому что библиотека очень похожа на браузер. У Puppeteer есть движок, способный рендерить JS, что фактически позволяет эмулировать полноценный браузер. В 2018 году появился плагин puppeteer-extra-stealth, который умел максимально точно мимикрировать под легитимные запросы.

Короче говоря, это постоянная игра в «кошки-мышки», где иногда не понятно, кто мышка, а кто кошка. Кстати, даже есть проект, который показывает подноготную борьбы ботоводов и защитников, который так и называется – headless-cat-n-mouse.

Cyber Media: Вернемся от истории к сегодняшним реалиям. Какие отрасли чаще всего страдают от ботов?

Больше всего это касается тех, кто работает в сфере электронной коммерции или связан с проведением множества транзакций на сайте. Здесь главное не существовать в иллюзии, что такое может случиться только с крупным ресурсом. Любой сайт или приложение, которое пользуется популярностью и так или иначе приносит прибыль, может быть атаковано ботами.

И, естественно, это происходит в самый неподходящий момент.

Конечно. Вот вам пример конкурентной борьбы. В Черную пятницу или любую другую большую распродажу, маркетплейсы борются за покупателей. На один из маркетплейсов набегают боты, резервируют товар — кладут его в корзину, но не покупают.

Зарезервированный товар становится недоступным для обычных покупателей, поэтому аудитория перетекает на другой маркетплейс, где товар есть в наличии. В итоге первый маркетплейс теряет прибыль. А после завершения ажиотажа товары возвращаются в доступ, только они уже никому не нужны в таком объеме. Это и называется скальпингом.

Cyber Media: Какая еще бывает бот-активность, которая вредит бизнесу?

В основном это различные виды парсинга и скальпинга. Есть еще истории с перебором учеток и смс-бомбингом.

Пример. Парсеры собирают и анализируют данные о товарах и ценах. Далее эта информация используется в аналитике и ценообразовании. Ведь у кого цена ниже, к тому и пойдет покупатель. При этом из-за постоянного парсинга, а также по причине того, что компаний, которые занимаются парсингом большое количество, создается чрезмерная нагрузка на приложение. Зачастую она в разы превышает легитимный трафик. Отсюда и повышенные затраты на инфраструктуру.

Отношение к парсингу у крупного бизнеса двоякое. Все с ним борются, но совсем не против парсить конкурентов. Два прямых конкурента парсят друг друга – обычная история.

Cyber Media: А как работает смс-бомбинг?

Тут огромный простор для «творчества». Можно потратить бюджет конкурента на СМС, атаковать конкретный номер для его отключения, создать информационный шум для скрытия других атак. Там же автоматическая регистрация учеток в атакуемом сервисе. Знаем один случай, когда одному из наших клиентов пришлось платить более 1 млн рублей в месяц на оплату фиктивных СМС-оповещений.

Cyber Media: Почему возникают такие сложности при обнаружении ботов в общем потоке запросов?

Потому что современные боты очень похожи на реальных пользователей. Они умеют имитировать поведение человека на уровне движения мыши, скроллинга, кликов и даже паттернов взаимодействия с интерфейсом. В таких условиях стратегия грубой фильтрации уже неэффективна: если блокировать всё, что выглядит подозрительно, высок риск зацепить легитимных пользователей.

Дополнительную сложность вносит использование злоумышленниками машинного обучения и искусственного интеллекта в разработке ботов. Такие боты могут автоматически менять поведение, подстраиваться под действия настоящих пользователей.
Но также бывают случаи, когда клиент страдает от бот-атак, но по своей специфике они достаточно простые. Для их вычисления не нужно сложного анализа, и так понятно, что это боты. Для таких ситуаций подойдут уже испытанные инструменты — блокировка Tor, VPN-сервисов, дата-центров, IP и ASN с подозрительной историей действий и авторитетом.

Cyber Media: Какие еще сложности возникают при защите от ботов?

Одна из главных, но не лежащих на поверхности – большая часть веб-приложений проектировалась без учета того, что будет подобная нелегитимная активность. Бизнес-логика таких приложений позволяет делать огромное количество запросов без какой-либо аутентификации, без лимитов, без подтверждения оплатой, СМС или дополнительным фактором. Учитывая то, что все заголовки в HTTP можно подделать, а IP-адрес можно взять из сети ШПД или мобильного оператора, обнаружить такой трафик для неподготовленной команды невозможно. А усугубляет все это отсутствие даже простых инструментов для мониторинга активности пользователей и метрик по приложению. Естественно, что защищать такие приложения сложнее.

И даже при наличии правильной бизнес-логики и мониторинга заниматься защитой сложно если нет насмотренности и операционного опыта борьбы с ботами. Специализированному провайдеру защиты проще – например, мы в NGENIX при разметке трафика используем метрики не только с трафика веб-ресурса конкретного клиента, которого защищаем, но и с трафика других наших клиентов. Эти обезличенные данные обогащают весь даталэйк, используемый для детекции ботов. И чем больше данных, тем точнее детектирование.

Cyber Media: Что делать, если хочешь заниматься защитой самостоятельно?

Оценить уровень проблемы и риски. Возможно, что вам подойдет парадигма «не видим проблем, значит защита не нужна». Если увидели проблему, то будьте готовы к нестандартным решениям: рефакторингу приложения, постройке отдельной инфраструктуры и выделению отдельного функционального подразделения в штате. А дальше нужно время и опыт. Держите в уме, что с учетом дефицита компетентных кадров на рынке, нанять и организовать такую команду будет стоить больших денег.

Не существует «волшебной таблетки» — готового решения для эффективной защиты от ботов, способного помочь любому приложению. Как мы говорили ранее, боты постоянно эволюционируют. И те инструменты, которые работают сегодня, не факт, что будут эффективны завтра. Поэтому разработка антибот-решений — это процесс, который никогда не останавливается.

Cyber Media: Тогда другой вопрос: как правильно выбрать провайдера сервиса антибот?

Давайте начнем с не самого очевидного. Выбирать нужно провайдера, который предоставляет защиту от ботов в рамках комплексной защиты веб-ресурса. Невозможно защищать ресурс от нелегитимного трафика в отрыве от классических методов защиты – anti-DDoS и WAF. Попытка построить цепочку из разных провайдеров друг за другом выльется в непредсказуемые проблемы с производительностью и безуспешные попытки найти ответственного за блокировку.

Современный провайдер предоставит защиту от ботов и DDoS, защиту от уязвимостей, ускорение доставки и другие возможности для обеспечения доступности и непрерывности вашего веб-ресурса.

Cyber Media: Поделитесь, как у вас устроена работа детекции и митигации бот-трафика?

В NGENIX существует отдельное подразделение – «Команда исследования и митигации киберугроз». Там ребята изучают ботов, проверяют, какие методы защиты от них реально работают, а что уже устарело. Решения можно сразу протестировать на части реального трафика и понять их эффективность, а после уже полноценно внедрить.

Отдельное направление — исследование существующих инструментов для написания ботов. Есть даже проекты, в которых разобраны некоторые из предыдущих методов нашей защиты. Такое тоже отслеживаем и вносим коррективы, это часть исследовательской работы.

Данных для анализа у нас много, потому что мы пропускаем через себя трафик крупных веб-ресурсов. Это одно из наших существенных преимуществ перед другими провайдерами – мы видим большой объем легитимного трафика постоянно, а это Тбит данных и миллионы RPS. Большинство такой трафик видят только во время атак, а мы 24/7.

При этом мы собираем максимально возможное количество данных: IP-адрес и производные от него — страна и ASN; параметры TCP-соединения; параметры TLS-соединения; на прикладном уровне: заголовки HTTP-запроса; телеметрию с устройства.

Cyber Media: Можете выделить какие-то общие практики в анализе и митигации ботов?

Есть общие подходы, которые используются большинством сервисов. Например, подход к категоризации. Все запросы делятся на категории, далее уже к каждой категории можно применять те или иные контрмеры и дополнительные проверки.

Вот так устроено у нас:

Первая категория — «публичный бот». Это те самые «хорошие» боты, о которых мы говорили в самом начале. К ним относятся боты поисковых систем, они не блокируются. Вторая категория — «точно бот». В нее попадают запросы, которые система определила как исходящие от ботов. Третья категория — «вероятно бот» — запросы от источников, которые с высокой долей вероятности являются ботами, но при этом есть вероятность, что это легитимный пользователь. Возможно, он генерирует аномальное количество запросов, или использует странный браузер, который похож на инструментарий, используемый ботами.

Последняя категория запросов — «вероятно человек». Запросы от источников, которые с высокой долей вероятности используются легитимными пользователями. Категории «точно человек» у нас нет, потому что всегда есть вероятность, что это очень хорошо обученный бот, который мимикрировал под человека.

Cyber Media: Что происходит после классификации?

После классификации появляется доступ к аналитике, где мы или клиент можем видеть всю картину целиком — сколько запросов каждой категории есть на ресурсе.

Публичные боты остаются нетронутыми, ко всем остальным можно применить индивидуальный сценарий. Можно выбирать степень агрессивности дополнительных проверок, что-то можно пропускать, а что-то блокировать, тем самым уменьшая false-positive/false-negative.

Сервис Bot Detection работает в связке с сервисом Edge Logic Rules. Это также достаточно мощный инструмент для борьбы с нелегитимным трафиком. В Edge Logic Rules как раз и можно настроить правила, чтобы перенаправить, пропустить или заблокировать запросы с признаками нежелательного трафика (принадлежность к категории, география, версия TLS, принадлежность vpn/tor/proxy и т.п.).

Cyber Media: Если суммировать — решить проблему ботов можно только комплексно?

Если кратко, то да. Но тут важно понимать, из чего строится этот комплексный подход. Чуть раньше мы с вами говорили, что отдать защиту веб-приложения на аутсорс — это хороший вариант. Это связано с тем, что облачный провайдер работает со множеством клиентов, анализирует большие объемы трафика, чаще сталкивается с кейсами нестандартных атак. Для большинства клиентов такое решение будет эффективнее, чем справляться самостоятельно.

Cyber Media: Возможно ли полностью избавиться от бот-трафика?

Это невозможно в принципе. Пока существует Интернет и люди в нем, пока существует бизнес, всегда будут попытки недобросовестно нажиться на пользователях, их данных и внимании.

Эта игра в «кошки-мышки» постоянно набирает обороты. С каждым витком нужно вкладывать все больше ресурсов, как одной, так и другой стороне. Поэтому нам так важно доводить ситуацию с ботами до такого состояния, чтобы другой стороне было невыгодно продолжать атаку. Оппоненты должны понимать, что выхлоп, например, с парсинга, который они получают, не перекрывает их затраты на реализацию атаки. В этом случае они не будут продолжать. Это и будет для нас победой.

erid: 2SDnjeiqQez

* Реклама, Рекламодатель ООО «ССТ», ИНН 7733546298