Отравление данных ИИ — новая угроза кибербезопасности

В течение последнего десятилетия искусственный интеллект использовался для распознавания лиц, оценки кредитоспособности и предсказания погоды. В то же время участились случаи изощренных взломов с использованием более скрытных методов. Сочетание ИИ и кибербезопасности было неизбежным, поскольку обе области искали лучшие инструменты и новые способы использования своих технологий. Но есть серьезная проблема, которая угрожает подорвать эти усилия и может позволить злоумышленникам обойти цифровую защиту незамеченными, сообщает SecurityLab.

Как сообщило издание The Washington Post, опасность заключается в отравлении данных. Манипулирование информацией, используемой для обучения систем, предлагает практически неотслеживаемый метод обхода защиты на базе ИИ. Многие компании могут быть не готовы справиться с растущими рисками. Ожидается, что к 2028 году мировой рынок кибербезопасности ИИ увеличиться в три раза до $35 млрд. Поставщикам услуг безопасности и их клиентам, возможно, придется комбинировать несколько стратегий для обеспечения должного уровня кибербезопасности.

Имея огромное количество данных, компьютеры можно научить правильно классифицировать информацию. Тот же подход используется в кибербезопасности. Для поимки вредоносного ПО компании загружают в свои системы данные и позволяют ИИ учиться самостоятельно. Компьютеры, вооруженные многочисленными примерами как хорошего, так и плохого кода, могут научиться выявлять вредоносные программы. Системам машинного обучения требуется огромное количество правильно помеченных образцов для точного выявления угроз. Даже крупнейшие ИБ-компании могут сопоставлять и классифицировать лишь ограниченное количество примеров вредоносного ПО, поэтому у них нет иного выбора, кроме как дополнять свои обучающие данные. Некоторые данные могут быть краудсорсинговыми.

Тщательно создавая вредоносный код, помечая его образцы как хорошие, а затем добавляя их к большому пакету данных, хакер может обмануть нейронную сеть и выдать опасный код за безвредный. Поймать такие образцы кода практически невозможно. Код бэкдора может полностью обойти защитные механизмы, отравив менее 0,7% данных, отправляемых в систему машинного обучения. Таким образом система машинного обучения может стать уязвимой, даже если она использует лишь небольшой объем непроверенных данных с открытым исходным кодом.

Один из способов предотвратить отравление данных — регулярно проверять точность всех меток в обучающих данных ученым, разрабатывающим модели искусственного интеллекта. Например, исследователи из компании OpenAI LLP в ходе анализа наборов данных для нового инструмента для создания изображений регулярно пропускали данные через специальные фильтры, чтобы обеспечить точность каждой метки.