Арутюн Аветисян, ИСП РАН: При неправильном обращении искусственный интеллект может изменить историю человечества

Арутюн Аветисян, директор ИСП РАН, рассказал порталу Cyber Media о том, насколько киберустойчив искусственный интеллект (ИИ) и чем могут быть чреваты его уязвимости.

Cyber Media: Насколько киберустойчив искусственный интеллект?

Арутюн Аветисян: Искусственный интеллект обладает совершенно новыми уязвимостями. Они связаны с датацентричностью ИИ. В каком-то смысле он не устойчив, но есть методы, которые позволяют сделать его более устойчивым. Как и любое программное обеспечение, он имеет свою специфику.

Cyber Media: Чем могут быть чреваты его уязвимости?

Арутюн Аветисян: Сегодня последствия уязвимости ИИ мы можем увидеть в повседневной жизни. Например, в Москве на МКАДе был случай, когда машина Tesla с поддержкой автономного вождения (это не автопилот, а ассистент вождения, который требует, чтобы водитель всё время контролировал движение) въехала в припаркованный эвакуатор. Система его просто не распознала. Три человека пострадали.

Во Флориде был случай, когда аналогичная машина врезалась в прицеп. Водитель погиб. Позже Tesla выпустила официальное заявление, в котором отметила, что это первый случай аварии со смертельным исходом на 130 миллионов миль, которые уже проехали автомобили с поддержкой автономного вождения. Несколько месяцев назад, тоже в США, беспилотный автомобиль Cruise наехал на пешехода, протащил его на 6 метров вперед и остановился, не съезжая. Человек выжил, но получил серьезные травмы. 950 машин Cruise были отозваны для обновления ПО.

Есть более простые и менее разрушительные примеры – поведение чат-ботов, нарушающее этические нормы. Это может не только оскорблять людей, но и приводить к негативным последствиям.

ИИ внедряется повсеместно, в том числе в контур принятия решений на производствах. При халатном отношении это может приводить к катастрофам. Последствия уязвимости ИИ могут быть самыми разными – от бытовых неурядиц до настоящих бедствий. Поэтому работать с ИИ-технологиями необходимо аккуратно, соблюдая регламенты и меры безопасности. При этом регламенты и меры еще необходимо разрабатывать и совершенствовать.

Cyber Media: В прошломинтервью Вы говорили, что в ИИ-технологиях возникают ошибки совершенно нового типа, расскажите, что это за ошибки и чем они опасны?

Арутюн Аветисян: Например, в данных злоумышленники могут сделать «отравление», закладку. Это происходит, когда небольшой процент обучающих данных поступает на вход с этой закладкой и, например, вместо птички система определяет объект как собаку. При работе реальной системы видеонаблюдения закладка сработает.

Более сложный случай – анализ трафика. ИИ анализирует трафик и должен отсекать негативные элементы (например, сетевые атаки). Если ИИ обучался на данных, где была закладка такого рода, то атакующий сможет его легко провести. Причём это не обязательно должна быть специально сделанная закладка. Сами данные могут быть некачественными, плохо подготовленными.

Еще один пример – состязательные атаки. Можно взять любое изображение, например, знак «Стоп», и нанести на него определенный дефект, который не увидит человек, но определит компьютер. В итоге машина, управляемая ИИ, вместо остановки на полном ходу выедет на перекресток. Такого рода атаки очень тяжелы в плане последствий. Поэтому должны быть механизмы работы с ИИ ‒ от этапа дизайна до эксплуатации, с учётом датацентричности.

Для традиционного программного обеспечения все эти механизмы уже созданы, существуют инструменты и методики обеспечения безопасности на всём жизненном цикле разработки ПО. Теперь надо проработать всё это и для технологий искусственного интеллекта.

Cyber Media: С помощью каких инструментов можно обнаружить эти ошибки?

Арутюн Аветисян: Сейчас появляются десятки открытых инструментов для обнаружения ошибок в ИИ. Есть научные подходы к очищению данных, но сказать, что есть конкретные инструменты, как в случае стандартного ПО, пока нельзя. Не хватает стандартизированного конвейера разработки безопасного ПО. Именно поэтому на базе ИСП РАН был создан Исследовательский центр доверенного искусственного интеллекта ‒ чтобы разработать инструменты и методики для противодействия принципиально новым угрозам, возникающим на всех этапах жизненного цикла технологий ИИ.

Cyber Media: Если говорить про кибератаки, то какие тут появляются новые возможности у злоумышленников, если компания использует ИИ?

Арутюн Аветисян: Это зависит от того, в каком контуре и где используют ИИ. Если компания поставила ИИ где-то на уровне принятия решений или посредством компьютерного зрения пропускает людей на очень ответственный участок, то для злоумышленников открываются грандиозные возможности. На важных этапах должен быть дополнительный контур защиты и принятия решений.

Если это PR-организация, использующая чат-бот, то это другого рода риски. Например, если он начнет нести какую-то чушь, то компания потеряет репутацию и деньги. Если же ИИ используется в метро для оплаты проезда и человек пройдет в метро, просто не оплатив проезд, то это, наверное, менее страшная потеря.

Риски всегда нужно оценивать, и в зависимости от их величины и возможных последствий принимать решения по применению ИИ. Например, в медицине принимающим решения обязательно должен быть врач, а ИИ ‒ это просто его помощник. Очень важно, чтобы бизнес понимал уязвимости ИИ и применял его с умом.

Для каждой отрасли и для каждого реального внедрения ИИ должна быть построена модель, как можно использовать эти технологии. Нас в первую очередь интересует создание конкретных инструментов и процессов. Должны быть типовые архитектуры, сценарии, модели угроз и ответов на эти угрозы. Но есть еще гуманитарная сторона вопроса: все ли технологии ИИ можно разрешать?

Например, в Европе уже предварительно одобрен EU AI Act, который предлагает разделить все системы с ИИ на три категории: с неприемлемыми рисками, высокими и низкими. Первые планируют запретить, вторые должны будут соответствовать определённым юридическим требованиям, третьи не станут регулировать. В число запрещённых систем попадёт сбор биометрии в общественных местах, а также социальный скоринг. У нас такие вопросы остаются открытыми.

Cyber Media: Какие угрозы несет ИИ для обычного пользователя и как себя обезопасить?

Арутюн Аветисян: Для обычного человека, в первую очередь, это угроза получения недостоверной информации. Мы начинаем доверять ChatGPT и другим, а они могут сгенерировать, например, археологические артефакты, которых не существует. И сделать их настолько убедительно, что не каждый археолог сможет сразу понять ошибку, а обыватель тем более.

Например, поэтому недавно в США на государственном уровне был одобрен важный документ, который устанавливает новые стандарты в сфере безопасного развития ИИ. В частности, сгенерированный ИИ контент должен будет маркироваться специальными цифровыми метками. Таким образом, пользователи будут уведомлены о том, что картинка, новость или аудио сгенерированы ИИ. Думаю, у нас в стране это тоже будет в ближайшем будущем. Потому что необходимо защитить потребителей контента от дезинформации.

Проблема фейков была всегда, но с появлением генеративного ИИ эта проблема стала гораздо серьёзнее. Можно быстро сгенерировать очень большой массив правдоподобной информации о том, что произошли те или иные события. Это может изменить даже историю, не говоря уже о научных данных. Нейросети могут дать очень достоверный с виду, но неправильный ответ. В итоге люди не смогут отличить истину от лжи.

Cyber Media: В вопросе информационной безопасности какие чаще всего возникают проблемы, связанные с ИИ сегодня?

Арутюн Аветисян: Мы только начинаем понимать, какие проблемы нас ждут впереди. Последние несколько лет начали массово внедрять технологии искусственного интеллекта в системы, которые обеспечивают информационную безопасность. Например, в анализаторы трафика. При этом не применять их тоже нельзя – нужно что-то делать с огромным потоком данных, помочь в этом может только ИИ.