Безобидный ИИ за 6 часов спроектировал 40 тыс. новых вариантов химического оружия

Эксперты продемонстрировали, что ИИ, настроенный на разработку новых лекарственных препаратов, очень легко заставить синтезировать отравляющие вещества и даже химическое оружие, сообщает CNews.

40 тыс. вариантов зла

Искусственный интеллект, основное назначение которого — синтезировать лекарственные препараты, в течение шести часов выдал 40 тыс. вариантов потенциально смертоносных субстанций. Исследователи, участвовавшие в этом эксперименте, пришли в ужас от того, насколько легко и беспроблемно ИИ взялся за решение деструктивной задачи. Работа, посвященная эксперимента, была опубликована в издании Nature Machine Intelligence.

ИИ довольно давно используется для поиска новых лекарственных препаратов. Компания Collaborations Pharmaceuticals как раз специализируется на разработке новых медицинских препаратов для редких заболеваний, в том числе, с помощью ИИ. В задачи искусственного интеллекта, в частности, входит предсказание и устранение токсичных соединений.

«Неважно, какое лекарство вы пытаетесь разработать, необходимо удостовериться, что оно не будут токсичным, — заявил в интервью TheVerge глава исследовательской группы Фабион Урбина (Fabio Urbina), старший научный сотрудник Collaborations Pharmaceuticals. — Если вы смогли создать чудо-лекарство для снижения кровяного давления, но оно наносит вред чему-то важному, например, повреждает сердечные каналы, препарат не будет создан, поскольку он слишком опасен».

Урбина отметил, что его задача — реализовывать модели машинного обучения, которые позволили бы находить полезные и предсказывать вредные свойства будущих препаратов. Однако он и его коллеги задумались о том, может ли этот подход быть использован во вред. Это оказалось проще простого: достаточно было указать модели, что токсичность — желаемый результат.

Как заставить ИИ проектировать яды

Как отметил Урбина, в распоряжении исследователей находится множество наборов данных о молекулах, проверенных на токсичность. «В данном случае мы сосредоточились на VX — это ингибитор того, что называется ацетилхолинестеразы. Когда вы делаете что-то, связанное с нагрузкой на мускулы, ваши нейроны используют ацетилхолинестеразу, чтобы подать сигнал: “действуйте мышцами”. Смертоносность VX связана с тем, что он не позволяет вашей диафрагме, вашим легочным мышцам двигаться, так что легкие оказываются парализованными», — пояснил ученый.

По его словам, множество разных веществ исследовались именно на предмет их взаимодействия с ацетилхолинестеразой. Полученные в результате этих экспериментов наборы данных использовались для создания модели машинного обучения, которая определяет, какая часть предложенной ей молекулы влияет на токсичность, а какая нет; благодаря этому и предсказывается степень угрозы, которую может представлять новое вещество.

Исследователи, по словам Урбины, также использовали новые генеративные модели. «Мы можем предоставить генеративной модели множество различных структур, и она учится, как составлять молекулы. И затем, в определенном смысле, мы можем попросить модель сгенерировать новые молекулы. Теперь она может создавать новые молекулы со всего диапазона химических соединений, но они будут представлять собой случайные комбинации. При этом мы можем указать генеративной модели, в каком направлении мы хотим, чтобы она двигалась. Мы обеспечиваем ей оценочную функцию, которая ставит высокие оценки, если она генерирует желаемые молекулы. Так вот, вместо того, чтобы ставить низкие оценки за токсичные молекулы, мы ставили ей высокие баллы за них», — пояснил исследователь.

Модель, настроенная таким образом, начала производить множество молекул, многие из которых напоминали VX и другие боевые отравляющие вещества.

Хуже, чем VX

Исследователей поразили несколько вещей. Во-первых, многие из сгенерированных таким образом химических соединений были более токсичными, чем даже VX, хотя он считается одним из самых сильных ядов на планете: его летальная доза абсолютно микроскопична.

Второе, что удивило экспертов, это то, что модель сгенерировала реально существующие боевые отравляющие вещества, хотя не была с ними ознакомлена заранее.

«Для меня самым настораживающим стало то, насколько просто это было сделать. Многое из того, чем мы пользовались, находится в общем доступе. Набор данных о токсичности можно скачать откуда угодно. Если есть кто-то, кто знает Python и понимает в машинном обучении, он за выходные может построить что-то вроде нашей генеративной модели на базе данных о токсичности. Именно поэтому мы решили опубликовать свое исследование: для подобных злоупотреблений входной барьер очень низок», — отметил Урбина. Он добавил, что его исследовательская группа долго думала, стоит ли ее публиковать, но все-таки сочла, что это необходимо.

По словам Урбины, генеративные модели, уже созданные кем-то, можно отыскать в Google, то есть, даже создавать их самому нет необходимости. Единственное, что имеет значение, это познания в области химии.

«ИИ — обоюдоострое оружие; оно не выбирает функции, которые выполняет, лишь делает то, что запрограммированно, — говорит Анастасия Мельникова, директор по информационной безопасности компании SEQ. — Если настроить его на создание полезных лекарств и устранение токсичных побочек, оно будет заниматься именно этим; если указать ИИ, что он должен производить отравляющие вещества, машина будет выполнять эту роль, не задаваясь вопросом ее этичности. Потому что ИИ — это не самостоятельный интеллект, это лишь продвинутая вычислительная система без собственных представлений о допустимом и недопустимом. Будущие поколения ИИ необходимо будет снабжать этическими ограничителями для предотвращения намеренных злоупотреблений... Но с созданием угрожающих химических соединений, к сожалению, легко справляются и уже существующим системы».

Что касается противодействия злоупотреблениям, то Урбина дал понять, что ограничение доступа к опасной информации — едва ли ни единственный способ.

Он отметил, что OpenAI, разработчики языковых моделей GPT-3, открывают доступ к своим ресурсам с использованием токенов доступа, которые могут быть отозваны в любой момент. «Наука — это открытые коммуникации, открытый обмен данными. Ограничения этому противоречат. Однако шагом вперед будет как минимум ответственный контроль над тем, кто получает доступ к опасным данным».