Группа специалистов из индустрии искусственного интеллекта запустила инициативу под названием Poison Fountain, цель которой - намеренно добавлять ложную и искажённую информацию в источники, которые автоматически собирают веб-краулеры для обучения ИИ-моделей. Эта кампания направлена на создание «защитного щита» против неконтролируемого развития ИИ-систем за счёт ухудшения качества данных, которые эти системы впоследствии используют для обучения.
По задумке авторов Poison Fountain, администраторы сайтов и сторонние участники могут добровольно встраивать на свои ресурсы специально подготовленные фрагменты данных, рассчитанные на то, чтобы нарушить процесс обучения моделей. Такие фрагменты, по мнению инициаторов, должны снижать точность ИИ-выводов и тем самым создать препятствия для «паразитического» сбора данных без учёта интересов авторов оригинального контента.
Организаторы проекта ссылаются на исследования, показывающие, что данные можно «отравить» даже небольшим количеством манипулированных документов, что приводит к значительному ухудшению качества конечной модели. Это отражает растущий интерес к вопросам безопасности и устойчивости ИИ: обучение на загрязнённых данных может стать серьёзной токсической угрозой для корректной работы нейросетей.
Инициативу поддерживают лишь несколько участников, часть из которых якобы работает в крупных технологических компаниях, вовлечённых в разработку ИИ. Организаторы подчеркивают, что их цель не просто нанести вред моделям, а привлечь внимание к уязвимости обучения ИИ и необходимости обсуждения этических и технических аспектов масштабного сбора данных из открытых источников.
Эксперты в области ИИ предупреждают, что подобные подходы, хоть и привлекают внимание к проблемам качества данных, могут нести риски для экосистемы в целом: нечёткие границы между «защитным» и вредоносным искажением данных способны привести к нежелательным побочным эффектам, ухудшая работу легитимных систем и инструментов.