Инсайдеры ИИ призывают «отравлять» данные, на которых обучаются модели

Инсайдеры ИИ призывают «отравлять» данные, на которых обучаются модели

Группа специалистов из индустрии искусственного интеллекта запустила инициативу под названием Poison Fountain, цель которой - намеренно добавлять ложную и искажённую информацию в источники, которые автоматически собирают веб-краулеры для обучения ИИ-моделей. Эта кампания направлена на создание «защитного щита» против неконтролируемого развития ИИ-систем за счёт ухудшения качества данных, которые эти системы впоследствии используют для обучения.

По задумке авторов Poison Fountain, администраторы сайтов и сторонние участники могут добровольно встраивать на свои ресурсы специально подготовленные фрагменты данных, рассчитанные на то, чтобы нарушить процесс обучения моделей. Такие фрагменты, по мнению инициаторов, должны снижать точность ИИ-выводов и тем самым создать препятствия для «паразитического» сбора данных без учёта интересов авторов оригинального контента.

Организаторы проекта ссылаются на исследования, показывающие, что данные можно «отравить» даже небольшим количеством манипулированных документов, что приводит к значительному ухудшению качества конечной модели. Это отражает растущий интерес к вопросам безопасности и устойчивости ИИ: обучение на загрязнённых данных может стать серьёзной токсической угрозой для корректной работы нейросетей.

Инициативу поддерживают лишь несколько участников, часть из которых якобы работает в крупных технологических компаниях, вовлечённых в разработку ИИ. Организаторы подчеркивают, что их цель не просто нанести вред моделям, а привлечь внимание к уязвимости обучения ИИ и необходимости обсуждения этических и технических аспектов масштабного сбора данных из открытых источников.

Эксперты в области ИИ предупреждают, что подобные подходы, хоть и привлекают внимание к проблемам качества данных, могут нести риски для экосистемы в целом: нечёткие границы между «защитным» и вредоносным искажением данных способны привести к нежелательным побочным эффектам, ухудшая работу легитимных систем и инструментов.

РЕКОМЕНДУЕМ

похожие материалы

Стрелочка
Стрелочка
Хакеры начали распространять фейковые VPN через поисковики: новая кампания крадет логины и пароли пользователей
Хакеры начали распространять фейковые VPN через поисковики: новая кампания крадет логины и пароли пользователей

Эксперты по кибербезопасности из Microsoft сообщили о новой вредоносной кампании, в рамках которой злоумышленники распространяют поддельные VPN-клиенты через поисковую выдачу.

Экстренный патч Chrome закрыл две 0-day уязвимости: обход песочницы и крах Skia уже используют в атаках
Экстренный патч Chrome закрыл две 0-day уязвимости: обход песочницы и крах Skia уже используют в атаках

Google выпустила внеплановое обновление стабильной ветки Chrome, закрывающее две критические уязвимости, которые, по данным компании, уже эксплуатируются в реальных кибератаках.

Анализ рынка информационной безопасности в России: темпы прироста новых игроков снижаются, число ликвидированных компаний растет
Анализ рынка информационной безопасности в России: темпы прироста новых игроков снижаются, число ликвидированных компаний растет

Аналитики «Контур Фокуса» и «Контур Эгиды» представили исследование российского рынка информационной безопасности, охватывающее период с 1 марта 2024 по 1 марта 2026 года.