Группа специалистов из индустрии искусственного интеллекта запустила инициативу под названием Poison Fountain, цель которой - намеренно добавлять ложную и искажённую информацию в источники, которые автоматически собирают веб-краулеры для обучения ИИ-моделей. Эта кампания направлена на создание «защитного щита» против неконтролируемого развития ИИ-систем за счёт ухудшения качества данных, которые эти системы впоследствии используют для обучения.
По задумке авторов Poison Fountain, администраторы сайтов и сторонние участники могут добровольно встраивать на свои ресурсы специально подготовленные фрагменты данных, рассчитанные на то, чтобы нарушить процесс обучения моделей. Такие фрагменты, по мнению инициаторов, должны снижать точность ИИ-выводов и тем самым создать препятствия для «паразитического» сбора данных без учёта интересов авторов оригинального контента.
Организаторы проекта ссылаются на исследования, показывающие, что данные можно «отравить» даже небольшим количеством манипулированных документов, что приводит к значительному ухудшению качества конечной модели. Это отражает растущий интерес к вопросам безопасности и устойчивости ИИ: обучение на загрязнённых данных может стать серьёзной токсической угрозой для корректной работы нейросетей.
Инициативу поддерживают лишь несколько участников, часть из которых якобы работает в крупных технологических компаниях, вовлечённых в разработку ИИ. Организаторы подчеркивают, что их цель не просто нанести вред моделям, а привлечь внимание к уязвимости обучения ИИ и необходимости обсуждения этических и технических аспектов масштабного сбора данных из открытых источников.
Эксперты в области ИИ предупреждают, что подобные подходы, хоть и привлекают внимание к проблемам качества данных, могут нести риски для экосистемы в целом: нечёткие границы между «защитным» и вредоносным искажением данных способны привести к нежелательным побочным эффектам, ухудшая работу легитимных систем и инструментов.
ХXII конференция разработчиков свободного программного обеспечения прошла 2-4 октября в Переславле-Залесском.
Редакция «Кибер Медиа» собрала главные события уходящей недели.
Компании «Газинформсервис» Security Vision проведут совместный вебинар, в рамках которого эксперты расскажут о возможностях использования сертифицированной отечественной СУБД «Ятоба» в составе решений Security Vision.
Исследователи раскрыли масштабную шпионскую кампанию группировки Silent Lynx, направленную против государственных организаций России и других стран СНГ.
Великобритания раскрыла новые подробности масштабной кибератаки на Агентство юридической помощи (Legal Aid Agency, LAA), произошедшей в апреле 2025 года.
Мошенников в мессенджерах и социальных сетях можно распознать по особенностям оформления аккаунта, манере общения и характеру просьб.
У специалистов и компаний, которые меняют подход к кибербезопасности, появилось время, чтобы заявить о своих достижениях.
Медицинские сервисы центра перенесены на новый отказоустойчивый кластер, резервное копирование работает в едином контуре с виртуализацией.
Семь из десяти успешных целенаправленных атак на малый и средний бизнес нарушили основную деятельности бизнеса.
Российские власти предложили смягчить требования к совместимости отечественного программного обеспечения с операционными системами.
Мы используем файлы cookie и рекомендательные технологии. Пользуясь сайтом, вы соглашаетесь с Политикой обработки персональных данных