Позовите администратора: как работает и зачем нужна модерация контента

Социальные сети стали неотъемлемой частью нашей жизни, как личной, так и рабочей. Здесь, каждый пользователь может выражать свои взгляды, делиться мнением, создавать уникальный контент и делать его общедоступным. Такие возможности создают серьезные проблемы и вызовы для кибербезопасности. В статье рассмотрим, зачем нужна модерация, как контролировать и управлять все возрастающим объемом контента в социальных сетях и что нас ждет в будущем.

Основные задачи модерации

Модерация включает в себя мониторинг, контроль и управление контентом, который создают пользователи. Модерация позволяет сделать киберпространство комфортнее и безопаснее. Например, правила публикации популярной социальной сети ВКонтакте запрещают публиковать, хранить и использовать контент, который содержит угрозы и призывы к насилию, нарушает закон, например, неприкосновенность частной жизни или права несовершеннолетних, содержит порнографию или сцены жестокого обращения с животными, пропаганду наркотиков, потенциально может привести к совершению противоправных действий и т.д. Бóльшая часть правил продиктована нормами законодательства. Кроме того, отдельные и более строгие требования выдвигаются для рекламных объявлений: они проверяются на предмет соответствия законодательству РФ и правилам размещения рекламных объявлений во ВКонтакте.

Как правило, модерация в социальных сетях выполняет сразу несколько задач:

• Защищает от нежелательного контента;
• Предотвращает мошенничество и кибербуллинг;
• Помогает поддерживать репутацию платформы;
• Обеспечивает соблюдение законодательства.

Ограничения и правила поведения каждая интернет-площадка устанавливает сама. Пользователь должен прочитать и принять эти правила при регистрации на платформе, а затем соблюдать. Иначе администраторы вправе применить временные или постоянные санкции, вплоть до блокировки и удаления аккаунта.

Как работает модерация

Модерация контента делится на автоматическую и ручную. Автоматическую модерацию производят специальные алгоритмы: они проверяют весь контент на соблюдение правил платформы. Если в публикации обнаружено нарушение, то алгоритмы могут удалить контент, предупредить пользователя о нарушении или заблокировать его.

Алгоритмы для модерации у разных платформ различаются, например, YouTube активно использует автоматизированные системы для удаления оскорбительных комментариев.

Кроме того, для модерации контента может быть использован ИИ, чтобы сократить расходы на модерацию. В 2023 году OpenAI объявила о возможности использования ChatGPT для модерации социальных сетей.

Максим Грязев

Ведущий специалист отдела анализа и оценки цифровых угроз Infosecurity (ГК Softline)

Кроме того, мошенники часто создают множество фейковых аккаунтов и публикуют однотипный контент с разных учетных записей. Это делает процесс модерации более сложным, так как, даже если один аккаунт заблокирован, другие продолжают распространять информацию.

Однако алгоритмы обнаружения и распознавания запрещенного контента работают неидеально. Мошенники и простые пользователи находят способы обходить ограничения.

Максим Грязев

Ведущий специалист отдела анализа и оценки цифровых угроз Infosecurity (ГК Softline)

Киберпреступники используют различные тактики для обхода модерации контента. Во-первых, они могут прибегать к изменению букв или символов в тексте, заменяя их визуально схожими, например, заменяя букву «б» на цифру «6». Этот метод позволяет обойти автоматические фильтры, настроенные на обнаружение определенных слов или фраз.

Второй распространенный способ — использование изображений вместо текста. Преступники размещают на изображениях необходимую информацию, что затрудняет автоматическое обнаружение нарушений, так как анализ изображений требует более сложных технологий, включая компьютерное зрение и распознавание текста.

Ручная модерация дополняет работу машин. Пользователи сами помогают модерировать контент: любой пользователь социальных сетей, может пожаловаться на сомнительную публикацию. Если алгоритмы не распознали оскорбление или порнографию, то решение о блокировке может принять живой человек — модератор. Для контроля и управления контентом площадка может привлекать волонтеров, например, как это делает Reddit, или нанимать сотрудников за деньги, как это делает платформа VC.RU.

Виды модерации

В зависимости от правил площадки и степени угрозы модераторы могут применять жесткую или мягкую модерацию.

Жесткая модерация подразумевает немедленное удаление контента. Помимо этого, аккаунт человека, опубликовавшего запрещенную информацию и совершившего противоправные действия могут заблокировать. Могут быть и иные причины блокировки, например, видеохостинг YouTube заблокировал канал певца Shaman, который попал в санкционный список Евросоюза.

При мягкой модерации площадка не удаляет контент, но информирует пользователей о потенциальных проблемах. Например, когда TikTok считает, что контент вводит в заблуждение, пользователь видит надпись о возможной недостоверности информации. Так, Twitter, заблокированный на территории РФ, использовал методы мягкой модерации для борьбы с дезинформацией во время президентских выборов в США: платформа дополняла посты на политические темы предупреждающими надписями.

Перспективы

Одним из главных вызовов является необходимость постоянного обновления алгоритмов модерации, которые должны быть способны эффективно обнаруживать и блокировать неприемлемый контент, такой как фейковые новости, дезинформация и кибербуллинг. 

Марина Пробетс

Интернет-аналитик, эксперт компании «Газинформсервис»

В перспективах развития стоит повышение точности AI/ML алгоритмов. Обучение на более крупных и разнообразных наборах данных, более глубокое понимание языка и контекста. Либо создание систем, где модераторы-люди сотрудничают с алгоритмами AI/ML для более точной модерации. В моем представлении, в будущем, модерация контента будет опираться на более сложные алгоритмы и методы AI/ML, чтобы более эффективно обнаруживать нарушения и обеспечивать более безопасную и здоровую среду в социальных сетях.

Говоря про модерацию социальных сетей, нужно помнить о сохранении баланса между свободой слова и безопасностью пользователей. С одной стороны, важно обеспечить свободу выражения мнений и доступ к разнообразной информации, с другой — защитить пользователей от вредоносного контента и нарушений приватности. Эффективное решение этой дилеммы требует разработки и внедрения инновационных подходов к модерации, которые будут учитывать интересы всех сторон и способствовать формированию безопасного и открытого информационного пространства.