ElevenLabs банит людей с потерей голоса за «неправильные слова»

Компания ElevenLabs, которая предоставляет инновационные решения для людей с нарушениями речи, столкнулась с неожиданной проблемой: пациенты начали жаловаться на блокировку аккаунтов за использование обычных выражений. Всё началось с инцидента с Джойс Эссер из Великобритании, которая, используя клонированный голос, в шутку написала: «Давай, дорогой, шевели задницей!!» — и вскоре получила предупреждение о нарушении правил за использование ненормативной лексики. На следующий день её аккаунт был заблокирован.

Женщина, страдающая от болезни мотонейронов, которой теперь трудно общаться без ИИ, была шокирована. Она не понимала, что именно в её сообщении могло быть сочтено ненормативным, ведь она всего лишь пошутила. Связавшись с компанией, она получила извинения и восстановление аккаунта, но так и не выяснила, почему её шутка стала причиной бана.

В компании заявили, что в правилах использования нет упоминания о запрете на ругательства, однако, по словам представителя, такое выражение могло быть интерпретировано как угроза. В то же время другие пользователи, включая Жюля Родригеса, часто используют ругательства, и с ними ничего не происходит. Это поднимает вопросы о том, как именно работает система модерации и почему одни выражения блокируются, а другие — нет.

Эта ситуация привела к обсуждению прав пациентов с БАС (боковым амиотрофическим склерозом), которым, как отметил Ричард Кейв из Ассоциации БАС, должно быть позволено выражать все свои мысли, в том числе использовать ругательства, учитывая их сложную ситуацию.

Компания, которая недавно представила супербыструю модель синтеза речи, заявила, что теперь старается не ограничивать ненормативную лексику. Однако инциденты, подобные с Джойс, всё же ставят под сомнение, насколько гибкой и справедливой является политика модерации, особенно когда речь идет о людях, борющихся с тяжелыми заболеваниями.