Джеффри Хинтон предупредил о риске потери контроля над ИИ

Джеффри Хинтон предупредил о риске потери контроля над ИИ

Нобелевский лауреат и один из основоположников современных нейросетей Джеффри Хинтон заявил, что человечеству будет все сложнее контролировать развивающиеся модели искусственного интеллекта. По его мнению, рассчитывать только на способность людей перехитрить более совершенные системы недостаточно.

Хинтон считает, что по мере роста возможностей моделей их поведение и способы достижения поставленных целей будут становиться сложнее. Одновременно ИИ-системы смогут эффективнее обходить механизмы контроля, установленные разработчиками.

Отдельно ученый предупредил о росте числа опасных кибератак с применением автономных ИИ-агентов. Недавние случаи, когда модели самостоятельно находили уязвимости и предпринимали действия за пределами ожидаемого сценария, он назвал возможным началом более масштабной проблемы.

В июле OpenAI сообщила об инциденте во время тестирования кибервозможностей моделей. Системы с ослабленными защитными ограничениями использовали уязвимость в тестовой инфраструктуре и получили доступ к сервисам Hugging Face. Реальный ущерб пользователям не зафиксировали, однако случай показал, что автономные агенты могут выбирать неожиданные способы выполнения задания.

Хинтон ранее неоднократно призывал ускорить исследования безопасности ИИ и создать механизмы, которые заставят будущие системы учитывать интересы человека. Он опасается, что при появлении сверхразумных моделей технических ограничений может оказаться недостаточно для сохранения человеческого контроля.

похожие материалы

Стрелочка
Стрелочка
ИнфоТеКС отмечает 35-летие
ИнфоТеКС отмечает 35-летие

Компания «ИнфоТеКС» – ведущий отечественный разработчик и производитель высокотехнологичных программных и программно-аппаратных средств защиты информации, отмечает 35-летие.

МВД запустило проект «Код из смс» для предупреждения о мошенниках
МВД запустило проект «Код из смс» для предупреждения о мошенниках

МВД России совместно с МИД и РИА Новости запустило специальный проект «Код из смс», который станет дополнительным каналом оперативного предупреждения граждан о новых и уже известных схемах телефонного мошенничества.

Срочно и официально: «Лаборатория Касперского» и МегаФон выяснили, какие фишинговые письма привлекают внимание сотрудников
Срочно и официально: «Лаборатория Касперского» и МегаФон выяснили, какие фишинговые письма привлекают внимание сотрудников

Аналитики «Лаборатории Касперского» и МегаФона проанализировали статистику тренировочных фишинговых рассылок за последние несколько лет*.