Эксперт Станислав Ежов рассказал, как избавить ИИ от «галлюцинаций»

Эксперт Станислав Ежов рассказал, как избавить ИИ от «галлюцинаций»

Исследователи выяснили, что современные системы искусственного интеллекта испытывают серьезные трудности при попытке обосновать свои выводы в логических задачах. Эксперт Станислав Ежов рассказал, как избавить ИИ от «галлюцинаций».

Несмотря на впечатляющие способности нейросетей находить правильные ответы, их объяснения часто оказываются бессвязными или не соответствующими действительности. Ученые провели серию тестов, чтобы понять, насколько можно доверять той аргументации, которую выдает машина.

В ходе экспериментов выяснилось, что большие языковые модели зачастую приходят к верному результату интуитивно или используя скрытые закономерности в данных, но при этом генерируют объяснение, которое звучит убедительно, но не имеет ничего общего с реальным путем решения. Это явление эксперты называют «галлюцинацией рассуждений». Получается, что пользователь видит логичную цепочку шагов, но на самом деле алгоритм действовал совершенно иначе. Такая непрозрачность создает серьезные риски при использовании технологий в ответственных сферах.

«Проблема «галлюцинаций» решается не магией, а архитектурой. Например, в нашем ИИ-решении «Тессеракт» мы внедрили жесткий RAG: модель не фантазирует, а работает строго по верифицированным данным внутри закрытого контура. Это сводит риск ошибок к статпогрешности. Доверенный ИИ обязан быть интерпретируемым и безопасным активом, а не просто «красивым текстом», — говорит Станислав Ежов, директор по ИИ «Группы Астра».

похожие материалы

Стрелочка
Стрелочка
Мошенники начали подделывать голоса следователей с помощью ИИ
Мошенники начали подделывать голоса следователей с помощью ИИ

Следственное управление в Калининградской области предупредило о новой схеме дистанционных мошенничеств, в которой злоумышленники используют технологии искусственного интеллекта для подделки голосов и изображений публичных сотрудников Следственного комитета.

ViPNet Prime получил сертификацию ФСБ России
ViPNet Prime получил сертификацию ФСБ России

Компания «ИнфоТеКС» информирует о получении сертификата ФСБ России на средство криптографической защиты информации ViPNet Prime Key Center из состава системы централизованного управления продуктами и решениями ИнфоТеКС ViPNet Prime.

В Telegram начали использовать нестандартные proxy-ссылки для обхода блокировок и автоматизации
В Telegram начали использовать нестандартные proxy-ссылки для обхода блокировок и автоматизации

В Telegram появились сообщения о распространении нового типа deep-ссылок proxy, которые позволяют пользователям и скриптам обходить ограничения доступа к мессенджеру и автоматически подключаться через прокси-серверы.

В новогодние праздники киберпреступники усилили атаки на ключевые отрасли России
В новогодние праздники киберпреступники усилили атаки на ключевые отрасли России

Компания RED Security, открытая экосистема ИБ-решений и экспертизы для комплексной защиты бизнеса, зафиксировала резкое увеличение доли высококритичных кибератак в период в период новогодних праздников.