Исследование CodeRabbit показало, что код, сгенерированный с помощью инструментов искусственного интеллекта, по качеству уступает коду, написанному разработчиками-людьми.
В отчёте компании проанализированы 470 pull-запросов на GitHub. Согласно результатам, в запросах, созданных с участием ИИ, в среднем выявлялось 10,83 проблемы, тогда как в коде, написанном без использования ИИ, - 6,45 проблемы. Таким образом, ИИ-генерированный код содержал примерно в 1,7 раза больше ошибок.
Исследование также показало, что в коде, созданном ИИ, чаще встречаются серьёзные и критические дефекты. Речь идёт о логических ошибках, проблемах с качеством и поддерживаемостью, а также уязвимостях, затрагивающих безопасность и производительность. Среди зафиксированных проблем упоминались некорректная работа с паролями, небезопасные обращения к объектам, уязвимости межсайтового скриптинга и ошибки десериализации.
При этом авторы отчёта отмечают, что у ИИ-инструментов есть и положительные стороны. В сгенерированном коде реже встречаются орфографические ошибки и отдельные проблемы, связанные с тестируемостью. Однако этот эффект не компенсирует общего роста числа дефектов.
Авторы исследования делают вывод, что использование ИИ в разработке требует обязательного ручного контроля. Без полноценного ревью и тестирования автоматическая генерация кода может увеличивать объём ошибок и повышать риски попадания дефектов и уязвимостей в рабочие системы.