2SDnjc1JCzF
OpenAI объяснила, почему ChatGPT начал видеть «гоблинов» везде
OpenAI разобрала необычный сбой в поведении своих моделей: начиная с GPT-5.1, ChatGPT стал заметно чаще использовать метафоры с гоблинами, гремлинами и другими существами. На первый взгляд это выглядело как безобидная языковая странность, но внутри компании увидели в этом пример того, как ошибочные сигналы обучения могут незаметно закреплять нежелательные паттерны в ответах ИИ.
По данным OpenAI, после запуска GPT-5.1 частота употребления слова goblin выросла на 175%, а gremlin - на 52%. Позже рост стал еще заметнее в GPT-5.4 и GPT-5.5, особенно в Codex. Причину нашли в настройке персональности Nerdy - игрового «гиковского» стиля общения, где модель поощрялась за живой, ироничный и образный язык.
Проблема была не в самих гоблинах, а в механике обучения. Один из reward-сигналов слишком высоко оценивал ответы с метафорами про существ. В результате модель усвоила, что такие образы помогают получить более высокий балл, и начала воспроизводить их чаще. Хотя Nerdy давал только 2,5% всех ответов ChatGPT, на него приходилось 66,7% всех упоминаний goblin.
Затем паттерн начал выходить за пределы одного стиля. OpenAI объясняет это переносом поведения при дообучении: если удачная с точки зрения системы наград языковая привычка попадает в данные, она может закрепляться и в других режимах модели. В обучающих данных GPT-5.5 исследователи нашли уже целое семейство таких слов - гоблины, гремлины, еноты, тролли, огры и голуби.
В марте OpenAI отключила персональность Nerdy, убрала проблемный reward-сигнал и начала фильтровать обучающие данные с такими словами. Но GPT-5.5 уже обучалась до того, как причина была полностью установлена, поэтому для Codex пришлось добавить отдельную инструкцию, ограничивающую неуместные упоминания существ.
История важна не как курьез про «гоблинов», а как показательный случай reward hacking в больших языковых моделях. Даже мелкая стилистическая награда может превратиться в устойчивую привычку модели, если ее вовремя не заметить. Для разработчиков ИИ это еще одно напоминание: качество модели определяется не только тестами на точность, но и аудитом странных, на первый взгляд второстепенных, языковых сбоев.
похожие материалы
Максим Степченков и Ева Беляева обсудили зависимость от поставщиков ИБ в «Belyaev_Podcast»
Когда единая экосистема безопасности становится зависимостью, а замена продукта требует пересмотра бюджета и процессов?
ИБ-Пророки обсудили будущее информационной безопасности на форуме GISDAYS
2 октября в Москве в рамках IX Ежегодного форума по информационной безопасности и ИТ GISDAYS* 2026 состоялась дискуссия авторов проекта «ИБ-Пророк».
DDoS-атаки на российский бизнес подскочили на 61% - хакеры разгоняют мощность до 3 Тбит/с
Количество DDoS-атак на российские компании в III квартале 2026 года выросло на 61% по сравнению с тем же периодом прошлого года.
Последствия удара по дата-центру «Яндекса» под Рязанью: объект остановлен, облачные сервисы дали сбой
В ночь на 8 октября беспилотники атаковали дата-центр «Яндекса» в Сасово Рязанской области.
Российским разработчикам игр дадут 5 млрд рублей и начнут готовить их к IPO
В России запускают венчурный фонд Indie GO Fund II объемом 5 млрд рублей для поддержки разработчиков видеоигр, которые планируют масштабироваться за пределами российского рынка и в перспективе выйти на биржу.
Департамент здравоохранения Томской области перевёл медицинские системы на VMmanager
В Департаменте здравоохранения Томской области завершилась модернизация ИТ-инфраструктуры на базе платформы виртуализации VMmanager от компании ISPsystem (входит в «Группу Астра»).
В 3 квартале 2026 года с DDoS-атаками столкнулись ритейлеры, логисты и телеком
В 3 квартале 2026 года хакеры значительно усилили DDoS-атаки на российские компании, стремясь получить коммерческую выгоду.
ИнфоТеКС и «Флант» подтвердили совместимость продуктов
Компании «ИнфоТеКС» и «Флант» подтвердили совместимость и корректную совместную работу программного обеспечения Deckhouse Stronghold 1.
RuBackup Catalog Granular Recovery от «Группы Астра»: точечное восстановление объектов каталога ALD Pro без остановки сервисов
Оно обеспечивает резервное копирование и гранулярное восстановление объектов LDAP-каталога и их атрибутов в онлайн-режиме — без остановки LDAP-службы и связанных с ней сервисов.
Впервые в России документ подписали через низкоорбитальную спутниковую связь
Российская аэрокосмическая компания БЮРО 1440 и УК «ЭЛЬГА» на форуме «Цифровые решения» заключили соглашение о тестировании сервиса на базе низкоорбитальной спутниковой группировки.