ChatGPT занадто часто говорить про гоблінів – OpenAI коригує інструкції моделі після виявлення аномальної поведінки – технологічні новини

Компанія пояснила незвичну поведінку моделі GPT-5.4, яка також вплинула на нову версію.

OpenAI обмежила згадки про гоблінів та подібних істот у відповідях чат-бота ChatGPT. Це сталося через різкі зміни в мовленні моделі після оновлення до GPT-5.4. Згадки про вигаданих істот зросли майже на 4000% у певних режимах, повідомляє The Wall Street Journal.

Згідно з даними OpenAI, у версії GPT-5.4 згадки про гоблінів збільшилися на 3881% у режимі “ботанічної” особистості в порівнянні з попередніми моделями. У компанії зазначили, що це стало наслідком специфіки навчання моделі з налаштуванням стилю відповідей.

Користувачі помічали випадки, коли чат-бот описував помилки в коді як “маленьких гоблінів” або називав себе “гобліном з ліхтариком”. У більшості випадків модель використовувала такі образи без прямого запиту.

OpenAI повідомила, що в березні фактично деактивувала так звану “ботанічну” особистість, яка сприяла грайливій мові. Проте ефект її впливу залишався і проявлявся в інших версіях моделі, зокрема в новій GPT-5.5.

Менеджер з продуктів OpenAI Баррон Рот пов’язав незвичну поведінку бота з використанням інструмента OpenClaw, який дозволяє створювати персоналізованих ШІ-помічників на основі різних моделей. Характер таких ботів визначається за допомогою спеціального набору інструкцій — “файла душі”, проте саме в цій конфігурації асистент почав використовувати нетипові слова про гоблінів.

“Ніколи не згадуйте про гоблінів, гремлінів, єнотів, тролів, огрів, голубів або інших тварин чи істот, якщо це не є абсолютно і однозначно актуальним для запиту користувача”, — йдеться в оновлених інструкціях компанії для інструменту кодування.

У внутрішньому аналізі OpenAI пояснила, що проблема виникла через систему підкріплення, яка заохочувала грайливий стиль відповідей. Це призвело до закріплення специфічних мовних шаблонів, зокрема згадок про вигаданих істот.

Компанія зазначила, що такі “лексичні тики” могли поширюватися між різними режимами моделі навіть після зміни налаштувань. Як наслідок, подібні слова почали з’являтися в ширшому спектрі відповідей, ніж було заплановано.

OpenAI додала, що вже внесла зміни до навчальних даних і системи підказок, щоб обмежити повторення такої поведінки. Також оновлено інструменти моніторингу для виявлення подібних мовних аномалій у майбутніх версіях моделей.

Раніше повідомлялося, що великі мовні моделі демонструють різке падіння надійності під час багаторівневих розмов. Після аналізу понад 200 тисяч чатів дослідники зафіксували зростання ненадійності на 112%, навіть якщо загальна придатність моделей знизилася лише на 15%.