Генеральный директор OpenAI Сэм Альтман признал, что последние изменения GPT-4o сделали его слишком угодливым и навязчивым, а также объяснил причины этого.
В последних обновлениях OpenAI начала использовать данные с кнопок «палец вверх» и «палец вниз» в ChatGPT как дополнительный сигнал вознаграждения. Однако OpenAI пояснила, что это могло ослабить влияние основного сигнала вознаграждения, который ограничивал подхалимство. Компания отмечает, что отзывы пользователей иногда могут способствовать более приятным ответам, что, вероятно, усугубляет чрезмерно любезные высказывания чат-бота. Компания добавила, что память также может усиливать угодливость.
OpenAI утверждает, что одной из ключевых проблем запуска стал процесс тестирования. Хотя офлайн-оценки модели и A/B-тестирование показывали положительные результаты, некоторые эксперты-тестировщики предположили, что обновление несколько изменило поведение чат-бота. Несмотря на это, OpenAI продолжила обновление.
_large.png "OpenAI признала ошибку с тестированием обновления ChatGPT, которое было «слишком услужливым и раздражающим»")
Оглядываясь назад, качественные оценки подсказывали нечто важное, и нам следовало уделить этому больше внимания. Они выявили слабое звено в наших других оценках и метриках. Наши офлайн-оценки не были достаточно широкими или глубокими, чтобы уловить такого рода поведение, а наши A/B-тесты не содержали правильных сигналов для выявления работы модели в этом аспекте с должной детализацией.
OpenAI
OpenAI заявляет, что намерена формально рассматривать поведенческие проблемы как потенциальные блокеры для запусков, а также ввести новую стадию альфа-тестирования, позволяющую пользователям напрямую предоставлять OpenAI обратную связь перед более широким внедрением. OpenAI также планирует информировать пользователей об изменениях в ChatGPT даже при незначительных обновлениях.
На прошлой неделе Сэм Альтман сообщил, что компания внесет изменения, чтобы исправить льстивый и раздражающий характер чат-бота, проявившийся после обновления.
Источник: iXBT
