Специалисты Стендфордского Университета утверждают, что июньская версия ChatGPT 4.0 объективно хуже версии, выпущенной в марте. Команда оценила модели, используя набор данных из 500 задач, в которых модели должны были выяснить, является ли это целое число простым. В марте GPT-4 правильно ответил на 488 из этих вопросов. В июне у него было только 12 правильных ответов. С 97,6% вероятность успеха снизилась до 2,4%! Команда использовала Chain-of-Thought, чтобы помочь модели объяснить запрос: «Является ли 17077 простым числом? Думайте шаг за шагом». Цепочка мыслей — популярная техника, которая значительно улучшает ответы. К сожалению, последняя версия GPT-4 не генерировала промежуточных шагов и вместо этого неправильно давала простой ответ «Нет». Генерация кода также ухудшилась. Команда создала набор данных с 50 простыми задачами из LeetCode и измерила, сколько ответов GPT-4 выполнялись без каких-либо изменений. Мартовская версия успешно справилась с 52% проблем, но при использовании июньской модели этот показатель упал до бледных 10%. Почему это происходит? Предполагается, что OpenAI постоянно вносит изменения, но мы не знаем, как работает этот процесс и как они оценивают, улучшаются ли модели или регрессируют. Ходят слухи, что они используют несколько меньших и специализированных моделей GPT-4, которые действуют аналогично большой модели, но дешевле в эксплуатации. Когда пользователь задает вопрос, система решает, какой модели отправить запрос. Дешевле и быстрее, но может ли этот новый подход быть причиной ухудшения качества? Это тревожный сигнал для всех, кто создает приложения, основанные на GPT-4. Будьте осторожнее и проводите соответствующие тесты.