Согласно работе исследователей из Стенфорда, за последние 3 месяца ChatGPT буквально отупел.
Если ещё в марте модель GPT-4 давала правильный ответ в 97,6% случаев, то в июне показатель упал... до 2,4%! То есть почти никогда бот не мог правильно ответить на вопрос (заметим, что в случае GPT-3.5 показатель выростал с 7,4% до 86,8%). Вероятность написания корректного кода также упала с 52% до 10%.