Восстание машин отменяется: ChatGPT тупеет и врёт Пользователи твиттера пожаловались, что ChatGPT-4 стремительно глупеет. В ответ на это вице-президент OpenAI и разработчик GPT-4 Питер Велиндер в одном из своих твитов попросил предоставить доказательства этой гипотезы. Через несколько дней ученые Стэнфордского университета опубликовали результаты своего исследования. Оказалось, что GPT-4 ошибается в определении простых чисел и не всегда верно генерирует код. Корректность его ответов в июле составила 2,4%, тогда как в марте была на уровне 97,6%. А вот показатель правильности ответов у чата на базе GPT-3,5 вырос с 7,4% до 86,8%. Другое исследование провели аналитики компании NewsGuard. Они дважды поручили чат-боту ответить на ряд ведущих запросов из 100 ложных утверждений. В январе GPT-4 выдал 80 вводящих в заблуждение ответов, а в марте соврал в 100% случаев. Мы провели свой эксперимент, поболтав с ChatGPT-3,5, который не только умнее младшего собрата, но еще и бесплатный. Вот что у нас получилось: — на общие теоретические вопросы бот выдал скудную информацию, которая недотягивает и до уровня «Википедии»; — искусно ушел от ответа на закрытые вопросы; — в правописании слов русского языка GPT-3,5 ошибся почти в 100% случаев, с грамматическими нормами испанского языка дела у него обстоят немного лучше, но с тонкостями не знаком; когда же перешли на сербский, бот, кажется, сломался.