Учёные из Стэнфордского университета выяснили, что ChatGPT стал «глупеть».
Исследователи несколько месяцев изучали данные о выполнении моделями GPT-4 и GPT-3.5 ряда задач. Нейросети генерировали программный код, проходили тесты на визуальное мышление, решали задачи по математике и отвечали на «неудобные» вопросы.
В марте ChatGPT-4 в 98% случаев отвечала правильно на вопрос «является ли 17077 простым числом». В июне этот показатель упал до 2%.
GPT-3.5, наоборот, поумнела — процент правильных ответов возрос с 7% до 87%. Кроме того, ChatGPT со временем перестала объяснять, как пришла к определённым выводам, а также стала хуже отвечать на неоднозначные вопросы.
Специалисты считают, что проблема заключается в изменениях, которые разработчики вносят в алгоритмы работы. Однако, утверждать это сложно — код GPT-4 закрыт для изучения, в отличие от предыдущих версий модели.
#нейросети
Подписывайтесь на «Победитель»