🤖 📊 Исследование: качество ответов GPT 3.5 и 4.0 может меняться со временем
Исследователи сравнили статистику точности ответов за март и июнь 2023 в вопросах решения математических задач и кодинга, ответов на деликатные темы и в работе с изображениями. К примеру, GPT-4 в марте был очень хорош в определении простых чисел (точность 97,6%), но в июне точность ответов ИИ составила всего 2,4%. При этом точность ответов GPT-3.5 в июне наоборот возросла по сравнению с мартом
Судя по всему, поведение ИИ может существенно меняться за короткий срок и требует постоянного мониторинга качества