Журналисты и блогеры всё никак не пресытятся скандалами вокруг ChatGPT и иже с ним. Популярнейшая тема пары последних дней “GPT-4 внезапно резко отупела, и это неспроста”. Пересказы соответствующих популярных статей уже начал встречать во вроде бы вменяемых каналах, например. Прежде чем начать это обсуждать, очень советую внимательно ознакомиться с первоисточником (на уровне методик, а не выводов) и прочитать вот этот разбор: Is GPT-4 getting worse over time? Два важнейших тезиса: 1. возможности модели (обусловленные самой трудоемкой частью, претренингом и архитектурой) и ее наблюдаемое поведение (в котором сильно влияние тонкой донастройки) — вещи разные. В продуктах мы видим не саму модель, а именно донастроенный динамичный продукт. И его поведение не говорит о возможностях и качестве самой модели (или ее изменениях). Более того, в силу стохастического принципа генерации ответов, даже на один и тот же суперудачный промпт ответы могут очень сильно отличаться от раза к разу. Это, кстати, полезно бы помнить всем, кто считает, что оптимизированные промпты — это навсегда 🙂 А с самой моделью GPT-4 ничего не происходило и пока не происходит. Тут нас OpenAI не обманывает, какую бы конспирологию не пытались построить “эксперты”. 2. Способы тестирования и интерпретация результатов в исходной статье, мягко скажем, вызывают вопросы 🙂 Какие — почитайте сами, тут важен как раз детальный разбор. И еще раз — не ведитесь на сенсационные “разоблачения” с простыми ответами:) Жизнь всегда сложнее и интересней.