▫️ Насколько хорошо GPT-4 сдаёт экзамены
Если коротко - то по большей части очень хорошо - на графике показан персентиль, в который попадают результаты GPT-4: к примеру, 90% персентиль означает, что новейшая нейросеть сдала экзамен лучше, чем 90% участников - и по большинству тестов она выступает не хуже 80% участников (людей!), а местами и значительно лучше 90%!
Хуже всего, пока что, у неё с задачами творческими и нетривиальными. Если почитать доклад OpenAI, то самые низкие результаты у GPT-4 в тестах по литературе и композиции текста, задачах на программирование сложного уровня и олимпиадных задачах по математике - хотя и там (в AMC 12) она уже выступает немногим хуже медленного участника