Обложка канала

PORNSTAT

37684 @pornstat

Data-журнализдика во всей своей красе. Раскидаем вам за статистику России/Мира/Региона. Кратко, ясно и по сути.

PORNSTAT

3 года назад
Открыть в
▫️ Насколько хорошо GPT-4 сдаёт экзамены Если коротко - то по большей части очень хорошо - на графике показан персентиль, в который попадают результаты GPT-4: к примеру, 90% персентиль означает, что новейшая нейросеть сдала экзамен лучше, чем 90% участников - и по большинству тестов она выступает не хуже 80% участников (людей!), а местами и значительно лучше 90%! Хуже всего, пока что, у неё с задачами творческими и нетривиальными. Если почитать доклад OpenAI, то самые низкие результаты у GPT-4 в тестах по литературе и композиции текста, задачах на программирование сложного уровня и олимпиадных задачах по математике - хотя и там (в AMC 12) она уже выступает немногим хуже медленного участника