ChatGPT оказался не слишком хорош в бухгалтерском деле
Исследователи из 187 разных университетов в 14 странах решили проверить, как ИИ справится с экзаменами на бухгалтера. Для этого 327 человек ответили на экзаменационные вопросы в аудиториях своих вузов. Также в ChatGPT загрузили 2 268 вопросов из банка проверочных тестов. Вопросы касались бухгалтерского учета, аудита, финансового учета, управленческого учета и налогообложения. Ответы на вопросы сводились к простому выбору (верно/неверно), множественному выбору, краткому ответу и т.д.
В итоге студенты показали лучшие результаты. Их средний бал составил 76,7%, в то время как средний балл ChatGPT - 47,4%. Лучше всего ИИ справился с бухучетом и аудитом, и в этих темах он показал результат выше среднего студенческого. Хуже всего боту дались налоговые, финансовые и управленческие темы, потому что возникли сложности с математическими вычислениями. Также ему было сложно давать краткие ответы, где нельзя было выбрать из предложенных вариантов.
Вот еще несколько интересных ошибок у ChatGPT, которые обнаружили исследователи:
— Он делает элементарные ошибки в математических расчетах. Например, может складывать числа, когда нужно вычитать.
— Бот дает авторитетные объяснения неправильным ответам или отвечает на один и тот же вопрос по-разному.
— Иногда ChatGPT придумывает факты. Например, при предоставлении ссылки на источник может выдать реальную ссылку, которая полностью сфабрикована, или сослаться на несуществующую работу или даже автора.
Тем не менее авторы исследования считают, что GPT-4 может помочь в развитии преподавания дисциплины в вузах, например, в разработке и проверке экзаменационных заданий или как участник учебных проектов.