Разработчики и профессора решили провести эксперимент и проверить, сможет ли ChatGPT справиться с задачей такого уровня. Преподаватели оценивали сдачу всех четырех экзаменов по дисциплинам вслепую, не зная, человек перед ними или искусственный интеллект. В Университете Миннесоты, где экзамен состоял из 95 вопросов и 12 тем для эссе, бот получил С+, а в Уортонской школе – от B до B-, эквивалент четверке в России.
Как отметил профессор Кристиан Тервиш, бот справился на удивление прекрасно с базовыми вопросами управления операциями и анализа процессов, но как только вопрос усложнялся, ChatGPT терялся и ошибался даже в базовой математике. Изначально университеты рассчитывали на то, что смогут адаптировать алгоритм для помощи студентам с подготовкой к экзаменам, но, по словам профессоров, на данном этапе это принесет больше вреда, чем пользы.
