Ученые провели эксперимент, в рамках которого сравнили умение студентов-добровольцев и нейросети GPT-3 решать логические задачи, которые часто используются в тестах IQ. В них входят задания на поиск закономерностей в наборах фигур, рисунков или цифр, подбор аналогии, антонима или ответ на вопросы по тексту. Ученые перевели одно из подобных испытаний, тест Равена, на понятный GPT-3 язык. Аналогичным образом исследователи проверили уровень интеллекта и способность мыслить 40 студентов калифорнийских вузов.
Нейросеть превзошла средний уровень студентов в тесте Равена и в двух других проверках на интеллект, связанных с вербальными аналогиями и с умением находить закономерности в наборах символов, но при этом уступила студентам в умении работать со смыслом текста. Психологи уточнили, что GPT-3 не смогла найти решение детской задачи по переливанию воды из одного сосуда в другой. Это дает почву для изучения и сравнения когнитивных способностей человека и нейросети.«Нас сильно удивило то, что языковые модели не только способны предугадывать слова в предложениях, но и логически "мыслить". Еще более удивительным было то, что GPT-3 успешно справилась с задачами, как и люди, но при этом совершала примерно те же ошибки при их решении, что и живые участники наших опытов», — приводит слова профессора UCLA Лу Хунцзин издание «ТАСС. Наука».
