Ученье – свет! В очередной раз в этом убедились сотрудники МФТИ, которые в качестве эксперимента протестировали генеративную нейросеть в решении задач ЕГЭ по физике.
Искусственный интеллект (ИИ), безусловно, может многое! Но не все.
Итак, по порядку…
По итоговым результатам эксперимента искусственный интеллект не дотянул до успешного абитуриента МФТИ и получил менее 85 баллов – ниже проходного барьера для Физтеха, допустив несколько очевидных ошибок! Об этом сообщили в пресс-службе МФТИ.
Задачи разделов физики по механике, оптике, термодинамике, электричеству, кинематике разобрал кандидат физико-математических наук, преподаватель Физтеха и известный эксперт по работе со школьниками Леонид Колдунов. По его словам, ошибки нейросети в решении и объяснении задач касались как финальных расчетов, так и использования терминов в решении и понимании физики процесса. Кроме того, иногда ИИ делал совсем нелогичные выводы, путаясь в формулировке ответа.
«Нейросеть не смогла выполнить анализ, только описать формулы и ими оперировать. Безусловно, с таким уровнем знаний нейросеть не смогла бы поступить в МФТИ», — сделал вывод Леонид Колдунов.
Эксперимент решения задач с помощью ИИ также оценил главный аналитик Центра искусственного интеллекта МФТИ, директор ведущей конференции по ИИ в России Игорь Пивоваров. По его словам, несмотря на допущенные ошибки и невозможность творческого подхода в решении задач, модели генеративного интеллекта можно обучить.
Игорь Пивоваров апеллирует к известному «утиному тесту»:
«Если нечто ходит, как утка, крякает как утка и похоже на утку, то наверное, это и есть утка. Но, на самом деле, не факт, что это утка. В этом смысле, если модель выдает текст, похожий на человеческий, это не означает, что у нее есть понимание. Одно дело выдать правильный ответ на задачу, а другое дело — понимать глубинно физику. Ощущение понимания есть, но оно иллюзорно».
Итак, ученье, все же – свет. Учитесь, физтехи, делайте новые открытия и обучайте искусственный интеллект, чтобы он дотягивал до человеческого!
