Эксперимент провели в Уральском федеральном университете (УрФУ). Экзамен у нейросетей принимал доцент кафедры истории России УрФУ Михаил Киселев и поставил «тройку», проведя параллель со студентами, которые достаточно поверхностно знают материал, и часто импровизируют, чтобы восполнить пробелы и выкрутиться на экзамене.
Михаил Киселев: «…там, где материал имеет однозначные ответы, нейросеть отвечает нормально, адекватно, но в остальном она имитирует самостоятельные рассуждения, и здесь начинаются проблемы, потому что нейросеть может просто выдумывать факты, несуществующие работы или авторов».
Например, отвечая на вопрос «Какие историки писали о завещании Василия III?» Sage назвала некоего Александра Васильевича Пильяра, а Chat GPT заявил, что Андрей Краевский якобы написал книгу «История Российского государства».
Михаил Киселев: «Если представить, что такая беседа велась на экзамене, то можно сказать, что студент «поплыл» из-за неглубокой проработки материала, хотя и старался держаться уверенно, пытаясь доказать противоположное»».
Источник: ТАСС
