ИИ не смог составить резюме документа и допустил много неточностей
Crikey: ИИ оказался хуже людей в обобщении информации и создании резюме
ИИ оказался хуже людей в обобщении информации и создании резюме
Австралийская комиссия по ценным бумагам и инвестициям (ASIC) опубликовала результаты исследования, в котором выявила недостатки искусственного интеллекта (ИИ) в сравнении со способностями человека к обобщению информации. Целью работы было оценить потенциал ИИ для использования в бизнес-среде. Однако результаты эксперимента оказались далеко не утешительными, сообщает портал Crikey.
В рамках исследования искусственному интеллекту было поручено обобщить правительственные документы и написать резюме. Для этой задачи исследователи выбрали модель с открытым исходным кодом Llama2-70B от Meta (признана в России экстремистской организацией и запрещена). Параллельно с этим сотрудникам ASIC также было предложено составить резюме тех же документов.
Затем независимые эксперты оценили оба получившихся документа, не зная, какие из них были созданы ИИ, а какие — людьми. Как выяснилось позже, трое из пяти экспертов заподозрили, что некоторые резюме были составлены искусственным интеллектом.
Эксперты оценили оба получившихся документа, не зная, какие из них были созданы ИИ, а какие — людьми
Результаты оценки показали, что резюме, созданные ИИ, набрали всего 47%. А резюме реальных сотрудников набрали 81%. Искусственный интеллект не смог предоставить точные номера страниц, откуда были взяты данные. Помимо этого, оказалось, что ИИ не способен уловить контекст и нюансы — в итоге в документ было включено много несущественных деталей.
Сводки ИИ содержали избыточную и нерелевантную информацию, что делало их расплывчатыми и многословными. Это значит, что использование нейросети в бизнесе может потребовать дополнительных ресурсов на проверку фактов и редактуру.
В целом исследование подтвердило, что генеративные модели ИИ пока не готовы заменить человеческий труд в задачах, требующих глубокого понимания и анализа информации. Более того, исследователи выражают сомнения в том, что такие технологии смогут в ближайшее время найти широкое применение в бизнесе.