На сайті Times Higher Education опубліковано статтю Джека Ґроува «Новий чат-бот випереджає докторів філософії у підготовці літературних оглядів».
У ній автор аналізує результати дослідження, оприлюдненого у журналі Nature. Йдеться про оцінювання якості підготовки оглядів наукової літератури спеціалізованими системами штучного інтелекту та науковцями. Новий ШІ-інструмент OpenScholar, спеціально розроблений для синтезу наукових оглядів, за кількома критеріями виявився кращим за традиційних авторів у підготовці оглядів літератури. Вивчались комп’ютерні моделі OpenScholar та ScholarQABench, які оцінювалися групою експертів із комп’ютерних наук, фізики, нейронауки та біомедицини. Відповіді моделей учасники визнали кращими за ті, що були підготовлені докторантами або постдокторантами. Така перевага пояснюється більш широким охопленням теми й глибшим зануренням в інформацію, яку моделі здатні долучати до літературних оглядів. Модель OpenScholar була навчена на корпусі приблизно 45 мільйонів наукових статей, що дозволяє їй формувати відповіді, посилаючись на реальні наукові праці й уникати «галюцинацій» (помилкових тверджень або вигаданих цитат), які часто трапляються у неспеціалізованих мовних моделях. Це значно підвищує точність і достовірність літературних оглядів порівняно з іншими системами ШІ, які можуть створювати списки посилань без реальних підтверджень у текстах. OpenScholar продемонструвала значно меншу кількість помилок, ніж моделі загального призначення, такі як ChatGPT, що створювали «правдоподібні» списки літератури, значна частина яких була вигаданою. Вартість підготовки такого самого огляду літератури людиною буде значно більшою, як і термін виконання робіт. Разом із тим, не можна нехтувати застереження, що автоматичні системи не можуть замінити людську діяльність у науковому синтезі знань. Їх можливості та продуктивність вимагають подальших досліджень, а самі моделі – удосконалення, отже не варто очікувати автоматизації наукової творчості. Використання ШІ може суттєво допомогти дослідникам у роботі з великими обсягами літератури, але водночас викликає питання про роль людського судження й експертної оцінки.
Детальніше: https://www.timeshighereducation.com/news/new-chatbot-outperforms-phds-literature-reviews, https://www.nature.com/articles/s41586-025-10072-4
Фото: nature.com
#НРАТ_Усі_новини #НРАТ_ШтучнийІнтелект #НРАТ_Науковцям_новини #НРАТ_Освітянам_новини #НРАТ_TimesHigherEducation
