На сайті Times Higher Education опубліковано статтю Шелдона Г. Джейкобсона «Рецензування за допомогою ШІ має пройти належну перевірку».
У ній автор порушує питання використання інструментів штучного інтелекту для рецензування наукових праць і наголошує, що перед тим, як запроваджувати відповідні практики, потрібно ретельно перевірити надійність і здатність ШІ адекватно виконувати ці завдання. Автор звертає увагу, що нині існують десятки тисяч наукових журналів, і процес оцінювання рукописів вимагає величезних витрат ресурсів часу та зусиль фахівців. Якщо кожну статтю мають рецензувати кілька незалежних експертів, то загальний обсяг роботи вимірюється мільйонами годин на рік. Саме тому зростає інтерес до можливостей штучного інтелекту як інструмента, який міг би зменшити таке навантаження. Будь-який процес рецензування наукової праці зводиться до трьох основних питань: чи є дослідження новим, чи коректними є отримані результати та чи додає робота вагомий інтелектуальний внесок у відповідну сферу знань. У кращому випадку технології штучного інтелекту можуть більш-менш успішно визначати рівень новизни, порівнюючи рукописи з наявною базою знань. Однак оцінка коректності та інтелектуальної цінності дослідження потребує глибокого контексту і часто пов’язана з суб’єктивними судженнями, що робить завдання значно складнішим. Джейкобсон застерігає: алгоритми навчаються на даних, які вже містять певні неточності й помилки, тому ймовірність упереджень дуже висока. Крім того, існує ризик, що система ігноруватиме роботи, які виходять за межі усталених підходів, натомість надаючи перевагу тим, що розвивають уже добре відомі напрямки. Це може посилити так званий «груповий ефект», коли інноваційні ідеї не отримують належної уваги. Щоб уникнути таких проблем, автор пропонує не замінювати людей автоматизованими рішеннями, а звернутись до гібридної моделі: статті оцінюють рецензенти, але паралельно ті самі рукописи проходять перевірку штучним інтелектом. Порівняння результатів дозволить з’ясувати, в яких галузях збіг між оцінками людей і алгоритмів може бути досить високим, а де навпаки — різниця виявиться суттєвою. Лише після такого тестування можна говорити про поступове розширення ролі технологій. Ключовий висновок полягає в тому, що системи ШІ самі мають пройти своєрідне «рецензування». Наразі немає доказів їхньої стабільної роботи без значних похибок і упереджень, тому їхнє застосування в офіційному процесі рецензування слід відтермінувати. Майбутнє науки може виграти від технологічної підтримки, однак це відбудеться лише за умови, що надійність таких інструментів буде перевірена так само суворо, як і будь-яке інше дослідницьке нововведення.
Детальніше: https://qrpage.net/qr/iN8SU, https://arxiv.org/
Фото: pixabay.com
#НРАТ_Усі_новини #НРАТ_ШтучнийІнтелект #НРАТ_НауковіВидання_новини #НРАТ_Науковцям_новини #НРАТ_Освітянам_новини
