У відкритому доступі опубліковані матеріали дослідження Л. Мейнке, І.Р. Моллік, Л. Моллік та Д. Шапіро з Університету Пенсільванії «Наука про промптинг», присвяченого аналізу запитів у великих мовних моделях.
Автори тестували промптинг на різних завданнях та моделях (старих і нових), оцінюючи точність, варіативність відповідей, а також, що важливо, – витрати ресурсів (токени, час). Тестування проводилося на моделях без вбудованої здатності до міркувань і нових, де вона вже вбудована. Висновки, які випливають з результатів дослідження, такі: «ланцюжок міркувань» корисний для старих чи малих моделей без вбудованих механізмів міркувань, – саме їх застосування трохи підвищує якість, але збільшує варіативність, а іноді навіть знижує точність правильних відповідей. У нових моделях, де такі «ланцюжки міркувань» вже інтегровані, даний метод дає мінімальну або нульову користь, при цьому значно збільшучи витрати на токени, час і ресурси. Таким чином, з розвитком великих мовних моделей цінність «ланцюжка міркувань» знижується, оскільки сучасні моделі вже використовують покрокові міркування за замовчуванням. Користувачам необхідно це враховувати. Зокрема, корисно заздалегідь зважувати плюси (невелике зростання точності в старих моделях) та мінуси (збільшення часу, вартості, варіативності); уникати явного «ланцюжка міркувань» під час роботи з новими моделями із вбудованими міркуваннями, щоб заощаджувати ресурси; самостійно тестувати методи на конкретних завданнях та моделях, використовуючи складні покрокові промпти для старих версій мовних моделей та формуючи прямі лаконічні запити для сучасних.
Детальніше: https://qrpage.net/qr/HII9P
Фото: pixabay.com
#НРАТ_Усі_новини #НРАТ_ШтучнийІнтелект #НРАТ_Науковцям_новини #НРАТ_Освітянам_новини
