Пошук академічних текстів

Інформація × Реєстраційний номер 2125U003987, Матеріали видань та локальних репозитаріїв Категорія Опубліковано, Стаття Назва роботи ОЦІНЮВАННЯ КВАНТОВАНИХ ВЕЛИКИХ МОВНИХ МОДЕЛЕЙ В ЗАДАЧІ УЗАГАЛЬНЕННЯ ТЕКСТІВ Автор Недашківська Н. І.Єремічук Р. І.Nedashkovskaya N. I.Yeremichuk R. I. Дата публікації 29-06-2025 Постачальник інформації Журнал "Радіоелектроніка, інформатика, управління" (Національний університет "Запорізька політехніка") Першоджерело https://ric.zp.edu.ua/article/view/332997 Видання National University "Zaporizhzhia Polytechnic" Опис Актуальність. Розглянуто задачу підвищення ефективності глибоких штучних нейронних мереж щодо обсягу пам'яті та енергоспоживання, та багатокритеріальне оцінювання якості результатів великих мовних моделей (LLM) з урахуванням суджень користувачів в задачі сумаризації текстів. Об’єктом дослідження є процес автоматизації сумаризації текстів на основі LLM.Мета роботи – знайти компроміс між складністю моделі LLM, її точністю та ефективністю в задачі сумаризації або узагальнення текстів.Метод. Запропоновано алгоритм оцінювання моделей LLM за багатьма критеріями (метриками), який дозволяє обрати найбільш підходящу модель LLM для сумаризації тексту, знайти прийнятний компроміс між складністю моделі LLM, її продуктивністю та якістю узагальнення тексту. Значне підвищення точності результатів на основі нейронних мереж у задачах обробки природної мови часто досягається використанням занадто глибоких і надмірно параметризованих моделей, що суттєво обмежує здатність моделей використовуватися у задачах виводу в реальному часі, за потреби високої точності в умовах обмежених ресурсів. Пропонований алгоритм обирає прийнятну модель LLM за багатьма критеріями, такими як показники точності BLEU, Rouge-1, 2, Rouge-L, BERT-оцінки, швидкість сумаризації або іншими критеріями, які визначаються користувачем в конкретній практичній задачі інтелектуального аналізу тексту. Алгоритм включає аналіз і підвищення узгодженості суджень користувачів, оцінювання моделей LLM за кожним критерієм, агрегування локальних ваг моделей, аналіз чутливості отриманих глобальних ваг моделей.Результати. Розроблено програмне забезпечення для автоматичного отримання текстів з онлайн-статей і сумаризації цих текстів, та для оцінювання якості моделей LLM. Отримано оцінки якості дев’ятнадцяти квантованих і неквантованих моделей LLM різних розмірів, серед яких LLaMa-3-8B-4bit, Gemma-2B-4bit, Gemma-1.1-7B-4bit, Qwen-1.5-4B-4bit, Stable LM-2-1.6B-4bit, Phi-2-4bit, Mistal-7B-4bit, GPT-3.5 Turbo за показниками BLEU, Rouge-1, Rouge-2, Rouge-L і BERT-оцінок на двох різних наборах текстів XSum та CNN/Daily Mail 3.0.0.Висновки. Проведені експерименти підтвердили працездатність пропонованого математичного забезпечення, дозволяють рекомендувати його для використання при вирішенні задач сумаризації текстів на практиці. Перспективи подальших досліджень можуть полягати у більш глибокому аналізі метрик та критеріїв оцінювання якості сгенерованих текстів, а також експериментальному дослідженні пропонованого алгоритму на більшій кількості практичних задач обробки природної мови Додано в НРАТ 2026-02-26 Закрити