Пошук академічних текстів

Інформація × Реєстраційний номер 2124U009275, Матеріали видань та локальних репозитаріїв Категорія Опубліковано, Стаття Назва роботи ТЕХНОЛОГІЯ ПОРОДЖЕННЯ ПРОДОВЖЕННЯ ПІСЕНЬ НА ОСНОВІ СТРАТЕГІЙ ГЕНЕРАЦІЇ ТЕСТУ, TEXTMINING І МОВНОЇ МОДЕЛІ Т5 Автор Медяков О. О.Висоцька В. А.Mediakov O.Vysotska V. Дата публікації 04-01-2024 Постачальник інформації Журнал "Радіоелектроніка, інформатика, управління" (Національний університет "Запорізька політехніка") Першоджерело https://ric.zp.edu.ua/article/view/296243 Видання National University "Zaporizhzhia Polytechnic" Опис Актуальність. Наперед навчені великі мовні моделі, на сьогодні – це локомотив розвитку не лише NLP, а й систем глибинного навчання загалом. Моделі трансформери здатні розв’язувати фактично усі задачі, що наразі існують, за умови виконання певних вимог та практик їх навчання. В свою чергу, слова, речення та тексти є базовим і найважливішим способом комунікації між інтелектуально розвиненими істотами. Звичайно, мовлення і тексти використовуються для донесення певних емоції, подій тощо. Один з основних напрямків використання мови для опису пережитих емоцій – це пісні з текстами. Проте, часто через необхідність збереження рими та римування, розмірності віршових рядків, структури пісні тощо, артистам приходиться використовувати повторення рядків у текстах. Крім того, процес написання текстів може бути тривалим. Метою дослідження є розробка інформаційної технології генерації продовження текстів пісень на основі моделі машинного навчання T5 з (SA, specific author) та без (NSA, non-specific author) врахування стилю автора. Метод. Для процесу генерації важливим є питання вибору стратегії декодування. Проте, заміть того, щоб надати перевагу конкретній стратегії, у системи буде підтримка множини стратегій. Зокрема такі 8 стратегій: Contrastive search, Top-p sampling, Top-k sampling, Multinomial sampling, Beam search, Diverse beam search, Greedy search, та Beam-search multinomial sampling. Результати. Розроблено модель машинного навчання для генерації продовження текстів пісень з допомогою великих мовних моделей, зокрема моделі T5, для прискорення, доповнення та підвищення гнучкості процесу написання текстів до пісень. Висновки. Створена модель показує відмінні результати генерації продовження текстів пісень на тестових даних. Аналіз вихідних даних показав, що модель NSA має менш деградаційні результати, а для моделі SA необхідно збалансовувати кількість тексту для кожного автора. Обраховано кілька текстових метрик як BLEU, RougeL та RougeN для кількісного порівняння результатів моделей та стратегій генерування. Значення метрики BLEU є найрізноманітнішим, і його значення значно змінюється, залежно від стратегії. При цьому Rouge метрики мають меншу варіативність, менший розмах значень. Для порівняння використано 8 різних методик декодування для генерації тексту, що підтримуються бібліотеку transformers. З усіх результатів порівняння текстів видно, що метрично найкращим методом генерації текстів пісень є beam пошук та його варіації, зокрема променевий семплінг. Contrastive search зазвичай перевершував звичайний жадібний підхід. Методи top-p та top-k не мають однозначної переваги один на одним, і в різних ситуаціях давали різні результати. Додано в НРАТ 2026-02-27 Закрити