Search academic texts

Information × Registration Number 2124U009275, Article popup.category Опубліковано, Стаття Title SONGS CONTINUATION GENERATION TECHNOLOGY BASED ON TEST GENERATION STRATEGIES, TEXTMINING AND LANGUAGE MODEL T5 popup.author Медяков О. О.Висоцька В. А.Mediakov O.Vysotska V. popup.publication 04-01-2024 popup.source_user Журнал "Радіоелектроніка, інформатика, управління" (Національний університет "Запорізька політехніка") popup.source https://ric.zp.edu.ua/article/view/296243 popup.publisher National University "Zaporizhzhia Polytechnic" Description Актуальність. Наперед навчені великі мовні моделі, на сьогодні – це локомотив розвитку не лише NLP, а й систем глибинного навчання загалом. Моделі трансформери здатні розв’язувати фактично усі задачі, що наразі існують, за умови виконання певних вимог та практик їх навчання. В свою чергу, слова, речення та тексти є базовим і найважливішим способом комунікації між інтелектуально розвиненими істотами. Звичайно, мовлення і тексти використовуються для донесення певних емоції, подій тощо. Один з основних напрямків використання мови для опису пережитих емоцій – це пісні з текстами. Проте, часто через необхідність збереження рими та римування, розмірності віршових рядків, структури пісні тощо, артистам приходиться використовувати повторення рядків у текстах. Крім того, процес написання текстів може бути тривалим. Метою дослідження є розробка інформаційної технології генерації продовження текстів пісень на основі моделі машинного навчання T5 з (SA, specific author) та без (NSA, non-specific author) врахування стилю автора. Метод. Для процесу генерації важливим є питання вибору стратегії декодування. Проте, заміть того, щоб надати перевагу конкретній стратегії, у системи буде підтримка множини стратегій. Зокрема такі 8 стратегій: Contrastive search, Top-p sampling, Top-k sampling, Multinomial sampling, Beam search, Diverse beam search, Greedy search, та Beam-search multinomial sampling. Результати. Розроблено модель машинного навчання для генерації продовження текстів пісень з допомогою великих мовних моделей, зокрема моделі T5, для прискорення, доповнення та підвищення гнучкості процесу написання текстів до пісень. Висновки. Створена модель показує відмінні результати генерації продовження текстів пісень на тестових даних. Аналіз вихідних даних показав, що модель NSA має менш деградаційні результати, а для моделі SA необхідно збалансовувати кількість тексту для кожного автора. Обраховано кілька текстових метрик як BLEU, RougeL та RougeN для кількісного порівняння результатів моделей та стратегій генерування. Значення метрики BLEU є найрізноманітнішим, і його значення значно змінюється, залежно від стратегії. При цьому Rouge метрики мають меншу варіативність, менший розмах значень. Для порівняння використано 8 різних методик декодування для генерації тексту, що підтримуються бібліотеку transformers. З усіх результатів порівняння текстів видно, що метрично найкращим методом генерації текстів пісень є beam пошук та його варіації, зокрема променевий семплінг. Contrastive search зазвичай перевершував звичайний жадібний підхід. Методи top-p та top-k не мають однозначної переваги один на одним, і в різних ситуаціях давали різні результати. popup.nrat_date 2026-02-27 Close