Search academic texts

Information × Registration Number 2118U001237, Article popup.category Стаття, Опубліковано, Рецензована стаття Title RECURRENT NEURAL NETWORK FOR PROCESSING LARGE TEXT DATA popup.author Nguyen A.Sidorov Y.Nguyen A.Sidorov Y. popup.publication 12-09-2018 popup.source_user Національний університет «Полтавська політехніка імені Юрія Кондратюка» popup.source https://journals.nupp.edu.ua/sunz/article/view/1214 popup.publisher Національний університет «Полтавська політехніка імені Юрія Кондратюка» Description Предметом вивчення статті є нейронні мережі, а саме рекурентні нейронні мережі, що відрізняються здатністю запам'ятовування данні, а також програмні бібліотеки для їх реалізації. Метою роботи є аналіз нейронної мережі Хопфілда, мереж Елмана і Джордана, ESN-мережі, рекурсивної мережі і рекурентної мережі з довгою короткостроковою пам'яттю для безпосереднього визначення оптимальної архітектури мережі. А також аналіз наступних програмних бібліотек: CNTK, Theano, Gluon, TensorFlow. Завдання: провести порівняння за спрямованістю застосування і можливостям роботи з великими текстовими даними перерахованих вище рекурентних нейронних мереж, визначити яка з розглянутих програмних бібліотек є оптимальною і швидкодійною для розробки рекурентної нейронної мережі. Методом проведення дослідження є тестування навантаження програмних комплексів в однакових апаратних умовах, з використанням однакового набору даних. За підсумком роботи отримано результати: платформою для інтеграції технологій вибрано додаток для обробки текстових даних великого обсягу і їх резюмування, а саме проект інтерактивного середовища написання літератури, створений з використанням .NET, який дозволяє автоматично резюмувати текст за певними критеріями. Для аналізу продуктивності програмних бібліотек було розглянуто тест на основі навчання та використання рекурентних мереж з LSTM-модулями на тестовому наборі даних, з використанням усіх досліджуваних бібліотек. Висновки: в якості найбільш оптимального архітектурного підходу варто вважати використання LSTM-модулів, які вирішують проблему затухаючого градієнта. Завдяки цьому мережі, засновані на цьому підході, показують найкращі результати при роботі з довгостроковими залежностями, що є вкрай важливим фактором при обробці текстових даних. За результатами тестів продуктивності можна сказати, що найбільш оптимізованими для роботи з рекурентною архітектурою є програмні бібліотеки CNTK і Gluon. При навчанні вони демонструють швидкість, що перевершує продуктивність TensorFlow і Theano на 10-60%. popup.nrat_date 2026-04-19 Close