Пошук академічних текстів

Інформація × Реєстраційний номер 2118U001237, Матеріали видань та локальних репозитаріїв Категорія Стаття, Опубліковано, Рецензована стаття Назва роботи РЕКУРЕНТНА НЕЙРОННА МЕРЕЖА ДЛЯ ОБРОБКИ ВЕЛИКИХ ТЕКСТОВИХ ДАНИХ Автор Nguyen A.Sidorov Y.Nguyen A.Sidorov Y. Дата публікації 12-09-2018 Постачальник інформації Національний університет «Полтавська політехніка імені Юрія Кондратюка» Першоджерело https://journals.nupp.edu.ua/sunz/article/view/1214 Видання Національний університет «Полтавська політехніка імені Юрія Кондратюка» Опис Предметом вивчення статті є нейронні мережі, а саме рекурентні нейронні мережі, що відрізняються здатністю запам'ятовування данні, а також програмні бібліотеки для їх реалізації. Метою роботи є аналіз нейронної мережі Хопфілда, мереж Елмана і Джордана, ESN-мережі, рекурсивної мережі і рекурентної мережі з довгою короткостроковою пам'яттю для безпосереднього визначення оптимальної архітектури мережі. А також аналіз наступних програмних бібліотек: CNTK, Theano, Gluon, TensorFlow. Завдання: провести порівняння за спрямованістю застосування і можливостям роботи з великими текстовими даними перерахованих вище рекурентних нейронних мереж, визначити яка з розглянутих програмних бібліотек є оптимальною і швидкодійною для розробки рекурентної нейронної мережі. Методом проведення дослідження є тестування навантаження програмних комплексів в однакових апаратних умовах, з використанням однакового набору даних. За підсумком роботи отримано результати: платформою для інтеграції технологій вибрано додаток для обробки текстових даних великого обсягу і їх резюмування, а саме проект інтерактивного середовища написання літератури, створений з використанням .NET, який дозволяє автоматично резюмувати текст за певними критеріями. Для аналізу продуктивності програмних бібліотек було розглянуто тест на основі навчання та використання рекурентних мереж з LSTM-модулями на тестовому наборі даних, з використанням усіх досліджуваних бібліотек. Висновки: в якості найбільш оптимального архітектурного підходу варто вважати використання LSTM-модулів, які вирішують проблему затухаючого градієнта. Завдяки цьому мережі, засновані на цьому підході, показують найкращі результати при роботі з довгостроковими залежностями, що є вкрай важливим фактором при обробці текстових даних. За результатами тестів продуктивності можна сказати, що найбільш оптимізованими для роботи з рекурентною архітектурою є програмні бібліотеки CNTK і Gluon. При навчанні вони демонструють швидкість, що перевершує продуктивність TensorFlow і Theano на 10-60%. Додано в НРАТ 2026-04-19 Закрити