Search academic texts

Information × Registration Number 2121U008605, Article popup.category Опубліковано, Стаття Title DEEP REINFORCEMENT LEARNING WITH SPARSE DISTRIBUTED MEMORY FOR “WATER WORLD” PROBLEM SOLVING popup.author Новотарський М. А.Стіренко С. Г.Гордієнко Ю. Г.Кузьмич В. А.Novotarskyi M. A.Stirenko S. G.Gordienko Y. G.Kuzmych V. A. popup.publication 28-03-2021 popup.source_user Журнал "Радіоелектроніка, інформатика, управління" (Національний університет "Запорізька політехніка") popup.source https://ric.zp.edu.ua/article/view/227837 popup.publisher National University "Zaporizhzhia Polytechnic" Description Актуальність. Машинне навчання це одна з галузей обробки даних, яка активно розвивається. Значних успіхів у цій сфері вдалося досягти завдяки використанню DQN-алгоритмів, які стали одними з перших стійких алгоритмів навчання при використанні глибоких нейронних мереж. Основним недоліком такого підходу є стрімке зростання оперативної пам’яті при реалізації задач реального світу. Запропонований в роботі підхід дозволяє частково вирішити цю проблему. Мета. Метою роботи є розробка методу формування структури та характеру доступу до розрідженої розподіленої пам’яті з підвищеною інформативністю для покращення навчання з підкріпленням без залучення додаткової пам’яті. Метод. Запропоновано метод формування структури та модифікації пам’яті з прорідженими даними для зберігання попередніх переходів актора у вигляді прототипів. Метод дозволяє підвищити інформативність збережених даних і, як результат, покращити процес створення моделі досліджуваного процесу шляхом інтенсифікації навчання глибокої нейронної мережі. Підвищення інформативності збережених даних є результатом такої послідовності дій. Спочатку виконуємо порівняння нового переходу та останнього збереженого переходу. Для виконання такого порівняння, в рамках даного методу, введено норму оцінки відстані між переходами. Якщо відстань між новим переходом та останнім збереженим переходом є меншою за заданий поріг, то новий перехід записується на місце попереднього без збільшення обсягу пам’яті. У протилежному випадку створюємо новий прототип в пам’яті з одночасним видаленням прототипу, який зберігався у пам’яті найдовше. Результати. Роботу запропонованого методу було досліджено під час вирішення популярної тестової задачі “Водний світ”. Результати показали збільшення часу виживання актора у ворожому середовищі в 1,5 рази. Такий результат був досягнутий за рахунок підвищення інформативності збережених даних без збільшення обсягу оперативної пам’яті. Висновки. Запропонований метод формування та модифікації структури пам’яті з прорідженими даними дозволив підвищити інформативність збережених даних. В результаті такого підходу було одержано покращені параметри навчання з підкріпленням на прикладі задачі «Водний світ» за рахунок підвищення точності моделі фізичного процесу, представленого глибокою нейронною мережею. popup.nrat_date 2026-02-09 Close