Пошук академічних текстів

Інформація × Реєстраційний номер 2121U008605, Матеріали видань та локальних репозитаріїв Категорія Опубліковано, Стаття Назва роботи ГЛИБОКЕ НАВЧАННЯ З ПІДКРІПЛЕННЯМ З ПАМ’ЯТТЮ З ПРОРІДЖЕНИМИ ДАНИМИ ДЛЯ ВИРІШЕННЯ ЗАДАЧІ «ВОДНИЙ СВІТ» Автор Новотарський М. А.Стіренко С. Г.Гордієнко Ю. Г.Кузьмич В. А.Novotarskyi M. A.Stirenko S. G.Gordienko Y. G.Kuzmych V. A. Дата публікації 28-03-2021 Постачальник інформації Журнал "Радіоелектроніка, інформатика, управління" (Національний університет "Запорізька політехніка") Першоджерело https://ric.zp.edu.ua/article/view/227837 Видання National University "Zaporizhzhia Polytechnic" Опис Актуальність. Машинне навчання це одна з галузей обробки даних, яка активно розвивається. Значних успіхів у цій сфері вдалося досягти завдяки використанню DQN-алгоритмів, які стали одними з перших стійких алгоритмів навчання при використанні глибоких нейронних мереж. Основним недоліком такого підходу є стрімке зростання оперативної пам’яті при реалізації задач реального світу. Запропонований в роботі підхід дозволяє частково вирішити цю проблему. Мета. Метою роботи є розробка методу формування структури та характеру доступу до розрідженої розподіленої пам’яті з підвищеною інформативністю для покращення навчання з підкріпленням без залучення додаткової пам’яті. Метод. Запропоновано метод формування структури та модифікації пам’яті з прорідженими даними для зберігання попередніх переходів актора у вигляді прототипів. Метод дозволяє підвищити інформативність збережених даних і, як результат, покращити процес створення моделі досліджуваного процесу шляхом інтенсифікації навчання глибокої нейронної мережі. Підвищення інформативності збережених даних є результатом такої послідовності дій. Спочатку виконуємо порівняння нового переходу та останнього збереженого переходу. Для виконання такого порівняння, в рамках даного методу, введено норму оцінки відстані між переходами. Якщо відстань між новим переходом та останнім збереженим переходом є меншою за заданий поріг, то новий перехід записується на місце попереднього без збільшення обсягу пам’яті. У протилежному випадку створюємо новий прототип в пам’яті з одночасним видаленням прототипу, який зберігався у пам’яті найдовше. Результати. Роботу запропонованого методу було досліджено під час вирішення популярної тестової задачі “Водний світ”. Результати показали збільшення часу виживання актора у ворожому середовищі в 1,5 рази. Такий результат був досягнутий за рахунок підвищення інформативності збережених даних без збільшення обсягу оперативної пам’яті. Висновки. Запропонований метод формування та модифікації структури пам’яті з прорідженими даними дозволив підвищити інформативність збережених даних. В результаті такого підходу було одержано покращені параметри навчання з підкріпленням на прикладі задачі «Водний світ» за рахунок підвищення точності моделі фізичного процесу, представленого глибокою нейронною мережею. Додано в НРАТ 2026-02-09 Закрити