Registration Number
0826U004435, PhD dissertation
Status
Доктор філософії
Date
04-09-2026
popup.evolution
o
Title
Methods and Software for Decentralized Knowledge Sharing in Multi-Agent Reinforcement Learning Systems
Author
Viacheslav O. Bochok,
popup.head Nataliia V. Fedorova
popup.opponent Hryhorii O. Kravtsov
popup.opponent KAMILA STORCHAK
popup.review Olha V. Zalevska
popup.review Andrii P. Musiienko
popup.rada
National Technical University of Ukraine «Igor Sikorsky Kyiv Polytechnic Institute»
Description
Дисертаційна робота присвячена розробленню науково-методичного апарату підвищення продуктивності багатоагентної системи слабко пов'язаних агентів у стаціонарному середовищі за допомогою механізму поширення знань між агентами на базі децентралізованого підходу.
Багатоагентні системи є важливим напрямом сучасних інформаційних технологій та штучного інтелекту, оскільки дозволяють моделювати складні розподілені процеси у вигляді сукупності автономних агентів, і застосовуються у промисловості, робототехніці, транспортних системах та системах підтримки прийняття рішень. Ключовим механізмом адаптації агентів є навчання з підкріпленням, однак його алгоритми характеризуються значною потребою у взаємодіях із середовищем (sample complexity), чутливістю до гіперпараметрів та нестабільністю збіжності. Ці проблеми посилюються у багатоагентному навчанні з підкріпленням (Multi-Agent Reinforcement Learning, MARL), де агенти навчаються одночасно: кожен накопичує знання незалежно, що спричиняє дублювання навчання, зростання обчислювальних витрат та уповільнення досягнення оптимальних стратегій, особливо у великомасштабних системах.
Перспективним напрямом підвищення ефективності навчання є передача знань між агентами, що дозволяє повторно використовувати накопичений досвід. Проте застосування таких підходів пов'язане з ризиком негативної передачі знань (negative transfer), відсутністю механізмів контролю якості переданих знань та складністю адаптивного регулювання інтенсивності обміну. Крім того, значна частина відомих підходів базується на централізованих архітектурах, що обмежує їх застосування у розподілених системах зі слабко пов'язаними агентами. Окреслене сформувало протиріччя між потребою підвищення ефективності навчання агентів та можливістю використання передачі знань для його прискорення, яке вирішується шляхом розроблення методів і програмних засобів децентралізованого обміну знаннями з адаптивним контролем якості та інтенсивності передачі.
Об'єктом дослідження є процеси аналізу, розроблення, забезпечення якості та впровадження методів і програмних засобів децентралізованого обміну знаннями в системах багатоагентного навчання з підкріпленням у стаціонарних середовищах зі слабко пов'язаними агентами. Предметом дослідження є методи та програмне забезпечення децентралізованого обміну знаннями в таких системах.
Метою дисертаційної роботи є підвищення продуктивності багатоагентної системи слабко пов'язаних агентів у стаціонарному середовищі за допомогою механізму поширення знань між агентами на базі децентралізованого підходу.
Наукова новизна результатів дослідження полягає в наступному. Набув подальшого розвитку метод децентралізованого вибору вчителя для передачі знань, що дозволяє контролювати якість поширюваних знань, уникаючи негативного переносу. Вперше розроблено метод динамічного децентралізованого контролю інтенсивності передачі знань між агентами, що дозволяє ефективно використовувати набуті системою знання та протидіяти перенавчанню. Вперше розроблено архітектуру програмного забезпечення для реалізації механізму обміну знаннями в системі багатоагентного навчання, характерною особливістю якої є можливість децентралізованого обміну знаннями із застосуванням механізмів контролю якості та інтенсивності передачі.
Практичне використання розроблених методів та програмних засобів дозволило підвищити продуктивність багатоагентної системи за метрикою нормалізованої площі під кривою навчання (normalized AUC) сумарної винагороди за епізод на 9–20 % для середньої інтегральної продуктивності системи та на 3,4–10,1% для максимальної продуктивності окремого агента залежно від конфігурації механізму обміну знаннями та режиму автономного навчання. Експериментальні дослідження проведено у тестових середовищах CartPole-v1 та LunarLander-v3 бібліотеки Gym/Gymnasium; механізм продемонстрував результативність як для Deep Q-Network (DQN), так і Double Deep Q-Network (DDQN).
Результати дослідження прийнято до впровадження в ТОВ «Квалітек» (акт від 20.03.2026) та в навчальному процесі КПІ ім. Ігоря Сікорського (акт від 20.03.2026) при викладанні дисципліни «Проектування кібер-фізичних систем».
Напрямами подальших досліджень є поширення запропонованих методів на інші алгоритми навчання з підкріпленням та типи багатоагентних середовищ (зокрема кооперативні та змішані), дослідження альтернативних підходів до оцінювання продуктивності агентів, а також розроблення механізмів оцінки різноманітності досвіду агентів.
Ключові слова: багатоагентні системи, навчання з підкріпленням, підвищення продуктивності багатоагентної системи, передача знань між агентами, контроль інтенсивності передачі знань, глибоке Q-навчання, дистиляція політики, дистиляція знань, штучний інтелект, машинне навчання, нейронні мережі.
Registration Date
2026-08-07
popup.nrat_date
2026-08-07 / 2026-09-23
