Дисертація доктора філософії. Бочок В’ячеслав Олександрович. Методи та програмні засоби децентралізованого обміну знаннями в системах багатоагентного навчання з підкріпленням

Реєстраційний номер

0826U004435, Дисертація доктора філософії

На здобуття

Доктор філософії

Дата захисту

04-09-2026

Статус

Наказ про видачу диплома

Назва роботи

Методи та програмні засоби децентралізованого обміну знаннями в системах багатоагентного навчання з підкріпленням

Здобувач

Бочок В’ячеслав Олександрович,

Керівник Федорова Наталія Володимирівна
Опонент Кравцов Григорій Олексійович
Опонент Сторчак Каміла Павлівна
Рецензент Залевська Ольга Валеріївна
Рецензент Мусієнко Андрій Петрович

Установа, організація, у вченій раді якої відбудеться/відбувся захист

Національний технічний університет України "Київський політехнічний інститут імені Ігоря Сікорського"

Опис

Дисертаційна робота присвячена розробленню науково-методичного апарату підвищення продуктивності багатоагентної системи слабко пов'язаних агентів у стаціонарному середовищі за допомогою механізму поширення знань між агентами на базі децентралізованого підходу. Багатоагентні системи є важливим напрямом сучасних інформаційних технологій та штучного інтелекту, оскільки дозволяють моделювати складні розподілені процеси у вигляді сукупності автономних агентів, і застосовуються у промисловості, робототехніці, транспортних системах та системах підтримки прийняття рішень. Ключовим механізмом адаптації агентів є навчання з підкріпленням, однак його алгоритми характеризуються значною потребою у взаємодіях із середовищем (sample complexity), чутливістю до гіперпараметрів та нестабільністю збіжності. Ці проблеми посилюються у багатоагентному навчанні з підкріпленням (Multi-Agent Reinforcement Learning, MARL), де агенти навчаються одночасно: кожен накопичує знання незалежно, що спричиняє дублювання навчання, зростання обчислювальних витрат та уповільнення досягнення оптимальних стратегій, особливо у великомасштабних системах. Перспективним напрямом підвищення ефективності навчання є передача знань між агентами, що дозволяє повторно використовувати накопичений досвід. Проте застосування таких підходів пов'язане з ризиком негативної передачі знань (negative transfer), відсутністю механізмів контролю якості переданих знань та складністю адаптивного регулювання інтенсивності обміну. Крім того, значна частина відомих підходів базується на централізованих архітектурах, що обмежує їх застосування у розподілених системах зі слабко пов'язаними агентами. Окреслене сформувало протиріччя між потребою підвищення ефективності навчання агентів та можливістю використання передачі знань для його прискорення, яке вирішується шляхом розроблення методів і програмних засобів децентралізованого обміну знаннями з адаптивним контролем якості та інтенсивності передачі. Об'єктом дослідження є процеси аналізу, розроблення, забезпечення якості та впровадження методів і програмних засобів децентралізованого обміну знаннями в системах багатоагентного навчання з підкріпленням у стаціонарних середовищах зі слабко пов'язаними агентами. Предметом дослідження є методи та програмне забезпечення децентралізованого обміну знаннями в таких системах. Метою дисертаційної роботи є підвищення продуктивності багатоагентної системи слабко пов'язаних агентів у стаціонарному середовищі за допомогою механізму поширення знань між агентами на базі децентралізованого підходу. Наукова новизна результатів дослідження полягає в наступному. Набув подальшого розвитку метод децентралізованого вибору вчителя для передачі знань, що дозволяє контролювати якість поширюваних знань, уникаючи негативного переносу. Вперше розроблено метод динамічного децентралізованого контролю інтенсивності передачі знань між агентами, що дозволяє ефективно використовувати набуті системою знання та протидіяти перенавчанню. Вперше розроблено архітектуру програмного забезпечення для реалізації механізму обміну знаннями в системі багатоагентного навчання, характерною особливістю якої є можливість децентралізованого обміну знаннями із застосуванням механізмів контролю якості та інтенсивності передачі. Практичне використання розроблених методів та програмних засобів дозволило підвищити продуктивність багатоагентної системи за метрикою нормалізованої площі під кривою навчання (normalized AUC) сумарної винагороди за епізод на 9–20 % для середньої інтегральної продуктивності системи та на 3,4–10,1% для максимальної продуктивності окремого агента залежно від конфігурації механізму обміну знаннями та режиму автономного навчання. Експериментальні дослідження проведено у тестових середовищах CartPole-v1 та LunarLander-v3 бібліотеки Gym/Gymnasium; механізм продемонстрував результативність як для Deep Q-Network (DQN), так і Double Deep Q-Network (DDQN). Результати дослідження прийнято до впровадження в ТОВ «Квалітек» (акт від 20.03.2026) та в навчальному процесі КПІ ім. Ігоря Сікорського (акт від 20.03.2026) при викладанні дисципліни «Проектування кібер-фізичних систем». Напрямами подальших досліджень є поширення запропонованих методів на інші алгоритми навчання з підкріпленням та типи багатоагентних середовищ (зокрема кооперативні та змішані), дослідження альтернативних підходів до оцінювання продуктивності агентів, а також розроблення механізмів оцінки різноманітності досвіду агентів. Ключові слова: багатоагентні системи, навчання з підкріпленням, підвищення продуктивності багатоагентної системи, передача знань між агентами, контроль інтенсивності передачі знань, глибоке Q-навчання, дистиляція політики, дистиляція знань, штучний інтелект, машинне навчання, нейронні мережі.

Дата реєстрації

2026-08-07

Додано/оновлено в НРАТ

2026-08-07 / 2026-09-23