Звіт по науково-дослідній роботі. Касьянов Павло Олегович. Розробити методи та засоби навчання з підкріпленням для задач аналізу та прогнозування складних систем

Реєстраційний номер

0223U005290, (0121U100534) , Науково-дослідна робота

Назва роботи

Розробити методи та засоби навчання з підкріпленням для задач аналізу та прогнозування складних систем

Назва етапу роботи

Методи та засоби навчання з підкріпленням для задач аналізу та прогнозування складних систем

Керівник роботи

Касьянов Павло Олегович, д.ф.-м.н.

Дата реєстрації

19-12-2023

Організація виконавець

Навчально-науковий комплекс "Інститут прикладного системного аналізу" Національного технічного університету України "Київський політехнічний інститут імені Ігоря Сікорського"

Опис роботи

Метою роботи є розробка обчислювально ефективних алгоритмів для задач навчання з підкріпленням : для марковських процесів прийняття рішень з обмеженнями та нескінченими станами та частково спостережуваних марковських процесів прийняття рішень. Розробити нові результати щодо структурних властивостей наближених розв'язків однокритеріальних задач з дисконтованим критерієм очікуваних загальних витрат та середніх витрат за одиницю часу, розробити методи для обчислення оптимальної та майже оптимальної стратегії для однокритеріальних МППР та ЧСМППР з обмеженнями, розв'язати класи задач навчання з підкріпленням, в тому числі, розробити та натренувати систему прийняття рішень, яка з високими показниками успішності знаходить коротші шляхи до заданих цільових точок в сценах як із тренувальної, так і з валідаційної вибірок, демонструючи здатність до узагальнення.

Опис етапу

 Дослідження присвячено вивченню задач керування частково спостережуваними стохастичними системами з дискретним часом, оптимізації очікуваних сумарних дисконтованих витрат. Для ЧСМППР встановлено нові та узагальнено кілька відомих достатніх умов щодо ймовірності переходу та спостереження для слабкої неперервності переходів для МППР із довірчими станами, існування оптимальної стратегії, валідність рівнянь оптимальності, що визначають оптимальні стратегії та збіжність ітерацій до оптимальних значень. Крім того, створено програмний продукт, в якому за допомогою глибокого навчання із підкріпленням та довгострокового планування, було отримано нейромережу, що наближує стратегію, яка досягає кращих результатів та метрик на вибраному наборі даних. Отримані результати мають вагоме значення для подальших наукових теоретичних та прикладних досліджень в галузі розробки кількісних та якісних методів прийняття рішень у стохастичних та мінливих середовищах з єдиними та множинними цілями та допустимо неповною інформацією про стани системи --- характеристиками, притаманними багатьом практичним задачам сьогодення, зокрема задачам прийняття рішень в медичній галузі, промисловості та оборонному секторі.

Опис продукції

Автори роботи

Бабич Галина Миколаївна
Кондратова Людмила Павлівна
Купенко Ольга Петрівна
Левенчук Людмила Борисівна
Марченко Галина Костянтинівна
Палійчук Лілія Сергіївна
Шубенкова Ірина Анатоліївна

Додано/оновлено в НРАТ

2023-12-19