Registration Number
0826U003636, PhD dissertation
Status
Доктор філософії
Date
27-08-2026
popup.evolution
o
Title
Development of methods and software for intelligent missing data imputation
Author
Oleksii D. Zemlianyi,
popup.head Oleh H. Baibuz
popup.opponent Serhii V. Holub
popup.opponent Andrii M. Hubskyi
popup.review Olha M. Matsuha
popup.review Svitlana V. Klymenko
popup.rada
Oles Honchar Dnipro National University
Description
Проблема пропусків у даних є актуальною для багатьох прикладних галузей, оскільки вона суттєво погіршує якість аналізу, знижує точність алгоритмів машинного навчання та може призводити до хибних висновків, особливо в задачах класифікації та прогнозування. Це ускладнює створення моделей, які б адекватно описували реальні процеси, і збільшує ризик упереджених рішень у критичних сферах, таких як охорона здоров’я та екологічний моніторинг.
Дисертація присвячена розробленню методів, алгоритмів та програмних засобів інтелектуального імпутування пропусків, які забезпечують точність і ефективність у задачах моніторингу. Автором запропоновано інноваційні підходи, що поєднують класифікацію, регресію, ентропійний аналіз і кореляційні залежності, з урахуванням структури даних та патернів пропусків. Методи реалізовано на мові Python з інтеграцією в екосистему бібліотеки scikit-learn, що забезпечує їх уніфіковане застосування в аналітичних конвеєрах (pipeline) разом з імпутуванням, масштабуванням, класифікацією чи прогнозуванням.
Наукова новизна полягає в удосконаленні та розробці нових методів імпутування:
• UnifiedClassRegrImputer – удосконалення методу NoNa шляхом комбінації класифікатора та регресора з урахуванням типу даних і патернів пропусків;
• RegrImputer – метод на основі регресора з уточненням значень для категоріальних даних, який значно підвищує швидкодію та точність;
• EntropyImputer – удосконалений ентропійний метод з однокроковою та ітераційною процедурами зменшення умовної ентропії;
• HybridRegrEntropyImputer – гібридний метод, що поєднує ентропійний та регресійний підходи;
• CorrelationImputer – метод на основі кореляційного зв’язку між ознаками, який автоматизує вибір найкращої моделі залежності;
• Метод імпутування для часових рядів з сезонною складовою – модифікація CorrelationImputer, яка діє для кожного місяця окремо;
• IgnoreNANLabelEncoder та IgnoreNANFrequentEncoder – удосконалені методи перетворення якісних ознак на кількісні зі збереженням інформації про пропуски та можливістю зворотного перетворення.
Практичне значення роботи полягає в розробці програмного забезпечення, яке реалізує запропоновані методи та дозволяє підвищити точність імпутування пропусків у даних медичного та гідрологічного моніторингу. Ефективність методів залежить від особливостей даних, патернів пропусків та їхньої кількості. Метод RegrImputer виділяється найвищою обчислювальною ефективністю, EntropyImputer забезпечує найбільше зменшення умовної ентропії, а HybridRegrEntropyImputer демонструє підвищену точність імпутування. За наявності кореляційних залежностей CorrelationImputer забезпечує найвищу точність, а його модифікація для сезонних даних підвищує якість прогнозування, хоча й вимагає більших обчислювальних витрат.
Розроблені методи покращують якість моделей класифікації та прогнозування порівняно з базовими моделями без імпутування та найпростішим стандартним методом SimpleImputer. Результати дисертації впроваджено в освітній процес кафедри інженерії програмного забезпечення та інформаційних технологій Дніпровського національного університету імені Олеся Гончара, де вони використовуються при викладанні дисциплін «Аналіз даних на мові Python», «Оптимізація та підвищення продуктивності програмного коду», «Аналіз та візуалізація даних», «Технології пошуку структури в даних».
Registration Date
2026-07-15
popup.nrat_date
2026-07-15 / 2026-09-22
