Реєстраційний номер
0826U001132, Дисертація доктора філософії
На здобуття
Доктор філософії
Дата захисту
15-06-2026
Статус
Наказ про видачу диплома
Назва роботи
Метод гібридизації архітектур нейронних мереж для аналізу мультимодальних даних
Здобувач
Гордієнко Нікіта Юрійович,
Керівник Стіренко Сергій Григорович
Опонент Терещенко Василь Миколайович
Опонент Глибовець Андрій Миколайович
Рецензент Писарчук Олексій Олександрович
Рецензент Шимкович Володимир Миколайович
Установа, організація, у вченій раді якої відбудеться/відбувся захист
Національний технічний університет України "Київський політехнічний інститут імені Ігоря Сікорського"
Опис
Дисертаційна робота присвячена розробці комплексного методу гібридизації архітектур нейронних мереж для мультимодальних даних з метою підвищення стійкості, здатності до узагальнення та ефективності глибоких нейронних мереж в умовах обмежених обчислювальних ресурсів.
В даній роботі було досліджено напрямок сучасного розвитку технологій для вирішення задач компʼютерного зору з використанням машинного навчання та глибоких нейронних мереж. Компʼютерні технології широко розвиваються і пристрої Інтернету речей (Internet of Things) стають більш поширеними, технологічними та різноцільовими. Головними обмеженнями в цій сфері є розмір та обчислювальні ресурси, що створює нові виклики для побудови та використання алгоритмів компʼютерного зору. Широке застосування компʼютерного зору в системах такого типу вимагає високих показників надійності та стабільності, а отже постає потреба в розробці систем з високими показниками стійкості та високою можливістю до узагальнення, які можуть бути використані в умовах обмежених обчислювальних ресурсів. Новітніми методами, які використовуються для покращення показників нейронних мереж є поєднання або злиття даних різних типів і використання декількох модальностей. Ці техніки показали свою ефективність в дослідженнях та в різних сферах впровадження, що робить їх перспективними.
В даній роботі, вперше було розроблено метод гібридизації архітектур нейронних мереж для роботи з мультимодальними даними на основі незалежних горизонтальних однотипних частин і методу синхронізованого мульти-доповнення (SMA) для створення додаткових інтра-модальностей.
Розроблено метод гібридизації, який забезпечує підвищену стійкість моделей до неочікуваних спотворень даних в задачах компʼютерного зору, наприклад повороту зображення або зміни в освітлені, шляхом використанням декількох бекбонів (backbone), тобто основ нейронної мережі, у поєднанні із створеними додатковими інтра-модальностями даних за рахунок вперше запропонованого методу SMA.
Розроблено метод створення архітектур нейронних мереж на основі окремих незалежних горизонтальних однотипних частин, бекбонів, які отримують дані з декількома інтер-модальностями або інтра-модальностями, з обʼєднанням отриманих результатів і мультимодального навчання, що дозволяє створювати розподілені паралельні системи у яких складність додаткових обчислень не збільшує час виконання аналізу.
Розроблено метод зменшення обчислювальної складності, який шляхом інтеграції незмінених класичних архітектур глибинних нейронних мереж у мультибекбонні конфігурації і доповненням додатковими модальностями, не втрачає точність результатів при зменшенні розмірності картинки, що дає можливість динамічного перемикання між режимами оптимізації для гібридних DNN у залежності від вимог реального часу та наявних ресурсів.
Проведено аналіз результатів, який довів що запровадження SMA вирішує проблему втрати у точності стандартних підходів з одним бекбоном і однією модальністю на нових даних з трансформаціями. За допомогою методу SMA і перенавчання моделі з додатковими створеними інтра-модальностями на прикладі фотометричних змін, які моделюють різні умови освітлення та налаштування камери, втрата точності класифікації (AUC) зменшується з 16% до 4%, без втрати точності на оригінальному наборі даних. Без перенавчання моделі можливо підвищити стійкість до неочікуваних випадків за допомогою поєднання однотипних бекбонів. На прикладі просторових перетворень у вигляді поворотів з випадковим кутом, запропонована модель зменшила втрату AUC з 21% до 6%. Доведено, що гібридні системи комп’ютерного на основі мультибекбонних конфігурацій з поєднанням різних інтер-модальностей, на прикладі IR та RGB-даних, дозволяє підвищити середню точність детекції (mAP) на 4,5–19,8% порівняно з базовими конфігураціями та дозволяє використовувати дані меншої розмірності, зменшуючи обчислювальну складність. Гібридні моделі, які побудовані на основі комбінацій відомих архітектур, здатні забезпечити надійну класифікацію в інших сферах застосування, наприклад в задачах класифікації з використанням медичного обладнання на основі ЕЕГ даних. Метод забезпечує покращену точність в складних умовах, дозволяє зменшити кількість необхідних параметрів, а отже кількість обчислень, і може бути ефективно використаний у системах з обмеженими ресурсами.
В даній роботі показано, що гібридна багатобекбонна структура дозволяє ефективно розподіляти обчислення між кількома ядрами або процесорами. Це дозволяє уникнути створення додаткових затримок і зберегти час обробки при додаванні нових окремих бекбонів з окремими вагами.
Дата реєстрації
2026-04-21
Додано/оновлено в НРАТ
2026-04-21 / 2026-07-07
