Registration Number
0826U004516, PhD dissertation
Status
Доктор філософії
Date
28-08-2026
popup.evolution
o
Title
Optimization of Parameters and Structure of Neural Networks Using
Evolutionary Algorithms.
Author
Bohdan Hirianskyi,
popup.head Bohdan V. Bulakh
popup.opponent Vitaliy Y. Snytyuk
popup.opponent Viktor M. Khavalko
popup.review Svitlana Shapovalova
popup.review Kostiantyn V. Kharchenko
popup.rada
National Technical University of Ukraine «Igor Sikorsky Kyiv Polytechnic Institute»
Description
187 с., 4 розд., 19 рис., 36 табл., 2 дод., 124 джерела.
АПАРАТНІ ОБМЕЖЕННЯ, БАГАТОШАРОВИЙ ПЕРЦЕПТРОН (MLP), ГЕНЕТИЧНИЙ АЛГОРИТМ, ГЛИБОКЕ НАВЧАННЯ, ЗГОРТКОВІ НЕЙРОННІ МЕРЕЖІ (CNN), ЗЛИТТЯ МОДЕЛЕЙ, МАШИННЕ НАВЧАННЯ, НЕЙРОННІ МЕРЕЖІ, ОПТИМІЗАЦІЯ ГІПЕРПАРАМЕТРІВ, ПРОРІДЖУВАННЯ, СТИСНЕННЯ МОДЕЛЕЙ, СУРОГАТНА МОДЕЛЬ, CMA-ES, NUMPY, PYTHON.
Об'єкт дослідження – процеси оптимізації параметрів та структури нейронних мереж. Предмет дослідження – методи та алгоритми застосування еволюційних обчислень для структурної оптимізації, пошуку гіперпараметрів і злиття нейронних мереж. Мета дослідження – підвищення ефективності процесів оптимізації параметрів та структури нейронних мереж шляхом розробки та дослідження еволюційних методів стиснення, оптимізації гіперпараметрів та злиття моделей.
Методи дослідження. Методи системного аналізу застосовано для класифікації підходів та формулювання задач. Еволюційні алгоритми безперервної оптимізації (CMA-ES, диференціальна еволюція, генетичний алгоритм) – для пошарового розподілу розрідженості, оптимізації гіперпараметрів та злиття моделей. Методи теорії матриць (апроксимація сліду матриці Гессе, двонаправлена метрика спорідненості нейронів) – для оцінки важливості ваг та нейронів. Сурогатне моделювання (Random Forest) – для оптимізації гіперпараметрів. Багаторукий ε-жадібний бандит – для контролю достовірності сурогату. Непараметрична статистика (критерії Фрідмана, Немені, Вілкоксона, бутстрап-довірчі інтервали) – для оцінювання ефективності методів. Глибоке навчання та об'єктно-орієнтоване програмування – для реалізації прототипів.
Апаратура та програмне забезпечення. Обчислення виконано на Apple MacBook Air (M2, 16 ГБ), переважно на центральному процесорі в однопотоковому режимі. Використано Python 3.11, PyTorch 2.1 з бекендом MPS, NumPy, SciPy, scikit-learn, pycma, DEAP та matplotlib.
Результати. Розроблено апаратно-незалежну метрику обчислювальної вартості RCU, максимальний зсув якої за стресових умов становить 14,1 % порівняно з 868–959 % для реального та процесорного часу. Вперше запропоновано три методи.
Метод TESA-26 виконує проріджування нейронної мережі без зміни її структури. Частка збережених вагових коефіцієнтів у кожному шарі визначається еволюційним пошуком, після проміжного проріджування значущість коефіцієнтів обчислюється повторно, а також враховується штраф за повністю деактивовані нейрони. Метод показав найкращий середній ранг Фрідмана 2,04 порівняно з Magnitude, WANDA, SparseGPT і RIA на 6 наборах даних, 12 рівнях проріджування та 1080 записах.
Метод GFCS виконує ущільнення розрідженої нейронної мережі. Його ядро працює виключно з ваговими коефіцієнтами моделі й не потребує ані повного перенавчання, ані доступу до навчальної вибірки. Метод еволюційно визначає кількість нейронів, які доцільно зберегти в кожному шарі, та об'єднує надлишкові нейрони за спорідненістю їхніх вхідних і вихідних зв'язків. Це забезпечило стиснення у 7,6 раза та середнє прискорення у 1,42 раза, а після короткого доналаштування якість збережено на всіх 8 наборах даних.
У методі пошуку гіперпараметрів нейронних мереж еволюційний алгоритм формує та відбирає можливі значення гіперпараметрів без повного навчання мережі для кожного варіанта. Допоміжна модель визначає очікуване значення цільової функції для сформованих варіантів, після чого на реальне навчання передається лише один із них. Метод реалізовано у двох варіаціях, SACMA-DAC і SACMA-MAB, які посіли 1–2 місця серед 9 підходів на 43 задачах за середніми рангами 2,47 і 2,95 та AUCC 0,9257 і 0,9210.
Удосконалено метод злиття нейронних мереж для випадку, коли вихідні моделі навчені на різних підмножинах класів або даних. Запропонований метод ENT не усереднює ваги моделей, а формує об'єднану мережу з частини нейронів першої та другої моделей, склад якої та внесок кожної моделі для різних класів визначає генетичний алгоритм. Цільова функція враховує частку правильно розпізнаних прикладів у всій валідаційній вибірці та окремо точність для найгірше розпізнаваного класу. Розпізнано 10 з 10 класів із точністю 0,749 і балансом 0,981, а після калібрації ENT-FT точність зросла до 0,917, мінімальна класова точність – до 0,840 за балансу 0,957.
Ефективність упровадження. Результати впроваджено у виробничу діяльність ТОВ «СД Профзв'язок» (ЄДРПОУ 38061866), що підтверджено актом. Методи TESA-26 і GFCS у складі програмного модуля стиснення нейромережевих моделей забезпечили стиснення вдвічі та пришвидшення обробки даних понад 40 % в інструментах опрацювання польових вимірювань для діагностики стану об'єктів зв'язку на мобільних пристроях. Методи SACMA-DAC і SACMA-MAB упроваджено у складі модуля автоматизованого підбору гіперпараметрів, інтегрованого у процес тренування моделей компанії.
Галузь використання – системи машинного навчання: стиснення нейромережевих моделей для пристроїв з обмеженими обчислювальними ресурсами, автоматизований добір гіперпараметрів (AutoML), повторне використання й об'єднання попередньо навчених моделей.
Registration Date
2026-08-11
popup.nrat_date
2026-08-11 / 2026-09-16
