Search academic texts

Registration Number

0825U004180, PhD dissertation

Status

Доктор філософії

Date

15-01-2026

popup.evolution

o

Title

Mathematical modeling and non-gradient optimization of convolutional networks based on multivalued neurons

Author

Oleksandr Y. Vasko,

popup.head Andrii Y. Bryla
popup.opponent Serhii I. Vladov
popup.opponent Sergey O. Subbotin
popup.opponent Yevgeniy V. Bodyanskiy
popup.review Yurii Y. Bilak

Description

Роботу присвячено розробці та теоретичному обґрунтуванню математичної моделі згорткової нейронної мережі на основі багатозначних нейронів (CNNMVN), орієнтованої на розв’язання задач розпізнавання та класифікації образів. Сформовано цілісну математичну основу, що забезпечує формалізований опис згорткових шарів і їх функціонування. Запропоновано два типи згорткових ядер – одноканальні та багатоканальні, встановлено їх відмінності та вплив на складність і ефективність моделі. Показано, що багатоканальні ядра забезпечують стабільнішу роботу, узгоджену з класичними архітектурами CNN. Проаналізовано шари субдискретизації, адаптовані для комплекснозначних даних. Розглянуто усереднюючий та максимальний підходи, встановлено, що усереднення є більш природним для комплексних чисел, тоді як субдискретизація а максимумом потребує попереднього вибору характеристики (амплітуди або фази), що зумовлює суб’єктивність методу. Особливу увагу приділено механізмам зворотного поширення помилки. Запропоновано неградієнтний підхід оптимізації у просторі комплексних чисел на основі різниці між бажаними та фактичними виходами моделі. Описано поширення помилки між повнозв’язними та згортковими шарами, а також ситуації, коли між ними розміщено шари субдискретизації. Для узагальнення алгоритму навчання адаптовано принцип поділу помилки (error-sharing principle) оригінально запропонованого для MLMVN, що забезпечує оновлень ваг з урахуванням багатозначної природи нейронів. Показано, що згорткові шари CNNMVN є узагальненням повнозв’язних шарів MLMVN: у разі коли розміри згорткового ядра та вхідних даних рівні, то операція згортки відтворює поведінку нейронів повнозв’язної архітектури. Проаналізовано специфіку корекції помилок на згорткових шарах, де одне ядро формує множину виходів, що потребує агрегування отриманих помилок. Запропоновано універсальний алгоритм корекції, заснований на батчевому навчанні MLMVN. Окремо запропоновано новий підхід – використання повнозв’язної мережі MLMVN як згорткової у частотній області. Теоретичне підґрунтя цього підходу спирається на теорему про згортку, яка встановлює еквівалентність між просторовим та частотним представленням сигналів і забезпечується використанням перетворення Фур’є. Це дозволяє інтерпретувати операцію згортки у частотній області як покомпонентне множення коефіцієнтів спектра Фур’є ядра згортки на відповідні коефіцієнтиспектра Фур’є сигналу. Метод обмежений неможливістю каскадування кількох згорткових шарів, але демонструє високу ефективність в задачах, де фазові складові формуються безпосередньо з інтенсивностей пікселів. Для зменшення обчислювальної складності запропоновано частотну субдискретизацію, яка передбачає використання лише частини спектра Фур’є та водночас покращує здатність моделі до розпізнавання. Для оцінювання узагальнюючої спроможності реалізовано програмне забезпечення на MATLAB та проведено експерименти на датасетах MNIST і Fashion-MNIST. Досліджено топології з одним і двома згортковими шарами, а також роботу адаптованих алгоритмів субдискретизації. Результати підтвердили ефективність моделей, збіжність процесу навчання та стабільність роботи CNNMVN. Експериментальні дослідження також продемонстрували, що на пізніхетапах навчання CNNMVN, коли точність класифікації мережі досягає відносно високих значень, рівень помилки поступово зменшується, і в системі спостерігається явище так званого «затухання помилок». Для зменшення впливу надмірної нормалізації було розроблено та запропоновано спеціальний механізмадаптивного навчання для CNNMVN. Його побудова враховує як ефект загасання помилок у глибоких шарах, так і вплив надмірної нормалізації, щочасто призводить до уповільнення навчання та зниження здатності мережі доузагальнення. Він включає масштабування нормалізаційних коефіцієнтів та регулювання величини вагових корекцій залежно від поточної точності класифікації, забезпечуючи гнучкішу оптимізацію. З метою глибшого розуміння роботи згорткових шарів на багатозначних нейронах та здатності мережі до узагальнення було проведено аналіз згорток і ядер, сформованих у процесі навчання. Для цього застосовано методи спектрального аналізу, які дали змогу дослідити поведінку згорткових ядер як у просторовій, так і у частотній областях. Показано, що CNNMVN здатна виділяти ключові просторові ознаки зображень – контури, лінії та структурні елементи, а також виконувати фільтрацію частотних компонент, що розширює можливості її застосування у задачах спектрального аналізу.

Registration Date

2025-11-30

popup.nrat_date

2025-11-30