Registration Number
0823U101287, PhD dissertation
Status
Доктор філософії
Date
25-10-2023
popup.evolution
.
Title
Image Classification and Segmentation Methods Based on Changeable Convolutional Neural Networks
Author
Konstantin Khabarlak,
popup.head Victor Tkachov
popup.opponent Sergei Subbotin
popup.opponent Pylyp Prystavka
popup.review Katerina L. Sergieieva
popup.review Irina M. Udovik
popup.rada
Dnipro University of Technology
Description
Згорткові нейронні мережі показують високу якість у розв’язанні задач
комп’ютерного зору. Суттєва кількість досліджень присвячена розробці нейронних мереж для їх виконання на потужних серверах, однак в ряді випадків
їх використання ускладнюється з таких причин: коли інтернет з’єднання є нестабільним або відсутнє взагалі, коли користувач не погоджується передавати
приватні дані із свого пристрою, коли загальний об’єм даних надто великий
для передачі з усіх пристроїв на сервер тощо. У разі необхідності обробки
зображень на мобільному або малопотужному пристрої виникає цілий ряд
проблем:
— такі пристрої мають обмежені обчислювальні ресурси, і мережа на них
може виконуватись за неприпустимо довгий для цільової задачі час. А отже,
архітектури глибоких згорткових нейронних мереж із великою кількістю параметрів, що показують високу якість на серверах, мають зазнати змін для
застосування на мобільних пристроях;
— робота від батареї передбачає мінімізацію кількості обчислень. Через
це великий інтерес наукової спільноти спрямований на розробку архітектур
мобільних нейронних мереж, що враховують характеристики пристроїв на
етапі проектування. Проблемою таких нейронних мереж є необхідність остаточного визначення їх конфігурації до початку процедури навчання, що ви-
3
магає повтору довгої процедури навчання після кожної корекції конфігурації
мережі;
— якщо застосунок необхідно встановити на пристрій Інтернету речей,
це додає ще одну категорію пристроїв із меншою обчислювальною потужністю і ставить розробника нейронної мережі перед вибором: або навчити одну
мережу, яка буде достатньо швидкою для всіх пристроїв, але потенційно матиме невисоку якість виконання; або ж навчати окрему мережу для кожної
категорії пристроїв, що, враховуючи довгий час навчання глибоких нейронних мереж, значно збільшить витрати на розробку системи.
Метою роботи є прискорення навчання і виконання згорткових нейронних мереж для задач класифікації та сегментації зображень без втрат (або з
якомога меншими втратами) якості розпізнавання за рахунок розробки змінюваних нейронних мереж і методів їх навчання. Під змінюваною нейронною мережею будемо розуміти згорткову мережу із змінною складністю.
Наукова новизна одержаних результатів:
— вперше для задач класифікації та сегментації зображень розроблені
змінювані згорткові нейронні мережі та метод їх навчання, які, на відміну від
існуючих, дозволяють обирати одну з конфігурацій із різними обчислювальними складностями під час або після навчання. На наборі даних ImageNet
розроблена мережа за ефективністю (в сенсі співвідношення якість розпізнавання/час виконання) зайняла п’яте місце серед 17 провідних архітектур мереж, а на CamVid прискорення виконання склало понад 6 % без втрат якості;
— вперше розроблено метод Λ-шаблонів прискорення оптимізаційного
мета-навчання, який, на відміну від існуючих, дозволяє за рахунок зміни
складності нейронної мережі зменшити кількість обчислень під час
навчання, та таким чином пришвидшити адаптацію мережі до нових класів
за малою кількістю прикладів на 7,5 % при втратах якості менше 0,4 %.
Registration Date
2023-11-14
popup.nrat_date
2023-11-14 / 2026-07-01
