Registration Number
0825U001966, PhD dissertation
Status
Доктор філософії
Date
02-07-2025
popup.evolution
o
Title
Object recognition and voice notification system for visually impaired people based on neural networks and microcontrollers.
Author
Rostyslav Denisov,
popup.head Pavlo V. Popovych
popup.opponent Myroslav Ryabiy
popup.opponent Viktoriya V. Usyk
popup.review Oleksandr I. Drozdenko
popup.review Kyrylo O. Trapezon
popup.rada
National Technical University of Ukraine «Igor Sikorsky Kyiv Polytechnic Institute»
Description
Дисертаційна робота присвячена дослідженню та практичному опису можливості застосування системи розпізнавання об’єктів у режимі реального часу з подальшим голосовим сповіщенням для людей з вадами зору.
Дисертаційне дослідження представлене в чотирьох розділах, в яких обґрунтовані та представлені основні результати роботи.
У вступній частині обґрунтовано актуальність роботи, сформульовано мету та задачі дослідження, наведено методи дослідження, представлена інформація про наукову новизну, а також практичне значення результатів.
У першому розділі виконано огляд етапів процесу розпізнавання зображення, розглянуто як класичні, так і сучасні методи та алгоритми, які застосовуються під час попередньої обробки зображень, виділення ознак, сегментації об’єктів та пост обробці. Розглянуто архітектури сучасних нейронних мереж, а також доступні на ринку пристрої які призначені для людей з вадами зору.
У другому розділі представлено результати аналізу доступних складових системи розпізнавання об’єктів з подальшим голосовим виводом інформації для людей з вадами зору. Встановлено, що оптимальними нейронними мережами для розгортання на пристроях з обмеженими ресурсами є клас мереж MobileNet. Основними перевагами є можливість стиснення розмірів моделі до необхідного, завдяки кофіцієнтам ширини мережі і зміні розміру вхідного зображення, без значних втрат у швидкості і точності розпізнавання. У якості платформи для навчання та експортування нейронних мереж під обрані мікроконтролери, враховуючи функціонал та постійний розвиток обрано платформу Edge Impulse. У якості синтезатора мови оптимальним рішенням є eSpeak NG.
Встановлено, що мікроконтролери та одноплатні комп’ютери є оптимальним рішенням для створення необхідних систем. Вони мають невеликий форм фактор та вагу, а також мають достатньо потужності для виконання задач з розпізнавання об’єктів в режимі реального часу. Для опису варіацій систем розпізнавання об’єктів з подальшим голосовим виводом для людей з вадами зору обрано такі плати як: ESP32-S3-EYE, Raspberry Pi 5 та NVIDIA Jetson Nano. Плати мають різні технічні характеристики і можуть забезпечити різний рівень швидкості розпізнавання об’єктів, і загальну продуктивність системи.
У третьому розділі виконано оцінку часу необхідного на один цикл процесу розпізнавання-оголошення інформації враховуючі швидкість реакції людини на голосову інформацію, та швидкість проходження різних етапів самого процесу. Встановлено час, необхідний на оголошення слів та їх комбінацій різної довжини з врахуванням особливостей Української мови та мовлення. Встановлено, що мінімальний час необхідний на оголошення одного слова становить 129 мс, у той час, як комбінація назва з трьох довгих слів може займати дві секунди на оголошення з урахуванням паузи між словами.
Виконано розрахунок і підбір компонентів для варіантів системи на платах ESP32-S3-EYE , Raspberry Pi 5 та NVIDIA Jetson Nano. Розраховано світловий потік який має забезпечити джерело світла, для нормального функціонування системи при поганому освітленні, та обрано світлодіод Cree XP-G3.
Для оголошення інформації обрано динаміки LD-SP-UM20/8A, що мають компактні розміри, сумісні з обраними платами, забезпечують необхідний рівень гучності. Також, було обрано звуковий підсилювач PAM8403 для підключення динаміків до системи. А також модулі камер для плат, в яких вона відсутня у базовій комплектації.
Розраховано загальну споживану потужність систем у різних комплектаціях з урахуванням роботи нейронних мереж, джерела світла і постійної роботи динаміків. На основі отриманої споживаної потужності було розраховано ємність джерела живлення та обрано оптимальні варіанти для забезпечення автономної роботи системи впродовж 3х годин.
У четвертому розділі проведено дослідження точності та швидкості розпізнавання 5 обраних категорій об’єктів, а саме "windows", "doors", "trees", "traffic light", "crosswalk", нейронними мережами MobileNetV1 96x96 0.2, MobileNetV2 96x96 0.35, MobileNetV2 160x160 0.5 та MobileNetV2 160x160 1.0 для мікроконтролерів ESP32-S3-EYE, NVIDIA Jetson Nano та Raspberry Pi 5 було проведено декілька експериментів з необробленими та змішаними тренувальними зображеннями.
Registration Date
2025-05-26
popup.nrat_date
2025-05-26 / 2026-07-01
