Search academic texts

Information × Registration Number 0421U103063, Candidate dissertation Status Кандидат технічних наук Date 06-05-2021 popup.evolution o Title Ukrainian dactyl alphabet gesture modeling and recognition using crossplatform technologies Author Kondratiuk Serhii S., popup.head Krak Yurii Vasylovych popup.opponent Hlybovets Andrii M. popup.opponent Shestakevych Tetiana V. Description Вперше запропонована технологія, розроблена з використанням кросплатформених інструментів для моделювання жестів української дактильної абетки, анімації переходів між станами жестових одиниць і поєднання жестів (слів). Розроблена технологія відтворює послідовність жестів з використанням віртуальної просторової моделі руки і виконує розпізнавання дактилем з вхідного потоку камери за допомогою згорткової нейронної мережі на основі архітектури MobileNetv2, навченої на зібраному наборі зображень, і з обраною оптимальною конфігурацією шарів і параметрів. На зібраному наборі тестових даних української дактильної абетки досягнута точність більш ніж 97%. В рамках технології, для підготовки моделі розпізнавання жестів, вперше зібраний статистично значимий масив даних української дактильної абетки, що складається з більш ніж 50000 зображень жестів рук 50 осіб в різних умовах навколишнього середовища, умовах освітлення і доповнених методами аугментації даних. Обрана архітектура згорткової нейронної мережі MobileNetv2 вдосконалена за рахунок тривимірних згорток, що дозволило навчити модель розпізнавання з якістю 0.97 метрики f1 на тестовому наборі даних, яка перевищує або є на одному рівні з сучасним розробками в цій області для інших мов. Результати моделювання і експериментальних досліджень, отримані в роботі, можуть бути використані для розробки перспективних технологій спілкування користувача з комп’ютером, а також в системах альтернативного спілкування мовою жестів. Registration Date 2021-06-04 popup.nrat_date 2021-06-04 Close