Кандидатська дисертація. Кондратюк Сергій Сергійович. Розпізнавання та моделювання жестів української дактильної абетки за допомогою кросплатформених технологій

Registration Number

0421U103063, Candidate dissertation

Status

Кандидат технічних наук

Date

06-05-2021

popup.evolution

.

Title

Ukrainian dactyl alphabet gesture modeling and recognition using crossplatform technologies

Author

Kondratiuk Serhii S.,

popup.head Krak Yurii Vasylovych
popup.opponent Hlybovets Andrii M.
popup.opponent Shestakevych Tetiana V.

popup.rada

Taras Shevchenko National University of Kyiv

Description

Вперше запропонована технологія, розроблена з використанням кросплатформених інструментів для моделювання жестів української дактильної абетки, анімації переходів між станами жестових одиниць і поєднання жестів (слів). Розроблена технологія відтворює послідовність жестів з використанням віртуальної просторової моделі руки і виконує розпізнавання дактилем з вхідного потоку камери за допомогою згорткової нейронної мережі на основі архітектури MobileNetv2, навченої на зібраному наборі зображень, і з обраною оптимальною конфігурацією шарів і параметрів. На зібраному наборі тестових даних української дактильної абетки досягнута точність більш ніж 97%. В рамках технології, для підготовки моделі розпізнавання жестів, вперше зібраний статистично значимий масив даних української дактильної абетки, що складається з більш ніж 50000 зображень жестів рук 50 осіб в різних умовах навколишнього середовища, умовах освітлення і доповнених методами аугментації даних. Обрана архітектура згорткової нейронної мережі MobileNetv2 вдосконалена за рахунок тривимірних згорток, що дозволило навчити модель розпізнавання з якістю 0.97 метрики f1 на тестовому наборі даних, яка перевищує або є на одному рівні з сучасним розробками в цій області для інших мов. Результати моделювання і експериментальних досліджень, отримані в роботі, можуть бути використані для розробки перспективних технологій спілкування користувача з комп’ютером, а також в системах альтернативного спілкування мовою жестів.

Registration Date

2021-06-04

popup.nrat_date

2021-06-04 / 2026-06-30