Пошук академічних текстів

Інформація × Реєстраційний номер 0421U103063, Кандидатська дисертація На здобуття Кандидат технічних наук Дата захисту 06-05-2021 Статус Запланована Назва роботи Розпізнавання та моделювання жестів української дактильної абетки за допомогою кросплатформених технологій Здобувач Кондратюк Сергій Сергійович, Керівник Крак Юрій Васильович Опонент Глибовець Андрій Миколайович Опонент Шестакевич Тетяна Валеріївна Опис Вперше запропонована технологія, розроблена з використанням кросплатформених інструментів для моделювання жестів української дактильної абетки, анімації переходів між станами жестових одиниць і поєднання жестів (слів). Розроблена технологія відтворює послідовність жестів з використанням віртуальної просторової моделі руки і виконує розпізнавання дактилем з вхідного потоку камери за допомогою згорткової нейронної мережі на основі архітектури MobileNetv2, навченої на зібраному наборі зображень, і з обраною оптимальною конфігурацією шарів і параметрів. На зібраному наборі тестових даних української дактильної абетки досягнута точність більш ніж 97%. В рамках технології, для підготовки моделі розпізнавання жестів, вперше зібраний статистично значимий масив даних української дактильної абетки, що складається з більш ніж 50000 зображень жестів рук 50 осіб в різних умовах навколишнього середовища, умовах освітлення і доповнених методами аугментації даних. Обрана архітектура згорткової нейронної мережі MobileNetv2 вдосконалена за рахунок тривимірних згорток, що дозволило навчити модель розпізнавання з якістю 0.97 метрики f1 на тестовому наборі даних, яка перевищує або є на одному рівні з сучасним розробками в цій області для інших мов. Результати моделювання і експериментальних досліджень, отримані в роботі, можуть бути використані для розробки перспективних технологій спілкування користувача з комп’ютером, а також в системах альтернативного спілкування мовою жестів. Дата реєстрації 2021-06-04 Додано в НРАТ 2021-06-04 Закрити