Registration Number
0826U003675, PhD dissertation
Status
Доктор філософії
Date
25-08-2026
popup.evolution
.
Title
Methods and means of transforming sound information into sign language using a neural network.
Author
Vladyslav Luts,
popup.head Oleksandr Bezverkhyi
popup.opponent Oleg Zolotukhin
popup.opponent Yurii Krak
popup.review Ali Al-Ammori
popup.review Olena Komisarenko
popup.rada
National Transport University
Description
Дисертаційна робота присвячена розробці та дослідженню методів і засобів автоматичного перетворення усного мовлення на текстове представлення, придатне для перекладу на Українську жестову мову (УЖМ), з використанням нейромережевих технологій. У роботі обґрунтовується необхідність комплексного
підходу до вирішення задачі: адаптивна фільтрація аудіосигналу, автоматичне розпізнавання мовлення, каскадна автокорекція помилок ASR та концептуально-семантична лематизація тексту для жестового словника.
У першому розділі проведено аналіз соціального контексту та актуальності проблеми: встановлено критичний дефіцит перекладачів УЖМ в Україні, огляд вітчизняних та міжнародних систем ASR і лематизації. Виявлено принципову прогалину: існуючі підходи не враховують концептуальної організації жестового словника, де одна лема об’єднує граматичні форми слова та всі семантично споріднені префіксальні похідні. Сформульовано мету, задачі та наукову новизну дослідження.
У другому розділі проведено порівняльний аналіз технологій ASR (класичні HMM/GMM, wav2vec 2.0, Whisper), автокорекції (ByT5, Stanza, Pymorphy3), лематизації (Seq2Seq, словникові методи) та фільтрації аудіосигналів. Обґрунтовано вибір Faster-Whisper large-v3 для ASR, ByT5-small для автокорекції та character-level Seq2Seq для концептуально-семантичної лематизації.
У третьому розділі розроблено та верифіковано три підсистеми pipeline. Підсистема адаптивної аудіофільтрації (п’ятикомпонентний каскад) знизила рівень шуму на 33 % при збереженні основного тону голосу 154 Гц. Підсистема автокорекції ByT5 досягла 84,41 % проти 28,35% у spaCy(uk) та проти 21,39% у Pyspellchecker на 119 тестових реченнях. Підсистема лематизації (каскад lookup → Seq2Seq) досягла 87,0 % на 200 концептуальних тестових парах, перевищивши Stanza на 29,1 в.п.
У четвертому розділі підсистеми інтегровано у єдиний багатопотоковий pipeline реального часу з графічним інтерфейсом на PyQt5. Двопотокова архітектура (recording thread + processing thread) з thread-safe взаємодією через pyqtSignal забезпечила WER 11,11 % та Accuracy 88,89 % при тестуванні на реальних мовленнєвих фрагментах.
Ключові слова: розпізнавання мовлення, інформаційні технології, машинне навчання, глибоке навчання, інформаційні системи, оброблення текстів, Українська Жестова Мова, автокорекція, нейронна мережа, інтелектуальні системи, штучний інтелект, аналіз звукових сигналів, концептуально-семантична лематизація, інтелектуальні технології, комунікаційні технології.
Registration Date
2026-07-17
popup.nrat_date
2026-07-17 / 2026-08-29
