Реєстраційний номер
0826U003675, Дисертація доктора філософії
На здобуття
Доктор філософії
Дата захисту
25-08-2026
Статус
Захищена
Назва роботи
Методи і засоби трансформації звукової інформації в жестову мову з використанням нейронної мережі.
Здобувач
Луц Владислав Євгенійович,
Керівник Безверхий Олександр Ігорович
Опонент Золотухін Олег Вікторович
Опонент Крак Юрій Васильович
Рецензент Аль-Амморі Алі Нурдінович
Рецензент Комісаренко Олена Сергіївна
Установа, організація, у вченій раді якої відбудеться/відбувся захист
Національний транспортний університет
Опис
Дисертаційна робота присвячена розробці та дослідженню методів і засобів автоматичного перетворення усного мовлення на текстове представлення, придатне для перекладу на Українську жестову мову (УЖМ), з використанням нейромережевих технологій. У роботі обґрунтовується необхідність комплексного
підходу до вирішення задачі: адаптивна фільтрація аудіосигналу, автоматичне розпізнавання мовлення, каскадна автокорекція помилок ASR та концептуально-семантична лематизація тексту для жестового словника.
У першому розділі проведено аналіз соціального контексту та актуальності проблеми: встановлено критичний дефіцит перекладачів УЖМ в Україні, огляд вітчизняних та міжнародних систем ASR і лематизації. Виявлено принципову прогалину: існуючі підходи не враховують концептуальної організації жестового словника, де одна лема об’єднує граматичні форми слова та всі семантично споріднені префіксальні похідні. Сформульовано мету, задачі та наукову новизну дослідження.
У другому розділі проведено порівняльний аналіз технологій ASR (класичні HMM/GMM, wav2vec 2.0, Whisper), автокорекції (ByT5, Stanza, Pymorphy3), лематизації (Seq2Seq, словникові методи) та фільтрації аудіосигналів. Обґрунтовано вибір Faster-Whisper large-v3 для ASR, ByT5-small для автокорекції та character-level Seq2Seq для концептуально-семантичної лематизації.
У третьому розділі розроблено та верифіковано три підсистеми pipeline. Підсистема адаптивної аудіофільтрації (п’ятикомпонентний каскад) знизила рівень шуму на 33 % при збереженні основного тону голосу 154 Гц. Підсистема автокорекції ByT5 досягла 84,41 % проти 28,35% у spaCy(uk) та проти 21,39% у Pyspellchecker на 119 тестових реченнях. Підсистема лематизації (каскад lookup → Seq2Seq) досягла 87,0 % на 200 концептуальних тестових парах, перевищивши Stanza на 29,1 в.п.
У четвертому розділі підсистеми інтегровано у єдиний багатопотоковий pipeline реального часу з графічним інтерфейсом на PyQt5. Двопотокова архітектура (recording thread + processing thread) з thread-safe взаємодією через pyqtSignal забезпечила WER 11,11 % та Accuracy 88,89 % при тестуванні на реальних мовленнєвих фрагментах.
Ключові слова: розпізнавання мовлення, інформаційні технології, машинне навчання, глибоке навчання, інформаційні системи, оброблення текстів, Українська Жестова Мова, автокорекція, нейронна мережа, інтелектуальні системи, штучний інтелект, аналіз звукових сигналів, концептуально-семантична лематизація, інтелектуальні технології, комунікаційні технології.
Дата реєстрації
2026-07-17
Додано/оновлено в НРАТ
2026-07-17 / 2026-08-29
