Registration Number
0825U003396, PhD dissertation
Status
Доктор філософії
Date
22-08-2025
popup.evolution
.
Title
Advancement of methods and tools for voice-based biometric authentication using machine learning technologies.
Author
Khrystyna S. Ruda,
popup.head Halyna V. Mykytyn
popup.opponent Volodymyr Y. Sokolov
popup.opponent Ihor Y. Subach
popup.review Volodymyr V. Khoma
popup.review Maryna Y. Kostiak
popup.rada
Lviv Polytechnic National University
Description
В роботі обґрунтовано доцільність використання нейромережевих технологій машинного навчання для підвищення точності та стійкості голосової біометричної автентифікації. Запропоновано концептуальну модель системи, що реалізує поєднання класичних методів обробки мовного сигналу з сучасними нейронними архітектурами (ECAPA-TDNN, TitaNet, WavLM) і використовує векторні ембедінги для представлення голосових ознак. Проведено формалізацію основних етапів автентифікаційного процесу, зокрема відбору мовного сигналу, його попередньої обробки, екстракції ознак та верифікації особи на основі порівняння ембедінгів.
Розроблено та реалізовано експериментальну методику оцінювання ефективності системи в умовах spoofing-атак із використанням синтетичних голосових зразків, згенерованих за допомогою сучасних моделей голосового клонування (RVC, VITS, XTTS, ElevenLabs). Проведено аналіз стійкості до атак із різними типами текстового контенту та здійснено порівняння результативності нейромережевих архітектур. Досліджено вплив масштабування системи та варіативності мовців на рівень точності верифікації.
У першому розділі «Аналіз особливостей процесу розпізнавання людини за голосом» здійснено комплексний аналіз історичних передумов, теоретичних засад та практичних підходів до побудови систем біометричної автентифікації за голосом. Проведено класифікацію методів голосової автентифікації за принципами їх реалізації – від класичних і статистичних моделей до сучасних нейромережевих архітектур і ембедінг-орієнтованих підходів. Деталізовано архітектурні особливості відповідних моделей та проаналізовано їхній потенціал для реалізації атак типу voice spoofing. Наголошено на необхідності впровадження антиспуфінгових механізмів, а також розглянуто етичні виклики, пов’язані з використанням синтетичних голосів, що формує підґрунтя для подальшого дослідження стійкості систем до подібних загроз.
У другому розділі «Концептуальна модель голосової автентифікації на основі нейромережевих трансформерів» запропоновано концептуальну модель сучасної системи голосової біометрії, що інтегрує класичні та нейромережеві підходи до обробки мовного сигналу. Розглянуто ключові етапи процесу автентифікації: від відбору й попередньої обробки голосового зразка до формування голосового ембедінгу та здійснення верифікації шляхом порівняння тестового і реєстраційного шаблонів. Обґрунтовано ефективність використання глибоких моделей, зокрема ECAPA-TDNN, TitaNet і WavLM, у задачах побудови стійких до шуму і варіативності вхідних даних представлень користувача. Проведено порівняльний аналіз класичних (MFCC, LPC, i-vector) та сучасних нейромережевих методів екстракції ознак, показано їхні переваги й недоліки. Особливу увагу приділено проблемам безпеки, впровадженню стандартів ISO/IEC 30107 і C2PA, а також формуванню моделей, здатних протистояти атакам із застосуванням синтетичних голосів.
У третьому розділі «Імплементація вдосконалення системи голосової автентифікації» здійснено практичну реалізацію та всебічний аналіз роботи вдосконаленої системи біометричної автентифікації за голосом. Побудована архітектура системи на основі ембедінгів, де описано механізми реєстрації голосових профілів, налаштування порогових значень та процедуру верифікації користувачів. Проведено порівняння властивостей косинусної, евклідової, мангеттенської та Махаланобісової відстаней, із акцентом на доцільності використання косинусної відстані як найбільш стійкої до акустичних флуктуацій. Деталізовано модулі обробки тестових зразків, екстракції ембедінгів за допомогою моделей ECAPA, TitaNet, WavLM, а також процедури прийняття рішень на основі обчисленої відстані. Запропоновано методику побудови тестових пар зразків для розрахунку FAR і FRR, проведено калібрування порогів для кожної моделі з урахуванням її метричних властивостей, яка дозволила забезпечити адаптивність системи до різних моделей ембедінгів і покращити загальну точність класифікації.
У четвертому розділі «Оцінювання стійкості системи до атак типу voice spoofing з використанням технологій клонування голосу» представлено експериментальну методику перевірки захищеності біометричної системи автентифікації за голосом у сценаріях, що моделюють цілеспрямовані атаки із застосуванням синтетичного мовлення. Для дослідження було згенеровано масштабний корпус аудіозразків за допомогою моделей RVC, XTTS, ElevenLabs і Tortoise, що імітували голоси зареєстрованих користувачів у системі. Здійснено класифікацію результатів автентифікації на основі косинусної подібності ембедінгів, отриманих за допомогою моделей ECAPA, TitaNet, WavLM та інших. Продемонстровано залежність точності класифікації від типу клонувальної технології та сценарію текстового наповнення.
У висновках викладено основні результати і рекомендації, які випливають з проведених досліджень, представлено та охарактеризовано кількісні оцінки показників ефективності в умовах використання запропонованих рішень.
Registration Date
2025-08-12
popup.nrat_date
2025-08-12 / 2026-07-02
