Registration Number
2126U000282, Article
popup.category
Опубліковано, Стаття
Title
WELER: A COMPLEX METRIC FOR TEXT QUALITY ASSESSMENT
popup.author
Думин А. Р.
Шаховська Н. Б.
Dumyn A. R.
Shakhovska N. B.
popup.publication
27-03-2026
popup.source_user
Журнал "Радіоелектроніка, інформатика, управління" (Національний університет "Запорізька політехніка")
popup.source
https://ric.zp.edu.ua/article/view/352481
popup.publisher
National University "Zaporizhzhia Polytechnic"
Description
Актуальність. Оцінка якості тексту є важливою для надійного штучного інтелекту, який обробляє мову. В ASRвона відображає, наскільки точно мовлення стає текстом; в OCR – наскільки точно зображення перетворюють текст; а в NLP – наскільки правильними та зв’язними є виходи.Мета. Метою роботи є створення складної метрики для оцінки якості тексту.Метод. Класичні метрики WER та CER є вузькими: вони фіксують лише лексичні редагування, однаково зважують усі зміни, ігнорують контекст та семантику, і часто пропускають пунктуацію та регістр, маскуючи проблеми читабельності та типи помилок. апропонована метрика WELER інтегрує точний підрахунок помилок на рівні слів тасимволів, використовуючи відстань Левенштейна як основу, з передовими методами семантичної подібності, заснованими на контекстному вбудовуванні. Це дозволяє WELER враховувати не лише те, що було неправильнорозпізнано, але й те, наскільки ця помилка впливає на значення та розуміння тексту. Включення самоналаштовуванихваг залежно від категорії тексту є ключовою особливістю WELER, яка дозволяє адаптувати метрику до конкретних вимог різних застосувань та областей, надаючи пріоритет тим аспектам якості, які є найбільш критичними для конкретного завдання.Результати. Метрика WELER пропонується як ефективний підхід до оцінювання якості тексту. Її концептуальна основа полягає в інтеграції традиційного підрахунку помилок на словесному та символьному рівнях, заснованого навідстані Левенштейна, із сучасними методами оцінювання семантичної подібності, що використовуютьконтекстуальні векторні подання. Такий підхід забезпечує більш комплексне відображення впливу помилок на змістову цілісність та інтерпретованість результатного тексту.Висновки. WELER, як і всі метрики, засновані на довідкових даних, спирається на точні та послідовнітранскрипції, перевірені людиною. Помилки в довідкових даних можуть впливати на точність оцінки. Тому для складних метрик якість та репрезентативність цих даних є особливо важливими, оскільки семантичні та зважені помилки набагато чутливіші до якості анотації, ніж проста кількість слів.
popup.nrat_date
2026-04-20