Реєстраційний номер
2126U000282, Матеріали видань та локальних репозитаріїв
Категорія
Опубліковано, Стаття
Назва роботи
WELER: КОМПЛЕКСНИЙ ПОКАЗНИК ДЛЯ ОЦІНКИ ЯКОСТІ ТЕКСТУ
Автор
Думин А. Р.
Шаховська Н. Б.
Dumyn A. R.
Shakhovska N. B.
Дата публікації
27-03-2026
Постачальник інформації
Журнал "Радіоелектроніка, інформатика, управління" (Національний університет "Запорізька політехніка")
Першоджерело
https://ric.zp.edu.ua/article/view/352481
Видання
National University "Zaporizhzhia Polytechnic"
Опис
Актуальність. Оцінка якості тексту є важливою для надійного штучного інтелекту, який обробляє мову. В ASRвона відображає, наскільки точно мовлення стає текстом; в OCR – наскільки точно зображення перетворюють текст; а в NLP – наскільки правильними та зв’язними є виходи.Мета. Метою роботи є створення складної метрики для оцінки якості тексту.Метод. Класичні метрики WER та CER є вузькими: вони фіксують лише лексичні редагування, однаково зважують усі зміни, ігнорують контекст та семантику, і часто пропускають пунктуацію та регістр, маскуючи проблеми читабельності та типи помилок. апропонована метрика WELER інтегрує точний підрахунок помилок на рівні слів тасимволів, використовуючи відстань Левенштейна як основу, з передовими методами семантичної подібності, заснованими на контекстному вбудовуванні. Це дозволяє WELER враховувати не лише те, що було неправильнорозпізнано, але й те, наскільки ця помилка впливає на значення та розуміння тексту. Включення самоналаштовуванихваг залежно від категорії тексту є ключовою особливістю WELER, яка дозволяє адаптувати метрику до конкретних вимог різних застосувань та областей, надаючи пріоритет тим аспектам якості, які є найбільш критичними для конкретного завдання.Результати. Метрика WELER пропонується як ефективний підхід до оцінювання якості тексту. Її концептуальна основа полягає в інтеграції традиційного підрахунку помилок на словесному та символьному рівнях, заснованого навідстані Левенштейна, із сучасними методами оцінювання семантичної подібності, що використовуютьконтекстуальні векторні подання. Такий підхід забезпечує більш комплексне відображення впливу помилок на змістову цілісність та інтерпретованість результатного тексту.Висновки. WELER, як і всі метрики, засновані на довідкових даних, спирається на точні та послідовнітранскрипції, перевірені людиною. Помилки в довідкових даних можуть впливати на точність оцінки. Тому для складних метрик якість та репрезентативність цих даних є особливо важливими, оскільки семантичні та зважені помилки набагато чутливіші до якості анотації, ніж проста кількість слів.
Додано/оновлено в НРАТ
2026-04-20
