Пошук академічних текстів

Інформація × Реєстраційний номер 2125U004828, Матеріали видань та локальних репозитаріїв Категорія Стаття, Опубліковано Назва роботи ВПЛИВ КОМБІНОВАНИХ ВЕКТОРНИХ ПРЕДСТАВЛЕНЬ НА ТОЧНІСТЬ ПОШУКУ НЕЧІТКИХ ДУБЛІКАТІВ Автор Козинець Назарій ВікторовичЗаболотня Тетяна МиколаївнаKozynets Nazarii ViktorovychZabolotnya Tetyana Mykolaivna Дата публікації 27-03-2025 Постачальник інформації "Наукові праці Вінницького національного технічного університету" (Вінницький національний технічний університет) Першоджерело https://praci.vntu.edu.ua/index.php/praci/article/view/777 Видання Вінницький національний технічний університет Опис У статті запропоновано новий підхід до виявлення нечітких у текстових даних, що базується на інтеграції класичних та сучасних методів векторизації. Зокрема, традиційне TF-IDF-векторизування поєднано з контекстуальними ембедингами (BERT), які враховують не лише окремі слова, а й їхній контекст у межах усього документа. Це дозволяє отримати багатовимірне представлення тексту, яке краще відображає його семантичне значення. Така комбінована методологія дає змогу підвищити точність пошуку схожих за змістом, але по-різному сформульованих текстів, що є важливим у таких сферах, як інформаційний пошук, аналіз дублікатів у базах даних та верифікація унікальності контенту. Окрему увагу приділено врахуванню синонімів та антонімів у процесі порівняння текстових фрагментів, що дає змогу не лише ідентифікувати прямі збіги, а й аналізувати схожість на глибшому семантичному рівні. Це, у свою чергу, сприяє зменшенню кількості хибних спрацьовувань, оскільки метод здатен краще розпізнавати контекстуальні відмінності та схожості між словами, що особливо актуально для текстів, написаних природною мовою. Водночас такий підхід підвищує ефективність виявлення прихованих дублікатів, які могли б залишитися непоміченими при використанні традиційних методів аналізу, орієнтованих лише на лексичну подібність. Експериментальні результати підтвердили переваги запропонованого рішення порівняно з базовим методом косинусної схожості, оскільки воно забезпечує більшу точність та повноту, що є критично важливим для задач автоматичної обробки текстових даних. У підсумку окреслено подальші напрями досліджень, зокрема можливості оптимізації обчислювальної складності запропонованого методу, його адаптацію до специфічних предметних областей, а також дослідження впливу додаткових семантичних ознак на якість виявлення нечітких дублікатів. Додано в НРАТ 2026-04-20 Закрити