Реєстраційний номер
0825U002811, Дисертація доктора філософії
На здобуття
Доктор філософії
Дата захисту
15-07-2025
Статус
Захищена
Назва роботи
Методи та засоби аналізу відеопотоків та пошуку подібностей у контентно-орієнтованих системах відеоінформації
Здобувач
Поберейко Петро Богданович,
Керівник Мельникова Наталія Іванівна
Опонент Березький Олег Миколайович
Опонент Субботін Сергій Олександрович
Рецензент Матвійчук Ярослав Миколайович
Рецензент Пшеничний Олександр Юрійович
Установа, організація, у вченій раді якої відбудеться/відбувся захист
Національний університет "Львівська політехніка"
Опис
Дисертаційне дослідження присвячене розробленню методів і засобів аналізу відеопотоків та підвищенню точності пошуку подібних фрагментів у контентно-орієнтованих системах відеоінформації (CBVIR). Стрімке зростання обсягів відеоінформації у різних сферах – від систем відеоспостереження та мас-медіа до наукових досліджень і розважальних платформ – зумовлює гостру потребу в ефективних засобах аналізу, пошуку та організації відеоданих. Відповідно, актуальною науковою задачею є швидкий і точний пошук відеоматеріалів за змістом, особливо за умов обмежених обчислювальних ресурсів та великого обсягу даних. Запропоновані у роботі підходи інтегрують сучасні глибокі нейронні мережі (DCNN, LSTM, SlowFast) та методи аналізу сцен (SBD), що дає змогу підвищити точність і швидкодію систем контентного пошуку відео.
Основна частина роботи включає вступ, чотири розділи та висновки. У вступі розглянуто актуальність теми, визначено мету і основні завдання дослідження, окреслено наукову новизну та практичну цінність роботи. Для досягнення мети дисертації поставлено 6 завдань, які виконуються послідовно.
У першому розділі «Аналітичний огляд методів аналізу та пошуку відеоінформації» проведено аналіз літературних джерел і сучасних технологій у галузі контентно-орієнтованих систем відеоінформації. Розглянуто існуючі підходи до сегментації відеопотоків, виділення ключових кадрів та опису відеоконтенту, а також методи пошуку відео за змістом. Проаналізовано можливості застосування технологій глибинного навчання для задач CBVIR та виявлено їх обмеження при опрацюванні великомасштабних відеоданих у реальному часі. За результатами огляду сформульовано завдання для подальших досліджень у межах дисертації.
У другому розділі «Розробка методів сегментації та виділення ознак відеопотоків» запропоновано методи поділу відеопотоків на смислові сцени і виокремлення інформативних ознак відео. Розроблено алгоритм визначення меж сцен на основі методу SBD, який дозволяє сегментувати відеопотік на окремі сцени для подальшого контентного аналізу. Запропоновано та реалізовано алгоритми сегментації і виділення ознак об’єктів на ключових кадрах, які адаптовані до роботи в умовах обмежених обчислювальних ресурсів. Отримані дескриптори відеовмісту структуруються та зберігаються у NoSQL базі даних для забезпечення швидкого доступу при пошуку. Додатково представлено методику клієнтського аналізу відеофрагментів, що включає завантаження довільного фрагмента відео, автоматизоване виявлення меж сцен, виділення багаторівневих ознак та формування комбінованих векторів характеристик, які описують вміст відео. Ці розробки закладають основу для ефективного пошуку відео за змістом у наступних розділах.
У третьому розділі «Методи пошуку подібних відеофрагментів із використанням глибинних мереж» описано розроблені методи порівняння та пошуку схожих відеофрагментів на основі аналізу їхнього змісту. Застосовано глибоку згорткову нейронну мережу (DCNN) у комбінації з рекурентною мережею (LSTM) для оцінювання схожості відеофрагментів за просторовочасовими характеристиками. Розроблено підхід, що враховує як часову динаміку, так і об’єктні ознаки відеоряду (Temporal Similarity Matching – TSIM, та Object Similarity Matching – OSIM). На основі цих методів формується первинний список кандидатів на схожість (Primary List, PLIST), який надалі оптимізується за допомогою додаткових критеріїв для отримання фінального списку подібних відео. Для підвищення точності й ефективності пошуку впроваджено допоміжну нейронну мережу прямого поширення (FNN), яказдійснює моніторинг роботи основної глибинної моделі та коригування її параметрів. Проведено експериментальні дослідження запропонованого підходу, які підтвердили високий рівень точності пошуку релевантнихвідеофрагментів.
У четвертому розділі «Розробка архітектури системи та апробація результатів» представлено розроблений програмний комплекс для реалізації запропонованих методів у режимі реального часу. Спроєктовано загальну архітектуру інформаційної системи пошуку, що включає підсистеми збору, зберігання та обробки відеоданих. Створено сховище даних для збереження обчислених ознак відео та реалізовано програмні компоненти системи у вигляді клієнтської частини (веб-застосунок) і серверної частини (модуль глибинного аналізу). Розроблено діаграми, які описують основні сценарії використання системи та взаємодію між її компонентами, а також обґрунтовано вибір технологій (у тому числі хмарних сервісів) для розгортання системи. Для забезпечення адаптивної оптимізації в режимі реального часу в систему інтегровано модуль моніторингу на основі FNN-нейромережі, який аналізує ключові показники продуктивності (швидкість обробки, використання ресурсів, точність розпізнавання) та автоматично коригує параметри обробки відеопотоку, підтримуючи стабільну роботу пошуку. Реалізовано користувацький вебінтерфейс, що дозволяє завантажувати відеофрагменти та виконувати пошук подібного відео у реальному часі.
Дата реєстрації
2025-07-09
Додано/оновлено в НРАТ
2025-07-09 / 2026-07-01
