Registration Number
0825U002811, PhD dissertation
Status
Доктор філософії
Date
15-07-2025
popup.evolution
.
Title
Methods and Tools for Video Stream Analysis and Similarity Search in Content-Based Video Information Systems
Author
Petro B. Pobereyko,
popup.head Nataliya I. Melnykova
popup.opponent Oleh M. Berezsky
popup.opponent Sergiy O. Subbotin
popup.review Yaroslav M. Matviichuk
popup.review Olexandr Y. Pshenychnyy
popup.rada
Lviv Polytechnic National University
Description
Дисертаційне дослідження присвячене розробленню методів і засобів аналізу відеопотоків та підвищенню точності пошуку подібних фрагментів у контентно-орієнтованих системах відеоінформації (CBVIR). Стрімке зростання обсягів відеоінформації у різних сферах – від систем відеоспостереження та мас-медіа до наукових досліджень і розважальних платформ – зумовлює гостру потребу в ефективних засобах аналізу, пошуку та організації відеоданих. Відповідно, актуальною науковою задачею є швидкий і точний пошук відеоматеріалів за змістом, особливо за умов обмежених обчислювальних ресурсів та великого обсягу даних. Запропоновані у роботі підходи інтегрують сучасні глибокі нейронні мережі (DCNN, LSTM, SlowFast) та методи аналізу сцен (SBD), що дає змогу підвищити точність і швидкодію систем контентного пошуку відео.
Основна частина роботи включає вступ, чотири розділи та висновки. У вступі розглянуто актуальність теми, визначено мету і основні завдання дослідження, окреслено наукову новизну та практичну цінність роботи. Для досягнення мети дисертації поставлено 6 завдань, які виконуються послідовно.
У першому розділі «Аналітичний огляд методів аналізу та пошуку відеоінформації» проведено аналіз літературних джерел і сучасних технологій у галузі контентно-орієнтованих систем відеоінформації. Розглянуто існуючі підходи до сегментації відеопотоків, виділення ключових кадрів та опису відеоконтенту, а також методи пошуку відео за змістом. Проаналізовано можливості застосування технологій глибинного навчання для задач CBVIR та виявлено їх обмеження при опрацюванні великомасштабних відеоданих у реальному часі. За результатами огляду сформульовано завдання для подальших досліджень у межах дисертації.
У другому розділі «Розробка методів сегментації та виділення ознак відеопотоків» запропоновано методи поділу відеопотоків на смислові сцени і виокремлення інформативних ознак відео. Розроблено алгоритм визначення меж сцен на основі методу SBD, який дозволяє сегментувати відеопотік на окремі сцени для подальшого контентного аналізу. Запропоновано та реалізовано алгоритми сегментації і виділення ознак об’єктів на ключових кадрах, які адаптовані до роботи в умовах обмежених обчислювальних ресурсів. Отримані дескриптори відеовмісту структуруються та зберігаються у NoSQL базі даних для забезпечення швидкого доступу при пошуку. Додатково представлено методику клієнтського аналізу відеофрагментів, що включає завантаження довільного фрагмента відео, автоматизоване виявлення меж сцен, виділення багаторівневих ознак та формування комбінованих векторів характеристик, які описують вміст відео. Ці розробки закладають основу для ефективного пошуку відео за змістом у наступних розділах.
У третьому розділі «Методи пошуку подібних відеофрагментів із використанням глибинних мереж» описано розроблені методи порівняння та пошуку схожих відеофрагментів на основі аналізу їхнього змісту. Застосовано глибоку згорткову нейронну мережу (DCNN) у комбінації з рекурентною мережею (LSTM) для оцінювання схожості відеофрагментів за просторовочасовими характеристиками. Розроблено підхід, що враховує як часову динаміку, так і об’єктні ознаки відеоряду (Temporal Similarity Matching – TSIM, та Object Similarity Matching – OSIM). На основі цих методів формується первинний список кандидатів на схожість (Primary List, PLIST), який надалі оптимізується за допомогою додаткових критеріїв для отримання фінального списку подібних відео. Для підвищення точності й ефективності пошуку впроваджено допоміжну нейронну мережу прямого поширення (FNN), яказдійснює моніторинг роботи основної глибинної моделі та коригування її параметрів. Проведено експериментальні дослідження запропонованого підходу, які підтвердили високий рівень точності пошуку релевантнихвідеофрагментів.
У четвертому розділі «Розробка архітектури системи та апробація результатів» представлено розроблений програмний комплекс для реалізації запропонованих методів у режимі реального часу. Спроєктовано загальну архітектуру інформаційної системи пошуку, що включає підсистеми збору, зберігання та обробки відеоданих. Створено сховище даних для збереження обчислених ознак відео та реалізовано програмні компоненти системи у вигляді клієнтської частини (веб-застосунок) і серверної частини (модуль глибинного аналізу). Розроблено діаграми, які описують основні сценарії використання системи та взаємодію між її компонентами, а також обґрунтовано вибір технологій (у тому числі хмарних сервісів) для розгортання системи. Для забезпечення адаптивної оптимізації в режимі реального часу в систему інтегровано модуль моніторингу на основі FNN-нейромережі, який аналізує ключові показники продуктивності (швидкість обробки, використання ресурсів, точність розпізнавання) та автоматично коригує параметри обробки відеопотоку, підтримуючи стабільну роботу пошуку. Реалізовано користувацький вебінтерфейс, що дозволяє завантажувати відеофрагменти та виконувати пошук подібного відео у реальному часі.
Registration Date
2025-07-09
popup.nrat_date
2025-07-09 / 2026-07-01
