Пошук академічних текстів

Інформація × Реєстраційний номер 2124U009269, Матеріали видань та локальних репозитаріїв Категорія Опубліковано, Стаття Назва роботи LAMA-WAVELET: РЕКОНСТРУКЦІЯ ЗОБРАЖЕНЬ З ВИСОКОЮ ЯКІСТЮ ВІДНОВЛЕННЯ ДЕТАЛЕЙ І КРАЇВ ОБ’ЄКТІВ Автор Колодочка Д. О.Полякова М. В.Kolodochka D. O.Polyakova M. V. Дата публікації 02-04-2024 Постачальник інформації Журнал "Радіоелектроніка, інформатика, управління" (Національний університет "Запорізька політехніка") Першоджерело https://ric.zp.edu.ua/article/view/301018 Видання National University "Zaporizhzhia Polytechnic" Опис Актуальність. Розглянуто проблему реконструкції зображень в системах комп’ютерної графіки та комп’ютерного зору. Предметом дослідження є згорткові нейронні мережi глибокого навчання для реконструкції зображень. Мета роботи. Покращення якості реконструйованих зображень в системах комп’ютерного зору та комп’ютерної графіки шляхом застосування вейвлет-перетворення в архітектурі нейронної мережі LaMa-Fourier. Метод. Базова мережа LaMa-Fourier окремо обробляє глобальний та локальний контекст зображення. Пропонується вдосконалити для цієї мережі блок обробки глобального контексту зображення, а саме блок спектрального перетворення. Для цього замість Fourier Unit Structure використовується розроблений авторами Simple Wavelet Convolution Block, у якому спочатку виконується тривимірне вейвлет-перетворення зображення на двох рівнях. Отримані коефіцієнти розбиваються так, що кожна субполоса представляє окрему ознаку зображення. Згортковий шар, пакетна нормалізація та функція активації ReLU послідовно застосовуються до субполос коефіцієнтів на кожному рівні вейвлет-перетворення. Отримані субполоси вейвлет-коефіцієнтів конкатенуються і до них застосовується зворотне вейвлет-перетворення, результат якого передається на вихід блоку. Окрема обробка вейвлет-коефіцієнтів на різних рівнях зменшує обчислювальну складність, зберігаючи при цьому вплив контексту кожного рівня на реконструкцію зображення. Отриману нейронну мережу названо LaMa-Wavelet. Показники FID, PSNR, SSIM та візуальний аналіз були використані для оцінки якості зображень, реконструйованих мережею LaMa-Wavelet. Результати. Запропоновану мережу LaMa-Wavelet програмно реалізовано та досліджено для вирішення проблеми реконструкції зображень. PSNR зображень, відновлених за допомогою мережі LaMa-Wavelet, перевищує результати, отримані за допомогою мережі LaMa-Fourier для малих і середніх масок у середньому на 4,5%, для великих масок – у середньому на 6%. Застосування LaMa-Wavelet може збільшити SSIM на 2–4% залежно від розміру маски. Але реконструкція одного зображення за допомогою LaMa-Wavelet займає в 3 рази більше часу, ніж за допомогою мережі LaMaFourier. Аналіз конкретних зображень демонструє, що обидві мережі показують схожі результати реконструкції однорідного фону. На складних фонах із повторюваними елементами LaMa-Wavelet часто ефективніше відновлює текстури. Висновки. Отримана мережа LaMa-Wavelet дозволяє покращити відновлення великих областей зображень за рахунок застосування вейвлет-перетворення в архітектурі мережі LaMa. А саме, підвищується якість реконструкції країв зображення та дрібних деталей. Додано в НРАТ 2026-02-26 Закрити