Реєстраційний номер
2124U015006, Матеріали видань та локальних репозитаріїв
Категорія
Стаття
Назва роботи
Методи забезпечення консистентності генерації в дифузійних моделях
Methods for Ensuring Consistent Generation in Diffusion Models
Автор
Кулик Л. Р.
Мокін О. Б.
Kulyk L. R.
Mokin O. B.
Kulyk L. R.
Mokin O. B.
Дата публікації
01-01-2024
Постачальник інформації
Вінницький національний технічний університет
Першоджерело
https://ir.lib.vntu.edu.ua/handle/123456789/43563
Видання
Вінницький національний технічний університет
Опис
Досліджено проблему консистентної генерації в дифузійних моделях. Сучасні генеративні дифузійні моделі здатні створювати зображення високої точності, але підтримання консистентності між спорідненими результатами генерації залишається складним завданням. Проаналізовано ключові методи забезпечення консистентності генерації. При цьому введено додатковий тип консистентності — консистентність концепції, що дозволяє оцінити здатність моделей не тільки відтворювати існуючі стилі та об`єкти, а й генерувати абсолютно нові візуальні ідеї, з якими модель ніколи не стикалася під час навчання. Проведено аналіз наявних методів забезпечення консистентності та визначено їхні переваги та недоліки. Метод генерації на базі вхідного еталонного зображення image-to-image має перевагу в простоті реалізації. Такі методи дотренування, як DreamBooth і LoRA DreamBooth, забезпечують ширший контроль над консистентністю об`єктів. Моделі ControlNet за допомогою спеціального вхідного зображення забезпечують консистентність форми. Методи інверсії шуму, дозволяють здійснити точніший контроль та ітеративне вдосконалення підсумкових зображень за рахунок маніпуляцій з шумовим простором, що дозволяє генерувати стилістичніше та концептуально консистентні зображення. Завдяки механізму спільної уваги, що застосовується в методі StyleAligned, може забезпечуватись стилістична консистентність згенерованих зображень. Розуміння можливостей та обмежень методів забезпечення консистентності дифузійної генерації дозволяє обрати найефективніший набір інструментів відповідно до задачі. Дифузійні моделі продовжують активно розвиватися та поширюватися на нові галузі, тому досягнення надійної та універсальної консистентності в дифузійних моделях може дати шлях для креативніших та ефективніших рішень.
Додано/оновлено в НРАТ
2026-11-02
