Пошук академічних текстів

Інформація × Реєстраційний номер 2123U006266, Матеріали видань та локальних репозитаріїв Категорія Стаття, Опубліковано, Рецензована стаття Назва роботи Оптимізаційний метод AMSGrad в багатошарових нейронних мережах Автор Свелеба СергійСвелеба НаталяSveleba SerhiiSveleba Natalia Дата публікації 06-06-2023 Постачальник інформації Дніпровський національний університет імені Олеся Гончара Першоджерело https://cims.fti.dp.ua/j/article/view/87 Видання Oles Honchar Dnipro National University Опис Найпоширенішим способом оптимізації нейронних мереж є метод градієнтного спуску. Градієнтний спуск - це алгоритм оптимізації, який відслідковує негативне значенням градієнта цільової функції, щоб знайти мінімум функції похибки. Обмеження градієнтного спуску полягає в тому, що даний метод застосовує одну швидкість навчання для всіх вхідних змінних. Розширення градієнтного спуску, як-от алгоритм Adaptive Movement Estimation (Adam), використовує різну швидкість навчання для кожної вхідної змінної, але в результаті цього швидкість навчання може швидко зменшуватися до дуже малих значень [3]. Метод AMSGrad є розширеною версією метода Adam, який намагається покращити властивості конвергенції алгоритму, уникаючи великих різких змін у швидкості навчання для кожної вхідної змінної. Технічно градієнт спуску називають алгоритмом оптимізації першого порядку, оскільки він явно використовує похідну першого порядку цільової функції. Додано в НРАТ 2025-04-07 Закрити