Search academic texts

Information × Registration Number 2123U000930, Article popup.category Стаття, Опубліковано, Рецензована стаття Title Optimization method AMSGrad in multilayer neural networks popup.author Свелеба СергійСвелеба НаталяSveleba SerhiiSveleba Natalia popup.publication 06-06-2023 popup.source_user Дніпровський національний університет імені Олеся Гончара popup.source https://cims.fti.dp.ua/j/article/view/87 popup.publisher Oles Honchar Dnipro National University Description Найпоширенішим способом оптимізації нейронних мереж є метод градієнтного спуску. Градієнтний спуск - це алгоритм оптимізації, який відслідковує негативне значенням градієнта цільової функції, щоб знайти мінімум функції похибки. Обмеження градієнтного спуску полягає в тому, що даний метод застосовує одну швидкість навчання для всіх вхідних змінних. Розширення градієнтного спуску, як-от алгоритм Adaptive Movement Estimation (Adam), використовує різну швидкість навчання для кожної вхідної змінної, але в результаті цього швидкість навчання може швидко зменшуватися до дуже малих значень [3]. Метод AMSGrad є розширеною версією метода Adam, який намагається покращити властивості конвергенції алгоритму, уникаючи великих різких змін у швидкості навчання для кожної вхідної змінної. Технічно градієнт спуску називають алгоритмом оптимізації першого порядку, оскільки він явно використовує похідну першого порядку цільової функції. popup.nrat_date 2024-07-30 Close