Пошук академічних текстів

Інформація × Реєстраційний номер 0420U102355, Кандидатська дисертація На здобуття Кандидат фізико-математичних наук Дата захисту 03-12-2020 Статус Запланована Назва роботи Оптимiзацiйнi алгоритми навчання та iнварiантнiсть до геометричних перетворень нейронних мереж Здобувач Дудар Вячеслав Вячеславович, Керівник Семенов Володимир Вікторович Опонент Гупал Анатолій Михайлович Опонент Крюкова Галина Віталіївна Рецензент Глибовець Микола Миколайович Рецензент Терещенко Василь Миколайович Рецензент Клюшин Дмитро Анатолійович Опис Дисертація присвячена розробці та теоретичному обгрунтуванню нових алгоритмів навчання та регуляризації згоркових нейронних мереж. В роботі побудовано двокроковий метод довірчої області в підпросторі для навчання нейронних мереж з двічі диференційовною функцією активації. Запропонований метод використовує інформацію другого порядку (другі похідні функції похибки) для автоматичного підбору довжини і напрямків кроків. Експерименти показують, що розроблений метод працює швидше ніж існуючі методи другого порядку та першого порядку у випадку мережа, що тренується, достатньо глибока. Розроблено новий метод регуляризації нейронних мереж Column Drop, який можна одночасно інтерпретувати в термінах розширення навчальної вибірки та представлення згорткової нейронної мережі як ансамблю менших нейронних мереж. Даний метод накладає певні умови на архітектуру мережі, при виконанні яких метод показує кращі результати ніж дропаут та метод розширення навчальної вибірки за допомогою вибору підзображень. Розроблено метод побудови архітектури згорткових нейронних мереж з заданою поведінкою щодо деяких геометричних перетворень входу. Розроблено підхід для аналізу згорткових шарів відповідно до лінійних перетворень вхідного зображення та знаходження базових типів перетворень виходу згорткового шару. За допомогою розроблених інструментів проаналізовано оператори симетричного відображення та повороту, а також їх комбінацію. Дата реєстрації 2020-12-23 Додано в НРАТ 2020-12-23 Закрити