Кандидатська дисертація. Дудар Вячеслав Вячеславович. Оптимiзацiйнi алгоритми навчання та iнварiантнiсть до геометричних перетворень нейронних мереж

Реєстраційний номер

0420U102355, Кандидатська дисертація

На здобуття

Кандидат фізико-математичних наук

Дата захисту

03-12-2020

Статус

Захищена

Назва роботи

Оптимiзацiйнi алгоритми навчання та iнварiантнiсть до геометричних перетворень нейронних мереж

Здобувач

Дудар Вячеслав Вячеславович,

Керівник Семенов Володимир Вікторович
Опонент Гупал Анатолій Михайлович
Опонент Крюкова Галина Віталіївна
Рецензент Глибовець Микола Миколайович
Рецензент Терещенко Василь Миколайович
Рецензент Клюшин Дмитро Анатолійович

Установа, організація, у вченій раді якої відбудеться/відбувся захист

Київський національний університет імені Тараса Шевченка

Опис

Дисертація присвячена розробці та теоретичному обгрунтуванню нових алгоритмів навчання та регуляризації згоркових нейронних мереж. В роботі побудовано двокроковий метод довірчої області в підпросторі для навчання нейронних мереж з двічі диференційовною функцією активації. Запропонований метод використовує інформацію другого порядку (другі похідні функції похибки) для автоматичного підбору довжини і напрямків кроків. Експерименти показують, що розроблений метод працює швидше ніж існуючі методи другого порядку та першого порядку у випадку мережа, що тренується, достатньо глибока. Розроблено новий метод регуляризації нейронних мереж Column Drop, який можна одночасно інтерпретувати в термінах розширення навчальної вибірки та представлення згорткової нейронної мережі як ансамблю менших нейронних мереж. Даний метод накладає певні умови на архітектуру мережі, при виконанні яких метод показує кращі результати ніж дропаут та метод розширення навчальної вибірки за допомогою вибору підзображень. Розроблено метод побудови архітектури згорткових нейронних мереж з заданою поведінкою щодо деяких геометричних перетворень входу. Розроблено підхід для аналізу згорткових шарів відповідно до лінійних перетворень вхідного зображення та знаходження базових типів перетворень виходу згорткового шару. За допомогою розроблених інструментів проаналізовано оператори симетричного відображення та повороту, а також їх комбінацію.

Дата реєстрації

2020-12-23

Додано/оновлено в НРАТ

2020-12-23 / 2026-06-30