Search academic texts

Information × Registration Number 0420U102355, Candidate dissertation Status Кандидат фізико-математичних наук Date 03-12-2020 popup.evolution o Title Training algorithms and invariance to geometric transformations of neural networks Author Dudar Vyacheslav Vyacheslavovych, popup.head Semenov Volodymyr Viktorovych popup.opponent Gupal Anatoliy M. popup.opponent Kryukova Halyna Vitaliyivna popup.review Glibovec Mikola Mikolaiyovich popup.review Tereschenko Vasyl M. popup.review Klyushyn Dmytro Description Дисертація присвячена розробці та теоретичному обгрунтуванню нових алгоритмів навчання та регуляризації згоркових нейронних мереж. В роботі побудовано двокроковий метод довірчої області в підпросторі для навчання нейронних мереж з двічі диференційовною функцією активації. Запропонований метод використовує інформацію другого порядку (другі похідні функції похибки) для автоматичного підбору довжини і напрямків кроків. Експерименти показують, що розроблений метод працює швидше ніж існуючі методи другого порядку та першого порядку у випадку мережа, що тренується, достатньо глибока. Розроблено новий метод регуляризації нейронних мереж Column Drop, який можна одночасно інтерпретувати в термінах розширення навчальної вибірки та представлення згорткової нейронної мережі як ансамблю менших нейронних мереж. Даний метод накладає певні умови на архітектуру мережі, при виконанні яких метод показує кращі результати ніж дропаут та метод розширення навчальної вибірки за допомогою вибору підзображень. Розроблено метод побудови архітектури згорткових нейронних мереж з заданою поведінкою щодо деяких геометричних перетворень входу. Розроблено підхід для аналізу згорткових шарів відповідно до лінійних перетворень вхідного зображення та знаходження базових типів перетворень виходу згорткового шару. За допомогою розроблених інструментів проаналізовано оператори симетричного відображення та повороту, а також їх комбінацію. Registration Date 2020-12-23 popup.nrat_date 2020-12-23 Close