Search academic texts

Information × Registration Number 0826U000966, PhD dissertation Status Доктор філософії Date 19-05-2026 popup.evolution o Title Low-rank approximations, perturbation bounds, and their role in model compression Author Maksym Shamrai, popup.head Oleksandr M. Tymokha popup.opponent Andrii V. Shatyrko popup.opponent Olena A. Nikolaievska popup.review Oleksii M. Mazko popup.review Sytnyk O. Dmytro Description Дисертацію присвячено одній із ключових задач сучасної прикладної математики та машинного навчання — розробленню методів стискання великих нейронних моделей із збереженням передбачуваної якості розв'язання прикладних задач. Із зростанням розмірності моделей їх практичне використання дедалі більше обмежується вимогами до пам'яті, затримки обчислень та енергоспоживання, тоді як більшість наявних схем компресії мають переважно евристичний характер. У дисертації запропоновано єдиний збурювальний підхід, у межах якого рішення щодо компресії спираються на явні кількісні гарантії, а не на ситуативні правила. Дослідження поєднує теорію матричних збурень, низькорангові наближення, емпіричний аналіз прунінгу великих мовних моделей, а також теоретичні гарантії робастності для задач керування та навчання з підкріпленням. Метою дисертації є побудова математично обґрунтованих методів, які пов'язують параметричні збурення, спричинені компресією, з критеріями якості кінцевих прикладних задач. Об'єктом дослідження є низькорангові та розріджені представлення моделей машинного навчання. Предмет дослідження охоплює збурення сингулярних значень конкатенованих матриць, контрольоване за похибкою групування для спільної SVD-компресії, мовозалежні ефекти безнавчального прунінгу великих мовних моделей, побудову геометрії мов на основі сигналів важливості ваг, а також неасимптотичні оцінки деградації якості в задачах керування та навчання з підкріпленням за структурного розрідження параметрів. Наукова новизна дисертації полягає в поєднанні в межах єдиного узгодженого підходу теорії збурень, компресійно-орієнтованого низькорангового групування, багатомовних експериментів із прунінгу, побудови геометрії мов на основі вагових сигналів, а також сертифікації якості для задач керування та навчання з підкріпленням. Практичне значення одержаних результатів визначається їх безпосередньою придатністю до трьох основних сценаріїв застосування: (i) низькорангової компресії колекцій матриць із контролем похибки; (ii) мовно-орієнтованого прунінгу великих мовних моделей; (iii) безпеко-орієнтованого прунінгу нейромережевих контролерів і політик навчання з підкріпленням. Запропоновані методи забезпечують інтерпретовані та обчислювані критерії, які пов'язують кроки компресії з надійністю та якістю розв'язання прикладних задач. Registration Date 2026-04-09 popup.nrat_date 2026-04-09 Close