Registration Number
0826U000966, PhD dissertation
Status
Доктор філософії
Date
19-05-2026
popup.evolution
o
Title
Low-rank approximations, perturbation bounds, and their role in model compression
Author
Maksym Shamrai,
popup.head Oleksandr M. Tymokha
popup.opponent Andrii V. Shatyrko
popup.opponent Olena A. Nikolaievska
popup.review Oleksii M. Mazko
popup.review Sytnyk O. Dmytro
popup.rada
Institute of Mathematics of the National Academy of Sciences of Ukraine
Description
Дисертацію присвячено одній із ключових задач сучасної прикладної математики та машинного навчання — розробленню методів стискання великих нейронних моделей із збереженням передбачуваної якості розв'язання прикладних задач.
Із зростанням розмірності моделей їх практичне використання дедалі більше обмежується вимогами до пам'яті, затримки обчислень та енергоспоживання, тоді як більшість наявних схем компресії мають переважно евристичний характер.
У дисертації запропоновано єдиний збурювальний підхід, у межах якого рішення щодо компресії спираються на явні кількісні гарантії, а не на ситуативні правила.
Дослідження поєднує теорію матричних збурень, низькорангові наближення, емпіричний аналіз прунінгу великих мовних моделей, а також теоретичні гарантії робастності для задач керування та навчання з підкріпленням.
Метою дисертації є побудова математично обґрунтованих методів, які пов'язують параметричні збурення, спричинені компресією, з критеріями якості кінцевих прикладних задач.
Об'єктом дослідження є низькорангові та розріджені представлення моделей машинного навчання.
Предмет дослідження охоплює збурення сингулярних значень конкатенованих матриць, контрольоване за похибкою групування для спільної SVD-компресії, мовозалежні ефекти безнавчального прунінгу великих мовних моделей, побудову геометрії мов на основі сигналів важливості ваг, а також неасимптотичні оцінки деградації якості в задачах керування та навчання з підкріпленням за структурного розрідження параметрів.
Наукова новизна дисертації полягає в поєднанні в межах єдиного узгодженого підходу теорії збурень, компресійно-орієнтованого низькорангового групування, багатомовних експериментів із прунінгу, побудови геометрії мов на основі вагових сигналів, а також сертифікації якості для задач керування та навчання з підкріпленням.
Практичне значення одержаних результатів визначається їх безпосередньою придатністю до трьох основних сценаріїв застосування:
(i) низькорангової компресії колекцій матриць із контролем похибки;
(ii) мовно-орієнтованого прунінгу великих мовних моделей;
(iii) безпеко-орієнтованого прунінгу нейромережевих контролерів і політик навчання з підкріпленням.
Запропоновані методи забезпечують інтерпретовані та обчислювані критерії, які пов'язують кроки компресії з надійністю та якістю розв'язання прикладних задач.
Registration Date
2026-04-09
popup.nrat_date
2026-04-09 / 2026-08-04
