Реєстраційний номер
2126U000284, Матеріали видань та локальних репозитаріїв
Категорія
Опубліковано, Стаття
Назва роботи
НАЛАШТОВНА СТИСКАЮЧА АКТИВАЦІЙНА ФУНКЦІЯ ДЛЯ ГЛИБОКИХ НЕЙРОННИХ МЕРЕЖ
Автор
Шафроненко А. Ю.
Бодянський Є. В.
Шафроненко Є. О.
Бродецький Ф. А.
Танянський О. С.
Shafronenko A. Yu.
Bodyanskiy Ye. V.
Shafronenko Ye. O.
Brodetskyi F. A.
Tanianskyi О. S.
Дата публікації
27-03-2026
Постачальник інформації
Журнал "Радіоелектроніка, інформатика, управління" (Національний університет "Запорізька політехніка")
Першоджерело
https://ric.zp.edu.ua/article/view/352456
Видання
National University "Zaporizhzhia Polytechnic"
Опис
Актуальність. На цей час штучні нейронні мережі отримали широке поширення для вирішення багатьох задач опрацювання інформації найрізноманітнішої природи і, перш за все, інтелектуального аналізу даних, завдяки своїм універсальним апроксимуючим можливостям і здатності до навчання своїх параметрів – синаптичних ваг. Процес навчання багатошарової мережі полягає у налаштуванні синаптичних ваг кожного нейрона за допомогою процедури зворотного поширення похибок, яка базується на ланцюговому правилі диференціювання складних функцій та градієнтної процедури оптимізації. На основі багатошарових персептронів були створені глибокі нейронні мережі, що довели свою ефективність при вирішенні багатьох дуже складних задач, пов’язаних з обробкою і синтезом зображень різноманітної природи, природномовних текстів, багатовимірних стохастичних і хаотичних послідовностей, включаючи аудіо та відеосигнали. На відміну від класичних трьошарових персептронів ГНМ містять десятки та сотні шарів, а кількість їх синаптичних ваг є співрозмірною або навіть перевищує кількість синапсів у біологічному мозку. Зрозуміло, що для цих нейронних мереж ефект зникаючого градієнта є вкрай небажаним, тому замість традиційних стискаючих функцій тут використовуються зазвичай кусково-лінійні конструкції, найбільш популярною з яких є, так звана, ReLU.Мета. Мета роботи полягає у запровадженні адаптивної активаційної функції для глибоких нейронних мереж на основінайбільш розповсюдженої кусково-лінійної функції ReLU (Piecewise linear ReLU).Метод. Запропонована нова налаштовна активаційна функція для глибоких нейронних мереж на основі найбільш розповсюдженої кусково-лінійної функції ReLU, яка однак не відповідає умовам апроксимаційної теореми Дж. Цибенка, але забезпечує захист процесу навчання від небажаного ефекту зникаючого градієнта.Результати. Введено нову адаптивну кусково-лінійну функцію на основі ReLU (Piecewise linear ReLU), що одночасно є як стискаючою, так і захищеною від зникаючого градієнта. При цьому у процесі навчання у мережі налаштовуються не лише синаптичні ваги, але і параметри самої активаційної функції. Використання запропонованої функції дозволяє скоротити кількість нейронів та прихованих шарів у нейронній мережі, необхідний обсяг навчальних вибірок та час налаштування мережі в цілому.Висновки. Введено у розгляд адаптивну стискаючу активаційну функцію на основі широко поширеної ReLU для глибоких нейронних мереж, що одночасно забезпечує універсальні апроксимуючі властивості і в той же час мережа не потерпає від небажаного ефекту зникаючого градієнта. Запропонована процедура навчання з використанням цієї функції, що забезпечує високу швидкодію та характеризується простотою чисельної реалізації. Додатковий контур налаштування параметрів активаційних функцій досить просто може бути введений у вже існуючі глибокі нейронні мережі, що використовують кусково-лінійні активаційні функції.
Додано/оновлено в НРАТ
2026-04-20
