Registration Number
2126U000284, Article
popup.category
Опубліковано, Стаття
Title
TUNABLE SQUASHING ACTIVATION FUNCTION FOR DEEP NEURAL NETWORKS
popup.author
Шафроненко А. Ю.
Бодянський Є. В.
Шафроненко Є. О.
Бродецький Ф. А.
Танянський О. С.
Shafronenko A. Yu.
Bodyanskiy Ye. V.
Shafronenko Ye. O.
Brodetskyi F. A.
Tanianskyi О. S.
popup.publication
27-03-2026
popup.source_user
Журнал "Радіоелектроніка, інформатика, управління" (Національний університет "Запорізька політехніка")
popup.source
https://ric.zp.edu.ua/article/view/352456
popup.publisher
National University "Zaporizhzhia Polytechnic"
Description
Актуальність. На цей час штучні нейронні мережі отримали широке поширення для вирішення багатьох задач опрацювання інформації найрізноманітнішої природи і, перш за все, інтелектуального аналізу даних, завдяки своїм універсальним апроксимуючим можливостям і здатності до навчання своїх параметрів – синаптичних ваг. Процес навчання багатошарової мережі полягає у налаштуванні синаптичних ваг кожного нейрона за допомогою процедури зворотного поширення похибок, яка базується на ланцюговому правилі диференціювання складних функцій та градієнтної процедури оптимізації. На основі багатошарових персептронів були створені глибокі нейронні мережі, що довели свою ефективність при вирішенні багатьох дуже складних задач, пов’язаних з обробкою і синтезом зображень різноманітної природи, природномовних текстів, багатовимірних стохастичних і хаотичних послідовностей, включаючи аудіо та відеосигнали. На відміну від класичних трьошарових персептронів ГНМ містять десятки та сотні шарів, а кількість їх синаптичних ваг є співрозмірною або навіть перевищує кількість синапсів у біологічному мозку. Зрозуміло, що для цих нейронних мереж ефект зникаючого градієнта є вкрай небажаним, тому замість традиційних стискаючих функцій тут використовуються зазвичай кусково-лінійні конструкції, найбільш популярною з яких є, так звана, ReLU.Мета. Мета роботи полягає у запровадженні адаптивної активаційної функції для глибоких нейронних мереж на основінайбільш розповсюдженої кусково-лінійної функції ReLU (Piecewise linear ReLU).Метод. Запропонована нова налаштовна активаційна функція для глибоких нейронних мереж на основі найбільш розповсюдженої кусково-лінійної функції ReLU, яка однак не відповідає умовам апроксимаційної теореми Дж. Цибенка, але забезпечує захист процесу навчання від небажаного ефекту зникаючого градієнта.Результати. Введено нову адаптивну кусково-лінійну функцію на основі ReLU (Piecewise linear ReLU), що одночасно є як стискаючою, так і захищеною від зникаючого градієнта. При цьому у процесі навчання у мережі налаштовуються не лише синаптичні ваги, але і параметри самої активаційної функції. Використання запропонованої функції дозволяє скоротити кількість нейронів та прихованих шарів у нейронній мережі, необхідний обсяг навчальних вибірок та час налаштування мережі в цілому.Висновки. Введено у розгляд адаптивну стискаючу активаційну функцію на основі широко поширеної ReLU для глибоких нейронних мереж, що одночасно забезпечує універсальні апроксимуючі властивості і в той же час мережа не потерпає від небажаного ефекту зникаючого градієнта. Запропонована процедура навчання з використанням цієї функції, що забезпечує високу швидкодію та характеризується простотою чисельної реалізації. Додатковий контур налаштування параметрів активаційних функцій досить просто може бути введений у вже існуючі глибокі нейронні мережі, що використовують кусково-лінійні активаційні функції.
popup.nrat_date
2026-04-20
