Пошук академічних текстів

Реєстраційний номер

0823U100468, Дисертація доктора філософії

Назва роботи

Розріджено-розподілене подання структур даних у нейронних мережах

Здобувач

Вдовиченко Руслан Олександрович,

На здобуття

Доктор філософії, 113, Прикладна математика

Дата захисту

15-12-2022

Опис

Дисертаційна робота присвячена дослідженню феноменологічних моделей пам’яті людини та тварин шляхом подання в нейронних мережах даних, що мають певну структуру (ієрархічну, семантичну тощо). Основним завданням дисертаційної роботи є побудова та аналіз гібридного семантичного сховища, яке би мало можливість зберігати цілісні дані (наприклад, структури взаємопов’язаних і послідовних пар ключ-значення) у нейронній мережі. Конструкції пам’яті для вирішення такої задачі пропонувались у 1990-их, проте не є практичними через недостатню масштабованість та низьку щільність зберігання. Запропонована модель CS-SDM за рахунок використання третьої теорії - стискаючих вимірювань - заповнює існуючий розрив між двома феноменологічними підходами до моделювання біологічної пам’яті. Усе вище перераховане зумовлює актуальність дисертаційної роботи. Наукова новизна роботи полягає в розробці та дослідженні характеристик нової гібридної моделі розріджено-розподіленої пам’яті CS-SDM. Ця модель вперше поєднала два напрями феноменологічного моделювання пам’яті, забезпечивши умови ефективного використання розріджено-розподіленої пам'яті типу SDM. Також уперше було запропоноване застосування теорії стискаючих вимірювань (CS) для моделювання природної пам'яті. Ефективність CS-SDM доведена як формально, так і експериментально. CS-SDM є першою штучною нейромережею, що у повній мірі та з практично придатною ємністю дозволяє зберегати структуровані данні, тобто придатна для збереження семантики. Модель CS-SDM має ряд прикладів застосування. CS-SDM з практично придатною ємністю дозволяє зберігати струкуровані данні, що відкриває перспективи її використання у різноманітних задачах штучного інтелекту та як складової нейромережних моделей у машинному навчанні. Також CS-SDM може використовуватись у тих галузях людської діяльності, де застосовується штучний інтелект: робототехніці, семантичному пошуку, генерації контенту у соціальних мережах, медичної діагностики тощо. В ході дослідження була розроблена програмна бібліотека з відкритими кодами, що реалізує CS-SDM на графічних процесорах (на платформі NVIDIA CUDA) і також містить реалізації адаптованих до збереження розріджених векторів конструкцій SDM Канерви і Джекела. Бібліотека впроваджена у складі Базового програмного забезпечення суперкомп'ютерного комплексу СКІТ у Центрі колективного користування обладнанням суперкомп'ютерного комплексу "СКІТ" (ЦККО СКК "СКІТ") в Інституті кібернетики ім.В.М.Глушкова НАН України. Код бібліотеки є відкритим та доступним для інших дослідників на платформі GitHub.