Search academic texts

Information × Registration Number 0823U100468, PhD dissertation Status Доктор філософії Date 15-12-2022 popup.evolution o Title Sparse Distributed Representation of Structured Data in Neural Networks Author Vdovychenko Ruslan Oleksandrovych, popup.head Tulchynsky Vadym Hryhorovych popup.opponent Stirenko Sergii Hryhorovych popup.opponent Revunova Olena H. popup.review Gupal Anatoliy Mykhailovych popup.review Norkin Volodymyr Ivanovych Description Дисертаційна робота присвячена дослідженню феноменологічних моделей пам’яті людини та тварин шляхом подання в нейронних мережах даних, що мають певну структуру (ієрархічну, семантичну тощо). Основним завданням дисертаційної роботи є побудова та аналіз гібридного семантичного сховища, яке би мало можливість зберігати цілісні дані (наприклад, структури взаємопов’язаних і послідовних пар ключ-значення) у нейронній мережі. Конструкції пам’яті для вирішення такої задачі пропонувались у 1990-их, проте не є практичними через недостатню масштабованість та низьку щільність зберігання. Запропонована модель CS-SDM за рахунок використання третьої теорії - стискаючих вимірювань - заповнює існуючий розрив між двома феноменологічними підходами до моделювання біологічної пам’яті. Усе вище перераховане зумовлює актуальність дисертаційної роботи. Наукова новизна роботи полягає в розробці та дослідженні характеристик нової гібридної моделі розріджено-розподіленої пам’яті CS-SDM. Ця модель вперше поєднала два напрями феноменологічного моделювання пам’яті, забезпечивши умови ефективного використання розріджено-розподіленої пам'яті типу SDM. Також уперше було запропоноване застосування теорії стискаючих вимірювань (CS) для моделювання природної пам'яті. Ефективність CS-SDM доведена як формально, так і експериментально. CS-SDM є першою штучною нейромережею, що у повній мірі та з практично придатною ємністю дозволяє зберегати структуровані данні, тобто придатна для збереження семантики. Модель CS-SDM має ряд прикладів застосування. CS-SDM з практично придатною ємністю дозволяє зберігати струкуровані данні, що відкриває перспективи її використання у різноманітних задачах штучного інтелекту та як складової нейромережних моделей у машинному навчанні. Також CS-SDM може використовуватись у тих галузях людської діяльності, де застосовується штучний інтелект: робототехніці, семантичному пошуку, генерації контенту у соціальних мережах, медичної діагностики тощо. В ході дослідження була розроблена програмна бібліотека з відкритими кодами, що реалізує CS-SDM на графічних процесорах (на платформі NVIDIA CUDA) і також містить реалізації адаптованих до збереження розріджених векторів конструкцій SDM Канерви і Джекела. Бібліотека впроваджена у складі Базового програмного забезпечення суперкомп'ютерного комплексу СКІТ у Центрі колективного користування обладнанням суперкомп'ютерного комплексу "СКІТ" (ЦККО СКК "СКІТ") в Інституті кібернетики ім.В.М.Глушкова НАН України. Код бібліотеки є відкритим та доступним для інших дослідників на платформі GitHub. Registration Date 2023-07-10 popup.nrat_date 2023-07-10 Close