Пошук академічних текстів

Інформація × Реєстраційний номер 0212U008145, 0111U005982 , Науково-дослідна робота Назва роботи Паралельна Грід-базована бібліотека для навчання нейронних мереж Назва етапу роботи Керівник роботи Турченко Володимир Олександрович, Дата реєстрації 20-11-2012 Організація виконавець Тернопільський національний економічний університет Опис етапу Об'єкт дослідження - прискорення виконання обчислювально-інтенсивних алгоритмів навчання штучних нейронних мереж (НМ). Мета роботи - розробка покращених методів навчання штучних НМ на гетерогенних паралельних обчислювальних системах у складі обчислювальних ГРІД-систем, що забезпечують високу ефективність розпаралелення процесів навчання та розробка ГРІД-базованої бібліотеки програм для паралельного навчання штучних НМ. Методи дослідження - методи теорії нейронних систем і мереж, методи проектування обчислювальних систем, методи оцінки обчислювальної складності алгоритмів, методи оптимізації, методи комп'ютерного моделювання, методи планування експерименту. Результати дослідження - нові методи паралельного навчання штучних НМ, зокрема багатошарового персептрону, рециркуляційної нейронної мережі та нейронної мережі з радіально-базисною функцією активації, на паралельних обчислювальних системах різної архітектури, зокрема на паралельних комп'ютерах із спільною пам'яттю та на обчислювальних кластерах з розподіленою архітектурою, брокер ресурсів для гетерогенної ГРІД-системи, що дозволяє утримувати високу ефективність розпаралелення розроблених алгоритмів навчання шляхом визначення Парето-оптимальних обчислювальних ресурсів (за критеріями мінімального часу виконання, максимальної ефективності розпаралелення та мінімальної ціни обчислювального ресурсу), на яких доцільно виконувати конкретний паралельний алгоритм, бібліотека підпрограм на мові програмування С, що реалізує наведені вище методи та брокер ресурсів та результати застосування розробленої бібліотеки для вирішення практичних задач. Наукова новизна полягає в створенні нових методів розпаралелення навчання штучних нейронних мереж на основі теорії групового навчання, які, на відміну від існуючих, дозволяють значно підвищити прискорення та ефективність розпаралелення на паралельних комп'ютерах із спільною пам'яттю, на обчислювальних кластерах з розподіленою архітектурою та на обчислювальних ГРІД-системах. Опис продукції Проведено експериментальні дослідження паралельної Грід-базованої бібліотеки для навчання нейронних мереж, що була інстальована на рівні кластера з різнотипними обчислювальними вузлами. Експериментальні дослідження здійснено для сценаріїв розпаралелення з 36, 121, 256, 441, 961, 1681, 2601 та 3721 зв'язками (ваговими коефіцієнтами та порогами) нейронної мережі та з 100, 200, 400, 600, 800, 1000, 5000 та 10000 навчальними векторами. Отримані високі значення ефективності розпаралелення процесу навчання нейронних мереж, зокрема (і) для "середнього" сценарію - 441 зв'язок, 600 векторів - на 16 процесорах ефективність становить 75% на обчислювальному кластері з інтерфейсом Infiniband, 48% на обчислювальному кластері з інтерфейсом Gigabit Ethernet та 36% на паралельному комп'ютері ccNuma архітектури; (іі) для "складного" сценарію - 2601 зв'язок, 5000 векторів - на 16 процесорах ефективність розпаралелення становить відповідно 98%, 91 та 90%. Паралельна Грід-базована бібліотека для навчання нейронних мереж дооп Автори роботи Турченко Володимир Олександрович Додано в НРАТ 2020-04-02 Закрити