Пошук академічних текстів

Інформація × Реєстраційний номер 2125U004466, Матеріали видань та локальних репозитаріїв Категорія Стаття, Опубліковано, Рецензована стаття Назва роботи ОПТИМІЗАЦІЯ МНОЖЕННЯ КВАНТОВАНИХ ОДНОБІТНИХ МАТРИЦЬ ДЛЯ ВЕЛИКИХ МОВНИХ МОДЕЛЕЙ Автор Salnikov DmytroVasylchenkov OlegKaraman DmytroSalnikov DmytroVasylchenkov OlegKaraman Dmytro Дата публікації 30-09-2025 Постачальник інформації Національний університет «Полтавська політехніка імені Юрія Кондратюка» Першоджерело https://journals.nupp.edu.ua/sunz/article/view/4019 Видання Національний університет «Полтавська політехніка імені Юрія Кондратюка» Опис У зв’язку з активним розвитком та вдосконаленням систем штучного інтелекту останнім часом обробка природної мови стала однією з найбільш актуальних та затребуваних задач. Засоби та алгоритми на базі великих мовних моделей, що забезпечують обробку природної мови та перетворення мови в текстові данні, активно застосовуються для реалізації методів автоматизації різноманітних повсякденних задач, а також систем обслуговування та оперативної взаємодії з людиною. Для швидкого та адекватного опрацювання природної мови, з врахуванням синтаксичних та національних особливостей необхідно використовувати досить складні мовні моделі. Але великі мовні моделі потребують значних обсягів пам’яті та обчислювальної потужності, що ускладнює їх повсякденне використання на пристроях з обмеженими ресурсами, таких як мобільні пристрої з автономним живленням, вбудовані системи та пристрої Інтернету речей. Таким чином, оптимізація алгоритмів роботи мовних моделей та зниження апаратних витрат на їх реалізацію є як ніколи актуальною задачею. Для пришвидшення виконання та зменшення необхідних об’ємів пам’яті використовують алгоритми квантування коефіцієнтів мовних моделей. В даній роботі сформульовано проблеми, що виникають під час виконання квантованих операцій множення матриць, розглянуто популярні підходи до реалізації алгоритму множення матриць на графічних прискорювачах, та реалізовано оптимізоване за швидкістю виконання ядро множення квантованих 1-бітних матриць. Додано в НРАТ 2026-04-19 Закрити