Search academic texts

Information × Registration Number 2125U004466, Article popup.category Стаття, Опубліковано, Рецензована стаття Title OPTIMIZATION OF 1-BIT QUANTIZED MATRIX MULTIPLICATION FOR LARGE LANGUAGE MODELS popup.author Salnikov DmytroVasylchenkov OlegKaraman DmytroSalnikov DmytroVasylchenkov OlegKaraman Dmytro popup.publication 30-09-2025 popup.source_user Національний університет «Полтавська політехніка імені Юрія Кондратюка» popup.source https://journals.nupp.edu.ua/sunz/article/view/4019 popup.publisher Національний університет «Полтавська політехніка імені Юрія Кондратюка» Description У зв’язку з активним розвитком та вдосконаленням систем штучного інтелекту останнім часом обробка природної мови стала однією з найбільш актуальних та затребуваних задач. Засоби та алгоритми на базі великих мовних моделей, що забезпечують обробку природної мови та перетворення мови в текстові данні, активно застосовуються для реалізації методів автоматизації різноманітних повсякденних задач, а також систем обслуговування та оперативної взаємодії з людиною. Для швидкого та адекватного опрацювання природної мови, з врахуванням синтаксичних та національних особливостей необхідно використовувати досить складні мовні моделі. Але великі мовні моделі потребують значних обсягів пам’яті та обчислювальної потужності, що ускладнює їх повсякденне використання на пристроях з обмеженими ресурсами, таких як мобільні пристрої з автономним живленням, вбудовані системи та пристрої Інтернету речей. Таким чином, оптимізація алгоритмів роботи мовних моделей та зниження апаратних витрат на їх реалізацію є як ніколи актуальною задачею. Для пришвидшення виконання та зменшення необхідних об’ємів пам’яті використовують алгоритми квантування коефіцієнтів мовних моделей. В даній роботі сформульовано проблеми, що виникають під час виконання квантованих операцій множення матриць, розглянуто популярні підходи до реалізації алгоритму множення матриць на графічних прискорювачах, та реалізовано оптимізоване за швидкістю виконання ядро множення квантованих 1-бітних матриць. popup.nrat_date 2026-04-19 Close