Пошук академічних текстів

Інформація × Реєстраційний номер 2224U001534, Кваліфікаційні роботи здобувачів вищої освіти Категорія Магістерська робота Назва роботи Розробка бібліотеки програм роботи з розрідженими матрицями великої розмірності Автор Камінський Дмитро Юрійович Дата публікації 01-01-2024 Постачальник інформації Запорізький національний університет Першоджерело https://dspace.znu.edu.ua/jspui/handle/12345/25350 Видання Опис Камінський Д. Ю. Розробка бібліотеки програм роботи з розрідженими матрицями великої розмірності : кваліфікаційна робота магістра спеціальності 122 "Комп'ютерні науки" / наук. керівник С. Ю. Борю. Запоріжжя : ЗНУ, 2024. 65 с. UA : Робота викладена на 65 сторінках друкованого тексту, містить 15 рисунків, 2 таблиці, 11 джерел, 3 додатки. Об’єкт дослідження – : методи та алгоритми обробки розріджених матриць великої розмірності. Предмет дослідження – оптимізація зберігання, обробки та математичних операцій із розрідженими матрицями великої розмірності в сучасних обчислювальних системах. Мета роботи: розробити бібліотеку для роботи з розрідженими матрицями, орієнтовану на потреби лінійної алгебри, машинного навчання та суміжних галузей. Методи дослідження: теоретичний аналіз: вивчення алгоритмів та структур даних для ефективного зберігання та обробки розріджених матриць (CSR, CSC, COO, LL); емпіричний аналіз: тестування продуктивності бібліотеки в різних умовах, включаючи паралельні обчислення та роботу з великими даними; експериментальні методи: створення прототипів бібліотеки, тестування її функціональності та продуктивності на реальних задачах; інструментальні засоби: використання Python (бібліотеки NumPy, SciPy, Dask) для побудови бібліотеки, а також профілювання обчислювальної ефективності. У ході роботи створено бібліотеку для роботи з розрідженими матрицями, яка підтримує декілька форматів зберігання (CSR, CSC, COO) та операцій (додавання, множення, транспонування). Проведено оптимізацію операцій для великих обсягів даних за допомогою паралельних обчислень через Dask. Бібліотека показала високу ефективність у зберіганні даних і швидкості обчислень порівняно зі стандартними підходами. Розроблена бібліотека може бути інтегрована у прикладні наукові, інженерні та навчальні програми, які працюють із великими розрідженими матрицями, а також у задачі машинного навчання та аналізу графів. Рекомендації щодо використання результатів роботи: для оптимізації зберігання великих розріджених матриць у базах даних; для швидкого виконання операцій із великими матрицями в задачах оптимізації та моделювання; у рамках навчальних програм для ознайомлення студентів із сучасними методами обробки даних. Сфера застосування: аналіз великих даних та машинне навчання; розв’язання задач математичного моделювання; оптимізація логістичних та транспортних систем; аналіз графів у соціальних мережах та комп’ютерних мережах. Розробка бібліотеки дозволяє значно скоротити використання пам’яті та підвищити швидкість обчислень у задачах, пов’язаних із розрідженими даними, що робить її незамінним інструментом у сучасних умовах роботи з великими обсягами даних. Розроблена бібліотека продемонструвала високу ефективність і має потенціал для подальшого розвитку. Її використання значно спрощує роботу з розрідженими матрицями та забезпечує оптимізацію обчислень. Пропозиції щодо розвитку дослідження та доцільності його продовження: додати підтримку обчислень на GPU для подальшого підвищення продуктивності; розширити функціонал бібліотеки, включивши підтримку роботи з тензорами; інтегрувати бібліотеку з популярними платформами машинного навчання (TensorFlow, PyTorch); провести додаткові дослідження щодо адаптації бібліотеки для використання в розподілених системах, таких як Apache Spark. EN : The work is presented on 65 pages of printed text, 15 figures, 2 tables, 11 references, 3 annex. Research Object – methods and algorithms for processing large-scale sparse matrices. Research Subject – optimization of storage, processing, and mathematical operations with large-scale sparse matrices in modern computational systems. Research Goal – to develop a library for working with sparse matrices focused on the needs of linear algebra, machine learning, and related fields. Research Methods: theoretical analysis: Study of algorithms and data structures for efficient storage and processing of sparse matrices (CSR, CSC, COO, LL); empirical analysis: Testing the library’s performance under various conditions, including parallel computations and large data workloads; experimental methods: Development of library prototypes, functionality testing, and performance evaluation on real-world tasks; tool-based approach: Utilization of Python (NumPy, SciPy, Dask libraries) for building the library and profiling computational efficiency. Summary of Results – a library for working with sparse matrices was developed, supporting multiple storage formats (CSR, CSC, COO) and operations (addition, multiplication, transposition). The operations were optimized for large datasets using parallel computation through Dask. The library demonstrated high efficiency in both data storage and computation speed compared to standard approaches. Implementation – the developed library can be integrated into scientific, engineering, and educational applications that handle large sparse matrices, as well as in machine learning and graph analysis tasks. Recommendations for Usage: optimizing the storage of large sparse matrices in databases; accelerating operations with large matrices in optimization and modeling tasks; introducing the library in educational programs to familiarize students with modern data processing methods. Applications: big data analysis and machine learning; solving mathematical modeling problems; optimizing logistics and transport systems; graph analysis in social networks and computer networks. Significance – the library significantly reduces memory usage and increases computation speed for tasks involving sparse data, making it an essential tool in modern large-scale data processing. Conclusion – The developed library demonstrated high efficiency and potential for further development. Its use simplifies working with sparse matrices and ensures computational optimization. Proposals for Future Research and Development: add GPU computation support to further enhance performance; extend the library’s functionality to include tensor operations; integrate the library with popular machine learning platforms (TensorFlow, PyTorch); conduct additional research to adapt the library for use in distributed systems like Apache Spark. Додано в НРАТ 2025-11-10 Закрити