Пошук академічних текстів

Інформація × Реєстраційний номер 2121U001243, Матеріали видань та локальних репозитаріїв Категорія Бакалаврська робота Назва роботи Побудова архітектури збору даних з відкритих джерел, їх агрегації та категоризації Автор Циолковський Роман Романович Дата публікації 01-01-2021 Постачальник інформації Електронний архів наукових та освітніх матеріалів КПІ ім. Ігоря Сікорського Першоджерело https://ela.kpi.ua/handle/123456789/56374 Видання Київ Опис У даній роботі було поставлене завдання розробити архітектуру збору даних із відкритих джерел у мережі Інтернет, їх зберігання та подальшої обробки. У ході виконання роботи було досліджені сучасні підходи до збирання даних з вебсторінок: вебскрапінг та використання відкритих API. Як методологію проєктування було вибрано предметно-орієнтоване проєктування, яке найбільш точно задовольняє потреби даної інформаційної системи. Як прикладну задачу вибрано збір та подальший аналіз даних про товари в інтернет-магазинах українських мереж продуктових супермаркетів для пошуку раціонального рішення щодо вибору магазину по даній продуктовому кошику та місцерозташуванню. У результаті роботи було детально описано розроблену архітектуру та алгоритми кожної з її компонент та їх взаємодію. Після цього були реалізовані окремі модулі збору, зберігання та обробки інформації про товари в інтернет-магазинах мовою програмування Python, які надалі можуть стати основою комерційного рішення для розв'язання даної задачі. Також було проаналізовані можливості щодо міграції на актуальні сервіси хмарних обчислень та інтеграції serverless рішень для запропонованої архітектури. Загальний обсяг роботи 69 сторінок, 11 рисунків, 8 таблиць, 17 посилань. Додано в НРАТ 2025-01-29 Закрити