Пошук академічних текстів

Інформація × Реєстраційний номер 2121U008376, Матеріали видань та локальних репозитаріїв Категорія Бакалаврська робота Назва роботи Застосування Data pipelines в хмарних сервісах для медіа – аналітики засобів масової інформації України Автор Кулижко Андрій ОлександровичKulyzhko Andrii Oleksandrovych Дата публікації 01-06-2021 Постачальник інформації Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського» Першоджерело https://ela.kpi.ua/handle/123456789/44149 Видання Київ Опис Метою даної роботи є розробка локального рішення - data pipeline для аналізу даних соціальної мережі Twitter, запропонування аналогічного рішення за допомогою сервісів Amazon Web Services (AWS), визначення доцільності використання одного підходу та іншого, проведення економічного обґрунтування, визначені переваги та недоліки кожного з варіантів, обґрунтована доцільність використання та надана рекомендація для впровадження на підприємствах кожного з варіантів, визначена ефективність IaaS-сервісів з економічної точки зору, у порівнянні з капітальними інвестиціями у власні дата-центри. В ході роботи було розглянуто та окреслено задачу проектування локального рішення data pipeline для застосування в сфері аналітики даних засобів масової інформації, створено рішення, як зчитує дані з потоку всіх твітів та фільтрує за визначеними ключовими словами. Спроектовано та запущено рішення на базі Kafka кластеру, а також розроблений модуль відображення аналітики твітів для користувача. Рішення було розроблено із використанням мови Python та фреймворку Flask та бібліотеки Leaflet.js, Kafka cluster, AWS S3, AWS EC2, Amazon Kinesis Data Stream, калькулятор AWS інфраструктури. The purpose of this work is to develop a local solution - data pipeline for data analysis of the social network Twitter, offering a similar solution using Amazon Web Services (AWS), determining the feasibility of using one approach and another, economic feasibility, identified advantages and disadvantages of each option. the expediency of use is substantiated and the recommendation for introduction at the enterprises of each of options is given, efficiency of IaaS-services from the economic point of view, in comparison with capital investments in own data centers is defined. In the course of the work the task of designing a local data pipeline solution for application in the field of media data analytics was considered and outlined, a solution was created on how to read data from the stream of all tweets and filter by certain keywords. A solution based on the Kafka cluster was designed and launched, and a tweet analytics display module for the user was developed. The solution was developed using the Python language and the Flask framework and the Leaflet.js library, Kafka cluster, AWS S3, AWS EC2, Amazon Kinesis Data Stream, AWS infrastructure calculator. Целью данной работы является разработка локального решения - data pipeline для анализа данных социальной сети Twitter, предлагаемых аналогичного решения с помощью сервисов Amazon Web Services (AWS), определение целесообразности использования одного подхода и прочего, проведение экономического обоснования, определенные преимущества и недостатки каждого из вариантов , обоснована целесообразность использования и предоставлена рекомендация для внедрения на предприятиях каждого из вариантов, определенная эффективность IaaS-сервисов с экономической точки зрения, по сравнению с капитальными инвестициями в собственные дата-центры. В ходе работы были рассмотрены и намечены задачу проектирования локального решения data pipeline для применения в сфере аналитики данных средств массовой информации, создан решение, как считывает данные из потока всех твитов и фильтрует по определенным ключевым словам. Спроектировано и запущено решения на базе Kafka кластера, а также разработан модуль отображения аналитики твитов для пользователя. Решение было разработано с использованием языка Python и фреймворка Flask и библиотеки Leaflet.js, Kafka cluster, AWS S3, AWS EC2, Amazon Kinesis Data Stream, калькулятор AWS инфраструктуры. Додано в НРАТ 2025-11-05 Закрити