Пошук академічних текстів

Інформація × Реєстраційний номер 2118U005274, Матеріали видань та локальних репозитаріїв Категорія Опубліковано, Стаття Назва роботи ПЕРСПЕКТИВНІ ТЕХНОЛОГІЇ ДОСЛІДЖЕННЯ ВЕЛИКИХ ДАНИХ У РОЗПОДІЛЕНИХ ІНФОРМАЦІЙНИХ СИСТЕМАХ Автор Бойко Н.І.Boyko N. І. Дата публікації 29-03-2018 Постачальник інформації Журнал "Радіоелектроніка, інформатика, управління" (Національний університет "Запорізька політехніка") Першоджерело https://ric.zp.edu.ua/article/view/126289 Видання National University "Zaporizhzhia Polytechnic" Опис Актуальність. Розглянуто питання коректної інтерпретації інформаційних потоків у розподілених інформаційних системах. Об’єктом дослідження є методи дослідження просування «великих даних» по кластерах системи.Мета роботи є дослідження перспективних напрямків та технологій для аналізу структур даних у розподілених інформаційних системах. Метод. Розглянуто технології обробки великих даних. Проведено аналіз кожної з них. Наведено приклад застосування парадигми MapReduce, завантаження великих обсягів даних на сервер, опрацювання та аналіз неструктурованої інформації та розподілення її у кластеризовану базу даних. В статті узагальнено поняття “великі дані”. Наводяться приклади методів по роботі з масивами неструктурованих даних. Виділені наукові спрямування для аналізу великих даних. Сформульовані принципи роботи неструктурованих даних у розподілений інформаційних системах. Приводиться робота платформ Hadoop MapReduce та Apache Spark. Аналізуються їхні властивості та приводяться відмінності. Наводиться порівняльний аналіз продуктивності обох платформ у відношенні – час виконання до кількості ітерацій. Розглядаються способи створення RDD: розпаралелення переданої колекції в програмі та посилання на зовнішню файлову систему в Hadoop. Також наводиться приклад розпаралеленої системи RDD. Пропонується робота класу одинак для основних операцій з базою даних: підключення до бази даних, створення таблиці, знищення таблиці, отримання рядка по id, повернення усіх елементів бази даних, оновлення, видалення та створення рядка.Результати. Проведений аналіз моделей Spark та Hadoop MapReduce для поеапної побудови розподіленої інформаційної системи. Побудований SparkConf об’єкт, який містить інформацію про аплікацію і є кінцевим варіантом експеременту.Висновки. Проведені експерименти підтвердили працездатність запропонованих методів, які здатні обробляти горизонтальні масиви даних, що розпаралелені через неякісний спосіб представлення інформації. Такі перспективні напрямки роботи аналізують структуру даних з метою прогнозу результатів та створюють алгоритми передових кореляцій, що сприяють новому розумінню діяльності розподілених інформаційних систем. Подальші дослідження можуть полягати в широкому застосуванні інформаційних систем, які би забезпечували повний комплекс технологічного процесу адаптації інформаційних потоків у кластери. Додано в НРАТ 2026-02-09 Закрити