Пошук академічних текстів

Інформація × Реєстраційний номер 2225U001257, Кваліфікаційні роботи здобувачів вищої освіти Категорія Тези Назва роботи Програмний модуль збору даних про довгострокову оренду житла з використанням фреймворків Scrapy та Playwright Software module for collecting long-term housing rental data using Scrapy and Playwright frameworks Автор Малко Владислав Володимирович Дата публікації 01-01-2025 Постачальник інформації Західноукраїнський національний університет Першоджерело https://dspace.wunu.edu.ua/handle/316497/54799 Видання Тернопіль, ЗУНУ Опис Метою кваліфікаційної роботи є розробка та впровадження модулів котрі складають частину системи високочастотного збору даних про нерухомість з вебресурсів, що забезпечує високу продуктивність, точність та масштабованість. Об’єктом дослідження є процеси автоматизованого збору та обробки даних про нерухомість з веб-ресурсів. Предмет дослідження – модулі високочастотного збору даних про нерухомість з веб-ресурсів. Розроблені модулі демонструють високу продуктивність (обробка понад 100 000 сторінок на годину), точність вилучення даних (понад 98% для структурованих даних) та масштабованість (підтримка 17 країн та понад 10 000 доменів). Вони забезпечують універсальний ItemLoader, системи автоматичної пагінації, аналізу табличних структур та аналізу адрес, механізми роботи з динамічним контентом, захисту від блокувань, автоматизації життєвого циклу скраперів та високочастотного збору даних. Практичне значення полягає у створенні повноцінної екосистеми для автоматизованого збору даних про нерухомість, що може бути використана компаніями-агрегаторами, інвестиційними фондами, аналітичними агентствами та науково-дослідними установами. Додано в НРАТ 2025-11-21 Закрити