Програмний засіб аналізу сайтів з продажу побутової техніки

Abstract

Кваліфікаційна робота присвячена дослідженню методів та розробці програмного забезпечення для автоматизованого збору й інтелектуального аналізу даних з інтернет-магазинів побутової техніки. У першому розділі описано сучасний стан технологій веб-скрейпінгу, висвітлено проблеми неструктурованих даних в електронній комерції, розглянуто аналоги рішень для моніторингу цін та принципи побудови архітектури систем обробки великих масивів даних. Другий розділ містить обґрунтування технологічного стеку, дослідження методів зіставлення товарних позицій, а також опис структури бази даних та алгоритмів нормалізації інформації. У третьому розділі представлено програмну реалізацію системи, проаналізовано ефективність алгоритмів аналізу тональності відгуків та наведено результати тестування швидкодії й точності збору даних.

The qualification work is devoted to the research of methods and the development of software for automated data collection and intellectual analysis from household appliance online stores. The first chapter describes the current state of web scraping technologies, highlights the problems of unstructured data in e-commerce, examines existing software solutions for price monitoring, and analyzes the architectural principles of systems for processing large datasets. The second chapter provides the justification for the choice of the technology stack, researches methods for matching product items from various sources, and describes the database structure and data normalization algorithms. The third chapter presents the software implementation of the system, analyzes the efficiency of sentiment analysis algorithms for customer reviews, and provides the results of performance and data collection accuracy testing.