Програмний засіб аналіз ринку мобільних телефонів засобами машинного навчання

Abstract

Кваліфікаційна робота присвячена розробці програмного засобу для аналізу ринку мобільних телефонів із застосуванням методів машинного навчання. Актуальність теми зумовлена тим, що сучасний ринок смартфонів характеризується значною кількістю моделей, широким діапазоном цін та різноманіттям технічних характеристик, унаслідок чого ручний порівняльний аналіз і обґрунтований вибір пристрою стають складними для пересічного користувача. У роботі реалізовано повний цикл обробки даних: автоматизований збір інформації про товари з веб-ресурсу за допомогою бібліотеки BeautifulSoup, збереження зібраних даних у реляційній базі даних SQLite, попередня обробка та візуалізація даних засобами бібліотек pandas, matplotlib і seaborn, а також побудова та порівняння кількох класифікаційних моделей машинного навчання – дерева рішень, логістичної регресії, випадкового лісу (Random Forest), градієнтного бустингу XGBoost та ансамблевого голосування. Окрему увагу приділено обґрунтуванню вибору інструмента доступу до веб-ресурсу: проведено порівняння бібліотеки BeautifulSoup із фреймворком Selenium за критеріями швидкодії, споживання ресурсів та складності реалізації. За результатами порівняння для поставленої задачі обрано BeautifulSoup. Найкращу точність класифікації показав алгоритм Random Forest – 97,59 % на реальній вибірці та 79,47 % на імітованій. На основі побудованої моделі сформовано рекомендацію щодо вибору оптимальної моделі смартфона за критерієм максимізації характеристик при мінімізації ціни.

This qualification thesis is devoted to the development of a software tool for analyzing the mobile phone market using machine learning methods. The relevance of the topic stems from the fact that the modern smartphone market is characterized by a large number of models, a wide range of prices, and a diversity of technical specifications, which makes manual comparative analysis and a well-grounded choice of device difficult for the average user. The work implements a complete data processing pipeline: automated collection of product information from a web resource using the BeautifulSoup library, storage of the collected data in a relational SQLite database, preliminary processing and visualization of the data by means of the pandas, matplotlib, and seaborn libraries, as well as the construction and comparison of several machine learning classification models – a decision tree, logistic regression, random forest (Random Forest), gradient boosting (XGBoost), and ensemble voting. Particular attention is given to justifying the choice of the tool for accessing the web resource: the BeautifulSoup library is compared with the Selenium framework according to the criteria of performance, resource consumption, and implementation complexity. Based on the results of the comparison, BeautifulSoup was chosen for the task at hand. The highest classification accuracy was demonstrated by the Random Forest algorithm – 97.59% on the real sample and 79.47% on the simulated one. Based on the constructed model, a recommendation was formulated for choosing the optimal smartphone model according to the criterion of maximizing specifications while minimizing price.