Розподілена компʼютерна система агрегації та аналізу даних з IoT-пристроїв

Abstract

Баландюк Ю.Р. Розподілена компʼютерна система агрегації та аналізу даних з IoT-пристроїв: робота на здобуття кваліфікаційного ступеня бакалавра: спец. 123 — комп’ютерна інженерія. Тернопіль: Тернопільський національний технічний університет імені Івана Пулюя, 2026.

Ключові слова: великі дані, потокова обробка, інфраструктура, On-premise рішення, контейнер, Apache Kafka, Apache Spark, SparkSQL, MinIO, Apache Iceberg, Apache Thrift Server, Apache Superset, Docker, Big Data

В ході виконання кваліфікаційної роботи бакалавра було спроєктовано та реалізовано розподілену компʼютерну систему агрегації та аналізу даних з IoT-пристроїв. Архітектура системи базується на використанні брокера повідомлень Apache Kafka для збору телеметричних даних, кластера Apache Spark для обробки потоків у реальному часі та об’єктного сховища MinIO під керуванням формату Apache Iceberg. Візуалізація результатів аналізу забезпечується BI-платформою Apache Superset, а цілісність та масштабованість системи досягнута шляхом контейнеризації компонентів за допомогою Docker. Пояснювальна записка кваліфікаційної роботи містить чотири розділи. В першому розділі обґрунтовується актуальність теми розробки розподіленої компʼютерної системи агрегації та аналізу даних з IoT-пристроїв. Визначаються вимоги до продуктивності та масштабування архітектури, здійснюється обґрунтований вибір стеку технологій. Також коротко описуються принципи роботи використовуваних технологій та концепція об’єктного зберігання даних. Другий розділ присвячений розробці архітектури системи агрегації та функціонуванню конвеєра обробки даних у контейнеризованому середовищі.

Розглядається специфіка побудови мікросервісної структури за допомогою Docker, інтеграція брокера повідомлень Apache Kafka, системи розподілених обчислень Apache Spark та об’єктного сховища MinIO з табличним форматом Apache Iceberg, а також проєктування схеми передачі телеметрії від джерела до засобів візуалізації. Також розглядається роль Spark Thrift Server у забезпеченні доступу до даних та обґрунтовується вибір Apache Superset як інструменту бізнес-аналітики. В третьому розділі реалізовується практичне розгортання розробленої розподіленої системи. Описано процес налаштування брокерів Kafka, конфігурування Spark-кластера для потокової обробки та створення структурованого сховища на базі MinIO, а також налаштуванню інтерактивних дашбордів для візуалізації аналітичних даних. Четвертий розділ присвячений аспектам безпеки життєдіяльності та основи охорони праці.

Balandiuk Y.R. Distributed Computer System for Aggregation and Analysis of Data from IoT Devices: Bachelor’s Graduation Thesis: speciality 123 — computer engineering. Ternopil: Ternopil Ivan Puluj National Technical University, 2026.

Keywords: Big Data, stream processing, infrastructure, On-premise solution, container, Apache Kafka, Apache Spark, SparkSQL, MinIO, Apache Iceberg, Apache Thrift Server, Apache Superset, Docker, Big Data.

During the execution of the bachelor’s qualification thesis, a distributed computer system for aggregation and analysis of data from IoT devices was designed and implemented. The system architecture is based on the use of the Apache Kafka message broker for collecting telemetry data, an Apache Spark cluster for real-time stream processing, and MinIO object storage managed by the Apache Iceberg table format. Visualization of analysis results is provided by the Apache Superset BI platform, while system integrity and scalability are achieved through containerization of components using Docker. The explanatory note of the qualification thesis consists of four sections. The first section substantiates the relevance of developing a distributed computer system for aggregation and analysis of data from IoT devices. Performance and scalability requirements of the architecture are defined, and a justified selection of the technology stack is carried out. The operating principles of the utilized technologies and the concept of object-based data storage are also briefly described. The second section is devoted to the development of the system architecture and the functioning of the data processing pipeline in a containerized environment. It examines the specifics of building a microservice structure using Docker, the integration of the Apache Kafka message broker, the Apache Spark distributed computing system, and MinIO object storage with the Apache Iceberg table format, as well as the design of the telemetry transmission scheme from source to visualization tools. The role of Spark Thrift Server in providing data access is also considered, and the choice of Apache Superset as a business intelligence tool is justified. The third section presents the practical deployment of the developed distributed system. It describes the process of configuring Kafka brokers, setting up the Spark cluster for stream processing, creating structured storage based on MinIO, and configuring interactive dashboards for visualization of analytical data. The fourth section is devoted to occupational safety and health and safety fundamentals.