Методи та засоби розробки гнучкої та маштабованої ETL-системи для обробки великих обсягів даних

Abstract

Кваліфікайна робота присвячена присвячена розробленню автоматизованих ETL-процесів для збору, обробки та збереження даних із використанням Docker-контейнерів та бази даних PostgreSQL. У першому розділі проведено аналіз сучасних підходів до реалізації ETL-процесів, розглянуто інструменти для екстракції, трансформації та завантаження даних. Оцінено можливості використання Apache Airflow для підвищення ефективності обробки даних. У другому розділі описано вибір інструментів, таких як FastAPI, Docker і PostgreSQL, та розроблено архітектуру ETL-системи. Система автоматично збирає дані з зовнішніх API, трансформує їх і завантажує у базу даних. Третій розділ присвячено реалізації системи. Деталізовано створення Docker-контейнера для виконання ETL-процесу, інтеграцію FastAPI для запитів користувача та підключення до PostgreSQL. Описано розробку програмного забезпечення для збору, обробки та збереження даних. У останньому розділі детально розглянуто аспекти охорони праці та безпеки в надзвичайних ситуаціях під час розробки і експлуатації автоматизованих ETL-процесів.

The qualification work is dedicated to the development of automated ETL processes for data collection, processing, and storage using Docker containers and a PostgreSQL database. In the first chapter, an analysis of modern approaches to implementing ETL processes is conducted, and tools for data extraction, transformation, and loading are reviewed. The potential of using Apache Airflow to enhance data processing efficiency is evaluated. The second chapter describes the selection of tools, including FastAPI, Docker, and PostgreSQL, and the development of the ETL system architecture. The system automatically collects data from external APIs, transforms it, and loads it into the database. The third chapter focuses on the implementation of the system. It details the creation of a Docker container for executing the ETL process, the integration of FastAPI for user queries, and the connection to PostgreSQL. The chapter also outlines the development of software for data collection, processing, and storage. The final section thoroughly examines aspects of occupational safety and emergency security during the development and operation of automated ETL processes.