Аналіз методів та засобів оптимізації запитів для сучасних систем аналітичного опрацювання даних

Abstract

Кваліфікаційну роботу присвячено дослідженню сучасних підходів до оптимізації обробки запитів у системах керування базами даних, зокрема інтеграції методів штучного інтелекту та машинного навчання у процеси обробки SQL-запитів, а також застосуванню гібридних архітектур, що поєднують реляційні (SQL) та нереляційні (NoSQL) бази даних. Актуальність теми зумовлена стрімким зростанням обсягів даних та неспроможністю традиційних статичних оптимізаторів запитів адаптуватися до динамічно змінюваних робочих навантажень. Метою роботи є аналіз сучасних методів оптимізації обробки запитів до баз даних та обґрунтування доцільності інтеграції методів штучного інтелекту й гібридних архітектур SQL/NoSQL для підвищення продуктивності, ефективності використання ресурсів та масштабованості систем керування даними. У першому розділі систематизовано теоретичні засади оптимізації продуктивності баз даних: розглянуто еволюцію систем керування базами даних, методи індексування, оптимізації запитів, секціонування, кешування та балансування навантаження, а також особливості реляційної та нереляційної моделей даних, поліглотну персистентність, тенденції розвитку технологій баз даних і питання безпеки даних. У другому розділі проаналізовано напрями застосування штучного інтелекту в обробці SQL-запитів, розглянуто алгоритми машинного навчання (навчання з підкріпленням, дерева рішень, нейронні мережі), систематизовано ключові проблеми інтеграції (якість даних, вибір алгоритмів, архітектурна сумісність) та обґрунтовано гібридну модель оптимізації, що поєднує правила-орієнтовані механізми з алгоритмами машинного навчання. У третьому розділі наведено методику та результати експериментального дослідження, проведеного у хмарному середовищі PostgreSQL із застосуванням статистичних методів оцінювання. Експериментальні результати засвідчили, що інтеграція штучного інтелекту дозволяє скоротити час виконання запитів приблизно на 35 %, знизити використання пам'яті з 85 % до 60 %, зменшити кількість дискових операцій з 15000 до 8000 та підвищити пропускну здатність приблизно на 63 %. Точність прогнозування оптимальних планів виконання інтелектуальною моделлю склала 92 %. Результати мають практичну цінність для адміністраторів баз даних, інженерів даних та розробників високонавантажених застосунків у хмарних середовищах.

The qualification work is devoted to the study of modern approaches to optimizing query processing in database management systems, in particular, the integration of artificial intelligence and machine learning methods into SQL query processing processes, as well as the use of hybrid architectures that combine relational (SQL) and non-relational (NoSQL) databases. The relevance of the topic is due to the rapid growth of data volumes and the inability of traditional static query optimizers to adapt to dynamically changing workloads. The purpose of the work is to analyze modern methods for optimizing database query processing and to substantiate the feasibility of integrating artificial intelligence methods and hybrid SQL/NoSQL architectures to increase productivity, resource efficiency, and scalability of data management systems. The first section systematizes the theoretical principles of database performance optimization: the evolution of database management systems, methods of indexing, query optimization, partitioning, caching and load balancing are considered, as well as the features of relational and non-relational data models, polyglot persistence, trends in database technology development and data security issues. The second section analyzes the areas of application of artificial intelligence in SQL query processing, considers machine learning algorithms (reinforcement learning, decision trees, neural networks), systematizes key integration issues (data quality, algorithm selection, architectural compatibility) and justifies a hybrid optimization model that combines rule-based mechanisms with machine learning algorithms. The third section presents the methodology and results of an experimental study conducted in the PostgreSQL cloud environment using statistical evaluation methods. Experimental results show that integrating AI can reduce query execution time by approximately 35%, reduce memory usage from 85% to 60%, reduce disk operations from 15000 to 8000, and increase throughput by approximately 63%. The accuracy of predicting optimal execution plans by the intelligent model was 92%. The results have practical value for database administrators, data engineers, and developers of high-load applications in cloud environments.