Конспект лекцій з дисципліни «Розподілені та паралельнi системи обчислень» для здобувачів третього (освітньо-наукового) рівня вищої освіти ОНП «Інженерія програмного забезпечення»

Abstract

У конспекті лекцій систематизовано сучасні підходи до розподіленої обробки великих даних з використанням екосистеми Apache Spark. Розглянуто фундаментальні принципи розподілених систем, архітектурні моделі та теорему CAP. Детально описано роботу з основними абстракціями даних RDD та DataFrame, використання Spark SQL для виконання запитів та трансформації даних. Висвітлено методи інженерії даних, включаючи очищення, підготовку та об'єднання наборів даних. Особливу увагу приділено машинному навчанню з використанням бібліотеки MLlib: побудові конвеєрів (pipelines), застосуванню алгоритмів регресії та класифікації, оцінюванню якості моделей. Окремо розглянуто питання налагодження, профілювання та оптимізації продуктивності розподілених обчислень, а також стратегії розгортання Spark-застосунків у кластерних середовищах (Standalone, YARN, Kubernetes). Матеріал орієнтований на здобувачів третього (освітньо-наукового) рівня за ОНП «Інженерія програмного забезпечення» та підтримує формування компетентностей у проєктуванні та реалізації масштабованих систем аналізу даних.