Kubernetes кластер в гібридній хмарі для виконання завдань Big Data

Abstract

В ході виконання кваліфікаційної роботи бакалавра було створено гібридну хмару на інфраструктурах Google та Amazon з використанням Google Anthos, на якій розгорнуто та налаштовано Kubernetes кластер для запуску Spark-задач у Docker-контейнерах. Пояснювальна записка кваліфікаційної роботи містить чотири розділи. У першому розділі обгрунтовується актуальність теми, визначаються потреби до розгортання Kubernetes кластера у гібридній хмарі. Визначаються вимоги до його продуктивності, масштабування, вибір Big Data технологій, а також коротко описуються принципи роботи використовуваних технологій Другий розділ присвячений розробці архітектури та функціонування Kubernetes кластера на гібридній хмарній інфраструктурі, враховуючи специфіку задач Big Data. Крім цього, тут розглядаються конкретні інструменти для створення хмари, розгортання кластера та написання додатків із врахуванням особливостей роботи з ними та їх обгрунтованому виборі. У третьому розділі реалізовується розгортання Kubernetes кластера у гібридній хмарі провайдерів GCP та AWS і написання додатків для кластера. Четвертий розділ присвячений аспектам безпеки життєдіяльності та основи охорони праці.

In the course of the bachelor's thesis, a hybrid cloud was created on Google and Amazon infrastructures using Google Anthos, on which a Kubernetes cluster was deployed and configured to run Spark tasks in Docker containers. The explanatory note of the qualification work contains four sections. The first section substantiates the relevance of the topic, identifies the needs for deploying a Kubernetes cluster in a hybrid cloud. It defines the requirements for its performance, scaling, choice of Big Data technologies, and briefly describes the principles of operation of the technologies used. The second section is devoted to the development of the architecture and operation of a Kubernetes cluster on a hybrid cloud infrastructure, taking into account the specifics of Big Data tasks. In addition, it discusses specific tools for creating a cloud, deploying a cluster, and writing applications, taking into account the peculiarities of working with them and their reasonable choice. The third section describes how to deploy a Kubernetes cluster in a hybrid cloud of GCP and AWS providers and write applications for the cluster. The fourth section is devoted to the aspects of life safety and the basics of labor protection.