Методи та засоби розгортання артефактів екосистеми опрацювання великих даних Hadoop

Abstract

Кваліфікаційна робота присвячена дослідженню методів і засобів розгортання артефактів екосистеми опрацювання великих даних Hadoop. Робота включає в себе аналіз існуючих досліджень у сфері розгортання екосистеми Hadoop, а також акцентує увагу на можливостях використання комбінованого методу для розгортання та тестування власних артефактів сервісів Hadoop. Під час виконання кваліфікаційної роботи проведено детальний теоретичний огляд, аналіз та порівняння наявних на даний момент методів і інструментів розгортання. На основі зробленого теоретичного аналізу запропоновано новий метод розгортання екосистеми Hadoop, що використовує поєднання декількох з інструментів, спрямованих на виконання поставленого завдання. Проведено експериментальні дослідження розгортання артефактів, використовуючи засоби та інструменти, які було обрано при теоретичному аналізі для реалізації запропонованого комбінованого методу розгортання. Результати проведеного дослідження можуть мати велике теоретичне та практичне значення для полегшення розгортання сформованих артефактів, що налаштовані під специфічні вимоги поставлених завдань, а також забезпечення високої гнучкості, масштабованості екосистми Hadoop та зручності використання.

The Master’s graduation thesis is dedicated to to researching methods and tools for deploying artifacts within the Hadoop big data processing ecosystem. The work includes an analysis of existing studies in the field of Hadoop ecosystem deployment and emphasizes the potential of utilizing a combined approach for deploying and testing custom Hadoop service artifacts. During the preparation of the thesis, a detailed theoretical review, analysis, and comparison of currently available deployment methods and tools were conducted. Based on the theoretical analysis, a new Hadoop ecosystem deployment method was proposed, which combines several tools to address the defined objectives. Experimental studies were carried out to deploy artifacts using the tools and methods selected during the theoretical analysis to implement the proposed combined deployment method. The results of the study may have significant theoretical and practical value by facilitating the deployment of tailored artifacts configured to meet specific task requirements. Additionally, they contribute to enhancing the flexibility, scalability, and usability of the Hadoop ecosystem.