Будь ласка, використовуйте цей ідентифікатор, щоб цитувати або посилатися на цей матеріал: http://elartu.tntu.edu.ua/handle/lib/34035
Назва: Моніторинг та автоматизація керування серверами в високонавантажених системах
Інші назви: Monitoring and automation of servers control in high-load systems
Автори: Волоха, Антон Олександрович
Volokha, Anton Alexandrovich
Приналежність: ТНТУ ім. І. Пулюя, Факультет комп’ютерно-інформаційних систем і програмної інженерії, Кафедра комп’ютерних наук, м.Тернопіль, Україна
Бібліографічний опис: Волоха А. О. Моніторинг та автоматизація керування серверами в високонавантаженій мережі : дипломна робота магістра за спеціальністю „122 — комп’ютерні науки“ / А. О. Волоха. — Тернопіль : ТНТУ, 2020. — 89 с.
Дата публікації: 20-гру-2020
Дата подання: 22-лис-2020
Дата внесення: 19-січ-2021
Країна (код): UA
Місце видання, проведення: ТНТУ ім. І.Пулюя, ФІС, м. Тернопіль, Україна
Науковий керівник: Дмитроца, Леся Павлівна
Члени комітету: Петрик, Михайло Романович
УДК: 004.415.5
Теми: 122
комп’ютерні науки
Big Data
Big Data
інформаційні технології
technology information
моніторинг серверів
server monitoring
Elasticsearch
Elasticsearch
RSYSLOG
RSYSLOG
методологія
methodology
NoSQL database
NoSQL database
Короткий огляд (реферат): У кваліфікаційній роботі проведено дослідження критеріїв та засобів визначення моніторингу та автоматизації керування серверами в високонавантаженій мережі. Основним завданням кваліфікаційної роботи є аналіз методів моніторингу та автоматизації керування серверами в високонавантаженій мережі. В першому розділі було розглянуто транзакційні і потокові системи моніторингу, моніторинг інформаційних систем, методи журналювання подій в IT інфраструктурі, розглянуто існуючи засоби аналізу інформації про події такі як Adiscon LogAnalyzer, Splunk та IBM infoShpere. В другому розділі було розглянуто архітектуру централізованого логування, пошуку та виявлення шаблонів повідомлень в журналах та майбутню модель машинного навчання. В третьому розділі було здійснено побудову архітектури системи моніторингу, розглянуто способи реалізації та приведено приклади налаштувань які дадуть бажаний результат моніторингу системи.
In the qualifying work the research of criteria and means of definition of monitoring and automation of management of servers in high-load network. The main task of the thesis is the analysis of methods of monitoring and automation of server management in a high-load network. In the first section, transactional and non-transactional monitoring systems, information systems monitoring, methods of event logging in IT infrastructure were discussed, as well as innovative tools for analyzing event information such as Adiscon LogAnalyzer, Splunk and IBM infoShpere. The second section discusses the architecture of centralized logging, search and detection of message templates in journals and the future model of machine learning. In the third section, the architecture of the monitoring system was built, the methods of implementation were explained, and examples of settings were given that would give the desired result of system monitoring.
Зміст: Вступ ...9 1 Аналіз процесів та існуючих програмних засобів моніторингу та управління подіями ...13 1.1 Транзакційні і потокові системи ...13 1.2 Моніторинг інформаційних систем ...15 1.3 Журналювання подій іт-інфраструктури ...18 1.4 Існуючі засоби аналізу інформації про події ...19 1.4.1 Аdiscon loganalyzer ...20 1.4.2 Splunk enterprise ...21 1.4.3 Ibm infoshpere biginsights ...21 1.4.4 Комплекс fluentd/logstash, elasticsearch, kibana ...24 1.5 Висновки до першого розділу ...25 2 Основні принципи, моделі і методи виявлення причинно-наслідкових відносин між подіями в іт-інфраструктурі ...27 2.1 Архітектура централізованого логування ...27 2.2 Виявлення шаблонів повідомлень ...30 2.3 Машинне навчання ...32 2.4 Висновки до другого розділу ...32 3 Реалізація системи моніторингу та виявлення причинно-наслідкових зв'язків між подіями ...35 3.1 Архітектура системи моніторингу ...35 3.2 Технології та засоби реалізації системи моніторингу ...37 3.2.1 Rsyslog ..37 3.2.2 Filebeat ...38 3.2.3 Metricbeat ...39 3.3 Компоненти системи моніторингу ...39 3.3.3 Налаштування клієнту rsyslog ...39 3.3.4 Налаштування клієнту filebeat ...40 3.3.5 Налаштування клієнту metricbeat ...42 3.3.6 Налаштування кластеру elasticsearch на kibana ...42 3.3.7 Ilm: керування життєвим циклом індексу ...45 3.3.8 Управління індексами ...45 3.3.9 Створення завдань виявлення аномалій ...50 3.3.10 Сповіщення ...56 3.4 Висновки до третього розділу ...60 4 Охорона праці та безпека в надзвичайних ситуаціях ...61 4.1 Охорона праці. вимоги до серверних приміщень ...61 4.2 Оцінка стійкості роботи об’єкту економіки до впливу вражаючих факторів ядерної зброї...65 Висновки ...74 Список використаних джерел ...75 Додатки
URI (Уніфікований ідентифікатор ресурсу): http://elartu.tntu.edu.ua/handle/lib/34035
Власник авторського права: © Волоха Антон Олександрович, 2020
Перелік літератури: 1. Словник термінів ITIL® на українській мові, версія 2.0, 29 липня 2011 г. на основі англійської версії 1.0, 29 липня 2011. 2. Business Process Model and Notation (BPMN). Version 2.0.2 [Електронний ресурс] – Режим доступу до ресурсу: http://www.omg.org/spec/BPMN//2.0.2/PDF 3. RFC 3411 An Architecture for Describing Simple Network Management Protocol (SNMP) Management Frameworks [Електронний ресурс] – Режим доступу до ресурсу: https://www. ietf.org/rfc/rfc3411.txt 4. RFC 5424 The Syslog Protocol [Електронний ресурс] – Режим доступу до ресурсу: https://tools. ietf.org/html/rfc5424 5. Adiscon LogAnalyzer – syslog web viewer, analysis and reporting tool [Електронний ресурс] – Режим доступу до ресурсу: http://loganalyzer. adiscon.com 6. MonitorWare Knowledge Base [Електронний ресурс] – Режим доступу до ресурсу: http://kb.monitorware.com/ 7. Операційна аналітика, управління журналами, управління додатками, забезпечення безпеки підприємства та відповідності вимогам | Splunk [Електронний ресурс] – Режим доступу до ресурсу: http://www.splunk.com/ru_ru 8. IBM BigInsights for Apache Hadoop [Електронний ресурс] – Режим доступу до ресурсу: http://www-03.ibm.com/software/products /ru/ibm-biginsightsfor- apache-hadoop 9. Welcome to Apache ™ Hadoop® ! [Електронний ресурс] – Режим доступу до ресурсу: http://hadoop.apache.org/ 10. Fluentd | Open Source Data Collector [Електронний ресурс] – Режим доступу до ресурсу: http://www.fluentd.org/ 11. Logstash | Collect, Enrich & Transport Data [Електронний ресурс] – Режим доступу до ресурсу: https://www.elastic.co/products/logstash 76 12. Elasticsearch | Search & Analyze Data in Real Time [Електронний ресурс] – https://www.elastic.co/products/elasticsearch 13. Welcome to Apache Lucene [Електронний ресурс] – Режим доступу до ресурсу: https://lucene.apache.org/ 14. System Logging and Log Analysis (AKA: Everything we know and hate about system logging) [Електронний ресурс] – Режим доступу до ресурсу: http://www.ranum.com/security/computer_security/archives/logging-notes. pdf 15. Regular-Expressions. info – Regex Tutorial, Examples and Reference – Regexp Patterns [Електронний ресурс] – Режим доступу до ресурсу: http://www.regular-expressions.info/ 16. Li, Weixi Automatic Log Analysis using Machine Learning: Awesome Automatic Log Analysis version 2.0 [Електронний ресурс] – Режим доступу до ресурсу: http://uu.diva-portal.org/smash/get/diva2:667650/FULLTEXT01. pdf 17. Category: String similarity measures [Електронний ресурс] – Режим доступу до ресурсу: https://en.wikipedia.org/wiki/Category:String_similarity_measures 18. Levenshtein distance [Електронний ресурс] – Режим доступу до ресурсу: https://en. wikipedia.org/wiki/Levenshtein_distance 19. Overlap_coefficient [Електронний ресурс] – Режим доступу до ресурсу: https://en.wikipedia.org/wiki/Overlap_coefficient 20. Longest common subsequence problem [Електронний ресурс] – Режим доступу до ресурсу: https://en.wikipedia.org/wiki/Longest_common_subsequence_problem 21. Машинне навчання [Електронний ресурс] – Режим доступу до ресурсу: http://www.machinelearning.ru/wiki/index.php?title=%D0%9C%D0%B0%D1%88% D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83% D1%87%D0%B5%D0%BD%D0%B8%D0%B5 22. Карасьов А.А. Математичне і програмне забезпечення бази експертних знань для поддерекі прийняття рішення при вирішенні інцидентів в 77 інформаційних системах: дис... канд тих. наук: 04.1 3.11/Москва, МІРЕА 2014 – 243 з 23. RFC 5675 Mapping Simple Network Management Protocol (SNMP) 24. Notifications to SYSLOG Messages [Електронний ресурс] – Режим доступу до ресурсу: https://tools. ietf.org/html/rfc5675 25. Rsyslog. The rocket-fast system for log processing [Електронний ресурс] – Режим доступу до ресурсу: http: // www. rsyslog.com / 26. Java Standard Edition [Електронний ресурс] – Режим доступу до ресурсу: http://www.oracle.com/technetwork/java/javase/overview/index.html 27. SWT: The Standard Widget Toolkit [Електронний ресурс] – Режим доступу до ресурсу: https://www.eclipse.org/swt/ 28. JSON. simple – A simple Java toolkit for JSON [Електронний ресурс] – Режим доступу до ресурсу: https://code.google.com/archive/p/json-simple/ 29. Порівнюємо Java-бібліотеки для роботи з JSON: JSON. simple, GSON, Jackson і JSONP. [Електронний ресурс] – Режим доступу до ресурсу: https://tproger.ru/translations/java-json-library-comparison/ 30. RFC 7159 The JavaScript Object Notation (JSON) Data Interchange Format [Електронний ресурс] ] – Режим доступу до ресурсу: https://tools.ietf.org/html/rfc7159 31. Weka 3: Data Mining Software in Java [Електронний ресурс] – Режим доступу до ресурсу: http://www.cs.waikato.ac.nz/~ml/weka/ 32. IBM SPSS Statistics Standard [Електронний ресурс] – Режим доступу до ресурсу: http://www-03.ibm.com/software/products/ru/spss-stats-standard 33. R. Agrawal, R. Srikant: Fast Algorithms for Mining Association Rules in Large Databases. In: 20th International Conference on Very Large Data Bases 34. Tobias Scheffer: Finding Association Rules That Trade Support Optimally against Confidence. In: 5th European Conference on Principles of Data Mining and Knowledge Discovery, 424-435, 2001 35. P. A. Flach, N. Lachiche (1 999). Confirmation-Guided Discovery of firstorder rules with Tertius. Machine Learning.4 2: 61-95 78 36. Стандарт TIA/EIA-569. Commercial Building Standard for Telecommunication Pathways and Spaces. 37. Стандарт ANSI/NECA/BICSI 568-2001. Installing Commercial Building Telecommunication Cabling. 38. Стандарт ANSI/TIA/EIA-607. Commercial Building Grounding and Bonding Requirements for Telecommunications. 39. СН 512-78. Інструкція з проектування будинків і приміщень для електронних обчислювальних машин. Будівельні норми. 40. РД 45.120-2000. Норми технологічного проектування. 41. Avarias, J. A., Lpez, J. S., Maureira, C., Sommer, H., and Chiozzi, G., “Introducing high performance distributed logging service for acs,” Proc. SPIE 7740, 77403G–77403G–10 (2010). 42. Reveco, J., Mora, M., Shen, T.-C., Soto, R., Sepulveda, J., and Ibsen, J., “Implementing kanban for agile process management within the alma software operations group,” Proc. SPIE 9152, 91521M–91521M–10 (2014). 43. Gil, J. P., Tejeda, A., Shen, T.-C., and Saez, N., “Unveiling alma software behavior using a decoupled log analysis framework,” Proc. SPIE 9152, 91521G– 91521G–7 (2014). 44. Gormley, C. and Tong, Z., [Elasticsearch: The Definitive Guide], ” O’Reilly Media, Inc.” (2015). 45. Bagnasco, S., Berzano, D., Guarise, A., Lusso, S., Masera, M., and Vallero, S., “Towards monitoring-as-aservice for scientific computing cloud applications using the elasticsearch ecosystem,” in [Journal of Physics: Conference Series ], 664(2), 022040, IOP Publishing (2015). 46. Andrade, P., Fiorini, B., Murphy, S., Pigueiras, L., and Santos, M., “Monitoring evolution at cern,” Journal of Physics: Conference Series 664(5), 052002 (2015). 47. Vinoski, S., “Advanced message queuing protocol,” IEEE Internet Computing (6), 87–89 (2006). 79 48. McCandless, M., Hatcher, E., and Gospodnetic, O., [Lucene in Action: Covers Apache Lucene 3.0], Manning Publications Co. (2010). 49. Shen, T.-C., Soto, R., Mora, M., Reveco, J., and Ibsen, J., “Alma operation support software and infrastructure,” Proc.
Тип вмісту: Master Thesis
Розташовується у зібраннях:122 — комп’ютерні науки

Файли цього матеріалу:
Файл Опис РозмірФормат 
mag2020_Volokha.A.O._CHм-61.pdf10,15 MBAdobe PDFПереглянути/відкрити


Усі матеріали в архіві електронних ресурсів захищені авторським правом, всі права збережені.

Інструменти адміністратора