1. ELARTU — Інституційний репозитарій ТНТУ імені Івана Пулюя
  2. Роботи студентів
  3. Магістр
  4. 125 — кібербезпека, Кібербезпека та захист інформації
Empreu aquest identificador per citar o enllaçar aquest ítem: http://elartu.tntu.edu.ua/handle/lib/48161
Títol: Методи виявлення аномалій у великих даних для прогнозування кіберзагроз
Altres títols: Big data anomaly detection methods for cyber threat prediction
Autor: Гладчук, Максим Віталійович
Hladchuk, Maksym
Affiliation: ТНТУ ім. І. Пулюя, Факультет комп’ютерно-інформаційних систем і програмної інженерії, Кафедра кібербезпеки, м. Тернопіль, Україна
Bibliographic description (Ukraine): Гладчук М. В. Методи виявлення аномалій у великих даних для прогнозування кіберзагроз : робота на здобуття кваліфікаційного ступеня магістра : спец. 125 - кібербезпека та захист інформації / наук. кер. М. А. Стадник. Тернопіль : Тернопільський національний технічний університет імені Івана Пулюя, 2024. 104 с.
Data de publicació: 1-de -2025
Date of entry: 14-de -2025
Country (code): UA
Place of the edition/event: ТНТУ ім. І.Пулюя, ФІС, м. Тернопіль, Україна
Supervisor: Стадник, Марія Андріївна
Stadnyk, Maria
Committee members: Мацюк, Галина Ростиславівна
Matsiuk, Halyna
Paraules clau: виявлення аномалій
anomaly detection
кібербезпека
cybersecurity
великі дані
big data
машинне навчання
machine learning
глибинне навчання
deep learning
Resum: У кваліфікаційній роботі вирішується завдання ефективного виявлення аномалій у великих масивах даних, що є критично важливим для підвищення рівня кібербезпеки сучасних інформаційних систем. У роботі розглянуто основні особливості великих даних, наведено переваги та недоліки традиційних і сучасних методів виявлення аномалій, включаючи кластеризаційні підходи та глибинні нейронні мережі. Детально проаналізовано механізми оцінки зрілості та ефективності систем виявлення, а також методи оптимізації моделей для підвищення точності й надійності прогнозування загроз. Представлено систему виявлення аномалій на основі машинного та глибинного навчання, а також проведено порівняльний аналіз запропонованого підходу за критеріями точності, швидкодії та застосовності в умовах реальних корпоративних мереж. The qualification work addresses the task of effective anomaly detection in large-scale data sets, which is critical for enhancing the cybersecurity of modern information systems. The study examines the key features of big data and presents the advantages and disadvantages of both traditional and advanced anomaly detection methods, including clustering approaches and deep neural networks. A detailed analysis of methods for assessing the maturity and effectiveness of detection systems is provided, as well as approaches for model optimization to improve the accuracy and reliability of threat prediction. The paper introduces an anomaly detection system based on machine learning and deep learning techniques and includes a comparative analysis of the proposed approach in terms of accuracy, performance, and applicability within real corporate network environments.
Descripció: Методи виявлення аномалій у великих даних для прогнозування кіберзагроз // ОР «Магістр» // Гладчук Максим Віталійович // Тернопільський національний технічний університет імені Івана Пулюя, факультет комп’ютерно-інформаційних систем і програмної інженерії, кафедра кібербезпеки, група СБм-61 // Тернопіль, 2024 // С. 101, рис. – 15, табл. – 4 , додат. – 2.
Content: ВСТУП 8 РОЗДІЛ 1 ТЕОРЕТИЧНІ ОСНОВИ ВИЯВЛЕННЯ АНОМАЛІЙ У ВЕЛИКИХ ДАНИХ 10 1.1 ОСНОВНІ КОНЦЕПЦІЇ ВЕЛИКИХ ДАНИХ 10 1.2 АНОМАЛІЇ У ВЕЛИКИХ ДАНИХ 12 1.3 КІБЕРЗАГРОЗИ 15 1.3 МЕТОДИ ВИЯВЛЕННЯ АНОМАЛІЙ 18 1.4 ВИКЛИКИ ТА ПРОБЛЕМИ ВИЯВЛЕННЯ АНОМАЛІЙ У КІБЕРБЕЗПЕЦІ 24 РОЗДІЛ 2 МЕТОДИ ВИЯВЛЕННЯ АНОМАЛІЙ У ВЕЛИКИХ ДАНИХ ДЛЯ ПРОГНОЗУВАННЯ КІБЕРЗАГРОЗ 28 2.1 МАШИННЕ НАВЧАННЯ ТА ЙОГО РОЛЬ У ВИЯВЛЕННІ АНОМАЛІЙ 28 2.2 МЕТОД КЛАСТЕРИЗАЦІЇ ДЛЯ ВИЯВЛЕННЯ АНОМАЛІЙ 30 2.3 МЕТОД ПОБУДОВИ РЕГРЕСІЙНИХ МОДЕЛЕЙ ДЛЯ АНАЛІЗУ АНОМАЛІЙ 33 2.4 МЕТОДИ НА ОСНОВІ ГЛИБОКОГО НАВЧАННЯ ДЛЯ ВИЯВЛЕННЯ АНОМАЛІЙ 36 2.5 ВИКОРИСТАННЯ НЕЙРОННИХ МЕРЕЖ ДЛЯ ПРОГНОЗУВАННЯ КІБЕРЗАГРОЗ 39 РОЗДІЛ 3 ПРАКТИЧНІ АСПЕКТИ ЗАСТОСУВАННЯ МЕТОДІВ ВИЯВЛЕННЯ АНОМАЛІЙ У ВЕЛИКИХ ДАНИХ 42 3.1 ОГЛЯД НАЯВНИХ ІНСТРУМЕНТІВ ДЛЯ ОБРОБКИ ВЕЛИКИХ ДАНИХ 42 3.2 ВИБІР АЛГОРИТМІВ ДЛЯ ВИЯВЛЕННЯ АНОМАЛІЙ У КІБЕРЗАГРОЗАХ 53 3.3 РОЗРОБКА МОДЕЛІ ДЛЯ ПРОГНОЗУВАННЯ КІБЕРЗАГРОЗ НА ОСНОВІ АНОМАЛЬНИХ ДАНИХ 61 3.4 ТЕСТУВАННЯ І ОЦІНКА ЕФЕКТИВНОСТІ МОДЕЛЕЙ ВИЯВЛЕННЯ АНОМАЛІЙ 64 3.5 ОПТИМІЗАЦІЯ МЕТОДІВ ДЛЯ ПІДВИЩЕННЯ ТОЧНОСТІ ПРОГНОЗУВАННЯ КІБЕРЗАГРОЗ 70 3.6 ПОРІВНЯННЯ ТРАДИЦІЙНИХ І СУЧАСНИХ МЕТОДІВ ВИЯВЛЕННЯ АНОМАЛІЙ 72 РОЗДІЛ 4 ОХОРОНА ПРАЦІ ТА БЕЗПЕКА В НАДЗВИЧАЙНИХ СИТУАЦІЯХ 75 4.1 ОХОРОНА ПРАЦІ 75 4.1 ПЛАНУВАННЯ ЗАХОДІВ ЦИВІЛЬНОГО ЗАХИСТУ НА ОБ’ЄКТІ У ВИПАДКУ НАДЗВИЧАЙНИХ СИТУАЦІЙ 78 ВИСНОВКИ 84 СПИСОК ВИКОРИСТАНИХ ДЖЕРЕЛ 86 ДОДАТКИ 91 ДОДАТОК А ПУБЛІКАЦІЯ 91 Додаток Б лістинг файлу Program.py 95
URI: http://elartu.tntu.edu.ua/handle/lib/48161
Copyright owner: © Гладчук Максим Віталійович, 2024
References (Ukraine): 1. Chandola, V., Banerjee, A., Kumar, V. "Anomaly detection: A survey" // ACM Computing Surveys. – 2009. – Vol. 41, No. 3. – P. 1–58.
2. Ahmed, M., Mahmood, A.N., Hu, J. "A survey of network anomaly detection techniques" // Journal of Network and Computer Applications. – 2016. – Vol. 60. – P. 19–31.
3. ZAGORODNA, N., STADNYK, M., LYPA, B., GAVRYLOV, M., & KOZAK, R. (2022). Network Attack Detection Using Machine Learning Methods. Challenges to national defence in contemporary geopolitical situation, 2022(1), 55-61.
4. Kim, G., Lee, S., Kim, S. "A novel hybrid intrusion detection method integrating anomaly detection with misuse detection" // Expert Systems with Applications. – 2014. – Vol. 41, No. 4. – P. 1690–1700.
5. Tymoshchuk, V., Mykhailovskyi, O., Dolinskyi, A., Orlovska, A., & Tymoshchuk, D. (2024). OPTIMISING IPS RULES FOR EFFECTIVE DETECTION OF MULTI-VECTOR DDOS ATTACKS. Матеріали конференцій МЦНД, (22.11. 2024; Біла Церква, Україна), 295-300.
6. Xu, X., Wang, X. "Anomaly detection based on one-class SVM in wireless sensor networks" // Lecture Notes in Computer Science. – Berlin: Springer, 2005. – Vol. 3644. – P. 271–282.
7. Breunig, M.M. et al. "LOF: Identifying density-based local outliers" // ACM SIGMOD Record. – 2000. – Vol. 29, No. 2. – P. 93–104.
8. Lypa, B., Horyn, I., Zagorodna, N., Tymoshchuk, D., Lechachenko T., (2024). Comparison of feature extraction tools for network traffic data. CEUR Workshop Proceedings, 3896, pp. 1-11.
9. Pang, G. et al. "Deep learning for anomaly detection: A review" // ACM Computing Surveys. – 2021. – Vol. 54, No. 2. – P. 1–38.
10. Zhang, Y., Meratnia, N., Havinga, P. "Outlier detection techniques for wireless sensor networks: A survey" // IEEE Communications Surveys & Tutorials. – 2010. – Vol. 12, No. 2. – P. 159–170.
11. Tymoshchuk, D., Yasniy, O., Mytnyk, M., Zagorodna, N., Tymoshchuk, V., (2024). Detection and classification of DDoS flooding attacks by machine learning methods. CEUR Workshop Proceedings, 3842, pp. 184 - 195.
12. Eskin, E. et al. "A geometric framework for unsupervised anomaly detection: Detecting intrusions in unlabeled data" // Applications of Data Mining in Computer Security. – Boston: Kluwer Academic Publishers, 2002. – P. 77–101.
13. Kruegel, C., Vigna, G. "Anomaly detection of web-based attacks" // Proceedings of the 10th ACM Conference on Computer and Communications Security. – Washington: ACM, 2003. – P. 251–261.
14. ТИМОЩУК, Д., ЯЦКІВ, В., ТИМОЩУК, В., & ЯЦКІВ, Н. (2024). INTERACTIVE CYBERSECURITY TRAINING SYSTEM BASED ON SIMULATION ENVIRONMENTS. MEASURING AND COMPUTING DEVICES IN TECHNOLOGICAL PROCESSES, (4), 215-220.
15. Zong, B. et al. "Deep autoencoding gaussian mixture model for unsupervised anomaly detection" // International Conference on Learning Representations (ICLR). – 2018.
16. Akoglu, L., Tong, H., Koutra, D. "Graph based anomaly detection and description: A survey" // Data Mining and Knowledge Discovery. – 2015. – Vol. 29, No. 3. – P. 626–688.
17. Hodge, V.J., Austin, J. "A survey of outlier detection methodologies" // Artificial Intelligence Review. – 2004. – Vol. 22, No. 2. – P. 85–126.
18. ТИМОЩУК, Д., & ЯЦКІВ, В. (2024). USING HYPERVISORS TO CREATE A CYBER POLYGON. MEASURING AND COMPUTING DEVICES IN TECHNOLOGICAL PROCESSES, (3), 52-56.
19. Erfani, S.M. et al. "High-dimensional and large-scale anomaly detection using a linear one-class SVM with deep learning" // Pattern Recognition. – 2016. – Vol. 58. – P. 121–134.
20. Gao, J., Hu, X. "Anomaly detection using graph-based data" // IEEE Transactions on Knowledge and Data Engineering. – 2010. – Vol. 22, No. 8. – P. 1160–1171.
21. Tymoshchuk, V., Vantsa, V., Karnaukhov, A., Orlovska, A., & Tymoshchuk, D. (2024). COMPARATIVE ANALYSIS OF INTRUSION DETECTION APPROACHES BASED ON SIGNATURES AND ANOMALIES. Матеріали конференцій МЦНД, (29.11. 2024; Житомир, Україна), 328-332.
22. Ribeiro, M.T., Singh, S., Guestrin, C. "Why should I trust you? Explaining the predictions of any classifier" // Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. – 2016. – P. 1135–1144. 23. Ruff, L. et al. "Deep one-class classification" // International Conference on Machine Learning (ICML). – 2018.
24. Tymoshchuk, V., Vorona, M., Dolinskyi, A., Shymanska, V., & Tymoshchuk, D. (2024). SECURITY ONION PLATFORM AS A TOOL FOR DETECTING AND ANALYSING CYBER THREATS. Collection of scientific papers «ΛΌГOΣ», (December 13, 2024; Zurich, Switzerland), 232-237.
25. Li, Y., Ma, R. "Anomaly detection in streaming data using incremental k-means clustering" // Proceedings of the 2020 IEEE International Conference on Big Data. – 2020. 26. Goldstein, M., Uchida, S. "A comparative evaluation of unsupervised anomaly detection algorithms for multivariate data" // PLoS ONE. – 2016. – Vol. 11, No. 4. – P. e0152173.
27. Тимощук, В., Долінський, А., & Тимощук, Д. (2024). СИСТЕМА ЗМЕНШЕННЯ ВПЛИВУ DOS-АТАК НА ОСНОВІ MIKROTIK. Матеріали конференцій МЦНД, (17.05. 2024; Ужгород, Україна), 198-200.
28. Xu, D. et al. "Learning to detect anomalies in industrial control systems using deep learning" // IEEE Access. – 2019. – Vol. 7. – P. 110662–110673.
29. Tymoshchuk, D., Yasniy, O., Maruschak, P., Iasnii, V., & Didych, I. (2024). Loading Frequency Classification in Shape Memory Alloys: A Machine Learning Approach. Computers, 13(12), 339.
30. Patcha, A., Park, J.-M. "An overview of anomaly detection techniques: Existing solutions and latest technological trends" // Computer Networks. – 2007. – Vol. 51, No. 12. – P. 3448–3470.
31. Gupta, M., Gao, J., Aggarwal, C.C., Han, J. "Outlier detection for temporal data: A survey" // IEEE Transactions on Knowledge and Data Engineering. – 2014. – Vol. 26, No. 9. – P. 2250–2267.
32. Бекер, І., Тимощук, В., Маслянка, Т., & Тимощук, Д. (2023). МЕТОДИКА ЗАХИСТУ ВІД ПОВІЛЬНИХ ТА ШВИДКИХ BRUTE-FORCE АТАК НА IMAP СЕРВЕР. Матеріали конференцій МНЛ, (17 листопада 2023 р., м. Львів), 275-276.
33. Akash, M., Daniel, M. "Anomaly detection in big data using machine learning techniques" // Big Data Research. – 2020. – Vol. 21. – P. 100150. 34. Chalapathy, R., Menon, A.K., Chawla, S. "Robust, deep and inductive anomaly detection" // Proceedings of the 2020 International Conference on Machine Learning (ICML). – 2020.
35. Ванца, В., Тимощук, В., Стебельський, М., & Тимощук, Д. (2023). МЕТОДИ МІНІМІЗАЦІЇ ВПЛИВУ SLOWLORIS АТАК НА ВЕБСЕРВЕР. Матеріали конференцій МЦНД, (03.11. 2023; Суми, Україна), 119-120.
36. Doshi-Velez, F., Kim, B. "Towards a rigorous science of interpretable machine learning" // arXiv preprint arXiv:1702.08608. – 2017.
37. Tymoshchuk, V., Dolinskyi, A., & Tymoshchuk, D. (2024). MESSENGER BOTS IN SMART HOMES: COGNITIVE AGENTS AT THE FOREFRONT OF THE INTEGRATION OF CYBER-PHYSICAL SYSTEMS AND THE INTERNET OF THINGS. Матеріали конференцій МЦНД, (07.06. 2024; Луцьк, Україна), 266-267.
38. Sun, Y., Kamel, M.S., Wong, A.K.C., Wang, Y. "Cost-sensitive boosting for classification of imbalanced data" // Pattern Recognition. – 2007. – Vol. 40, No. 12. – P. 3358–3378.
39. Tymoshchuk, D., & Yatskiv, V. (2024). Slowloris ddos detection and prevention in real-time. Collection of scientific papers «ΛΌГOΣ», (August 16, 2024; Oxford, UK), 171-176.
40. Akıncı, E., Erdoğan, F. "Machine learning-based anomaly detection in network traffic" // Computers & Security. – 2021. – Vol. 101. – P. 102119. 41. Liu, F.T., Ting, K.M., Zhou, Z.-H. "Isolation Forest" // Proceedings of the 2008 IEEE International Conference on Data Mining. – Pisa: IEEE, 2008. – P. 413–422. 42. Gama, J., Žliobaitė, I., Bifet, A., Pechenizkiy, M., Bouchachia, A. "A survey on concept drift adaptation" // ACM Computing Surveys. – 2014. – Vol. 46, No. 4. – P. 1–37. 43. Mishko, O., Matiuk, D., & Derkach, M. (2024). Security of remote iot system management by integrating firewall configuration into tunneled traffic. Вісник Тернопільського національного технічного університету, 115(3), 122-129. 44. Zhou, C., Paffenroth, R.C. "Anomaly detection with robust deep autoencoders" // Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. – 2017. – P. 665–674. 45. Böhmer, M., Heindorf, S., Gottron, T., Decker, S. "Deep anomaly detection on attributed networks" // Proceedings of the 2020 SIAM International Conference on Data Mining. – 2020. – P. 720–728.
Content type: Master Thesis
Apareix a les col·leccions:125 — кібербезпека, Кібербезпека та захист інформації

Arxius per aquest ítem:
Arxiu Descripció MidaFormat 
Bachelor_Thesis__SB-61_Hladchuk_M_V_2024.pdf1,41 MBAdobe PDFVeure/Obrir
Mostrar el registre complet Dublin Core de l'ítem


Els ítems de DSpace es troben protegits per copyright, amb tots els drets reservats, sempre i quan no s’indiqui el contrari.

Eines d'Administrador