Bitte benutzen Sie diese Kennung, um auf die Ressource zu verweisen: http://elartu.tntu.edu.ua/handle/lib/41156
Titel: Дослідження засобів та методів машинного навчання для аналітичного опрацювання великих даних
Sonstige Titel: Research of Machine Learning Tools and Methods for Analytical Processing of Big Data
Autor(en): Прийма, Павло Васильович
Pryima, Pavlo Vasylovych
Affiliation: ТНТУ ім. І. Пулюя, Факультет комп’ютерно-інформаційних систем і програмної інженерії, Кафедра комп’ютерних наук, м. Тернопіль, Україна
Bibliographic description (Ukraine): Прийма П. В. Дослідження засобів та методів машинного навчання для аналітичного опрацювання великих даних : кваліфікаційна робота магістра за спеціальністю „122 – комп’ютерні науки“ / П. В. Прийма. – Тернопіль : ТНТУ, 2023. – 70 с.
Erscheinungsdatum: 24-Mai-2023
Submitted date: 10-Mai-2023
Date of entry: 25-Mai-2023
Country (code): UA
Place of the edition/event: ТНТУ ім. І.Пулюя, ФІС, м. Тернопіль, Україна
Supervisor: Кунанець, Наталія Едуардівна
Committee members: Яцишин, Василь Володимирович
UDC: 004.9
Stichwörter: машинне навчання
machine learning
великі дані
big data
big data analytics
hadoop
mapreduce
Zusammenfassung: Кваліфікаційна робота присв’ячена розробці засобів та методів машинного навчання для аналітичного опрацювання великих даних. В першому розділі кваліфікаційної роботи освітнього рівня «Магістр» описано розвиток наукових досліджень в галузі аналітичного опрацювання великих даних. В комплексі розглянуто Інтернет речей та аналітичне опрацювання великих даних. Описано інформаційно-технологічні IoT-платформи та аналітичне опрацювання великих даних. Досліджено концепцію великих даних та їх аналітичне опрацювання. В другому розділі кваліфікаційної роботи досліджено машинне навчання та аналітичне опрацювання великих даних. Описано методи машинного навчання для аналітичного опрацювання великих даних. Висвітлена методика аналізу літературних джерел щодо засобів та методів машинного навчання для аналітичного опрацювання великих даних. В другому розділі кваліфікаційної роботи досліджено машинне навчання та аналітичне опрацювання великих даних. Описано методи машинного навчання для аналітичного опрацювання великих даних. The qualification work is dedicated to the development of machine learning tools and methods for analytical processing of big data. The first chapter of the qualification work of the Master's level describes the development of scientific research in the field of analytical processing of big data. The Internet of Things and analytical processing of big data are considered in the complex. Information technology IoT platforms and analytical processing of big data are described. The concept of big data and its analytical processing have been studied. In the second section of the qualification work, machine learning and analytical processing of big data were investigated. Machine learning methods for analytical processing of big data are described. The method of analysis of literary sources regarding means and methods of machine learning for analytical processing of big data is highlighted. In the second section of the qualification work, machine learning and analytical processing of big data were investigated. Machine learning methods for analytical processing of big data are described.
Content: ВСТУП 7 1 СТАН ТА ПЕРСПЕКТИВИ ДОСЛІДЖЕНЬ В ГАЛУЗІ МАШИННОГО НАВЧАННЯ ТА ОПРАЦЮВАННЯ ВЕЛИКИХ ДАНИХ 9 1.1 Розвиток наукових досліджень в галузі аналітичного опрацювання великих даних 9 1.2 Інтернет речей та аналітичне опрацювання великих даних 11 1.3 Інформаційно-технологічні IoT-платформи та аналітичне опрацювання великих даних 13 1.4 Концепція великих даних та їх аналітичне опрацювання 17 1.5 Висновок до першого розділу 25 2 ДОСЛІДЖЕННЯ МАШИННОГО НАВЧАННЯ ТА АНАЛІТИЧНОГО ОПРАЦЮВАННЯ ВЕЛИКИХ ДАНИХ 26 2.1 Машинне навчання та аналітичне опрацювання великих даних 26 2.2 Методи машинного навчання для аналітичного опрацювання великих даних 29 2.3 Методика аналізу літературних джерел щодо засобів та методів машинного навчання для аналітичного опрацювання великих даних 30 2.4 Висновок до другого розділу 36 3 АНАЛІЗ РЕЗУЛЬТАТІВ ДОСЛІДЖЕННЯ МАШИННОГО НАВЧАННЯ ТА АНАЛІТИЧНОГО ОПРАЦЮВАННЯ ВЕЛИКИХ ДАНИХ 37 3.1 Інструменти аналітичного опрацювання великих даних 37 3.2 Результати досліджень в галузі аналітичного опрацювання великих даних 39 3.3 Часовий розподіл наукових публікацій щодо аналітичного опрацювання великих даних 43 3.4 Метрики оцінки, що використовуються в галузі аналітичного опрацювання великих даних 49 3.5 Ключові проблеми аналітичного опрацювання великих даних та перспективи майбутніх досліджень 51 3.6 Висновок до третього розділу 55 4 ОХОРОНА ПРАЦІ ТА БЕЗПЕКА В НАДЗВИЧАЙНИХ СИТУАЦІЯХ 56 4.1 Медичні профілактичні заходи щодо збереження здоров’я та працездатності користувачів комп’ютерів та відеодисплейних терміналів 56 4.2 Організація оповіщення і зв’язку у надзвичайних ситуаціях техногенного та природного характеру 58 ВИСНОВКИ 60 ПЕРЕЛІК ДЖЕРЕЛ 62 ДОДАТКИ
URI: http://elartu.tntu.edu.ua/handle/lib/41156
Copyright owner: © Прийма Павло Васильович, 2023
References (Ukraine): 1 F. Balali, J. Nouri, A. Nasiri, and T. Zhao, “Data Analytics,” Data Intensive Ind. Asset Manag., pp. 105–113, 2020, doi: 10.1007/978-3-030-35930-0_7.
2 A. Yassine, M. S. Hossain, G. Muhammad, S. Singh, and M. Shamim Hossain, “IoT Big Data Analytics for Smart Homes with Fog and Cloud Computing Smart Meters Big Data View project A Vision System for Date Fruit Harvesting Robot View project IoT Big Data Analytics for Smart Homes with Fog and Cloud Computing”, Future Generation Computer Systems, pp.563-573, 2019, doi: 10.1016/j.future.2018.08.040.
3 Duda, O., Kunanets, N., Martsenko, S., Matsiuk, O., Pasichnyk, V., Building secure Urban information systems based on IoT technologies. CEUR Workshop Proceedings 2623, pp. 317-328. 2020.
4 S. S. Gill, R. C. Arya, G. S. Wander, and R. Buyya, “Fog-Based Smart Healthcare as a Big Data and Cloud Service for Heart Patients Using IoT,” Lecture Notes Data Engineering and Communication Technology, vol. 26, pp. 1376–1383, 2019, doi: 10.1007/978-3-030-03146-6_161.
5 Bodnarchuk I., Duda O., Kharchenko A., Kunanets N., Matsiuk O., Pasichnyk V. Choice method of analytical information-technology platform for projects associated to the smart city class. ICTERI 2020 ICT in Education, Research and Industrial Applications. Integration, Harmonization and Knowledge Transfer Proceedings of the 14th International Conference on ICT in Education, Research and Industrial Applications. Integration, Harmonization and Knowledge Transfer. Volume I: Main Conference р.317-330.
6 M. Chen, J. Yang, L. Hu, M. Shamim Hossain, and G. Muhammad, “Urban Healthcare Big Data System Based on Crowdsourced and Cloud-Based Air Quality Indicators,” IEEE Communications Magazine, vol. 56, no. 11, pp. 14–20, 2018, doi: 10.1109/MCOM.2018.1700571.
7 Duda, O., et al, Selection of Effective Methods of Big Data Analytical Processing in Information Systems of Smart Cities. CEUR Workshop Proceedings 2631, pp. 68-78. 2020.
8 Y. I. Gonzales et al., “The Internet of Things (IoT): An Overview Related papers An overview of t he Int ernet of Things for people with disabilities” vol. 5, pp. 71–82, 2015.
9 Duda O., Matsiuk O., Kunanets N., Pasichnyk V., Rzheuskyi A., Bilak Y., Formation of Hypercubes Based on Data Obtained from Systems of IoT Devices of Urban Resource Networks, International Journal of Sensors, Wireless Communications and Control (2020) 10: 1. ISSN 2210-3287.
10 M. Wu and J. Luo, “Wearable Technology Applications in Healthcare: A Literature Review,” Online J. Nurs. Informatics Contrib., vol. 23, no. 3, pp. 1–10, 2019.
11 Duda, O., Palka, O., Pasichnyk, V., Matsiuk, O., Kunanets, N., & Tabachyshyn, D. (2020, September). Existing City Assessment Systems. In 2020 IEEE 15th International Conference on Computer Sciences and Information Technologies (CSIT) (Vol. 2, pp. 238-241). IEEE.
12 E. Said Mohamed, A. A. Belal, S. Kotb Abd-Elmabod, M. A. El-Shirbeny, A. Gad, and M. B. Zahran, “Smart farming for improving agricultural management,” Egypt. J. Remote Sens. Sp. Sci., vol. 24, no. 3, pp. 971–981, Dec. 2021, doi: 10.1016/J.EJRS.2021.08.007.
13 K. Sharma, D. Anand, M. Sabharwal, P. K. Tiwari, O. Cheikhrouhou, and T. Frikha, “A Disaster Management Framework Using Internet of Things-Based Interconnected Devices,” Math. Probl. Eng., vol. 2021, 2021, doi: 10.1155/2021/9916440.
14 S. N. Swamy, D. Jadhav, and N. Kulkarni, “Security threats in the application layer in IOT applications,” Proceedings of International Conference on IoT Soc. Mobile, Analytics and Cloud, I-SMAC 2017, pp. 477–480, Oct. 2017, doi: 10.1109/I-SMAC.2017.8058395.
15 N. M. Kumar and P. K. Mallick, “The Internet of Things: Insights into the building blocks, component interactions, and architecture layers,” in Procedia Computer Science, vol. 132, pp. 109–117, 2018 doi: 10.1016/j.procs.2018.05.170.
16 L. Nastase, “Security in the Internet of Things: A Survey on Application Layer Protocols,” in Proceedings - 2017 21st International Conference on Control Systems and Computer, CSCS 2017, pp. 659–666, 2017, doi: 10.1109/CSCS.2017.101.
17 L. Oliveira, J. J. P. C. Rodrigues, S. A. Kozlov, R. A. L. Rabêlo, and V. H. C. De Albuquerque, “MAC layer protocols for internet of things: A survey,” Futur. Internet, vol. 11, no. 1, pp. 1–42, 2019, doi: 10.3390/fi11010016.
18 P. Desai, A. Sheth, and P. Anantharam, “Semantic Gateway as a Service Architecture for IoT Interoperability,” in Proceedings - 2015 IEEE 3rd International Conference on Mobile Services, MS 2015, pp. 313–319, 2015, doi: 10.1109/MobServ.2015.51.
19 J. Zakir, T. Seymour, and K. Berg, Big data analytics, Issues Inf. Syst., vol. 16, no. 2, pp. 81–90, 2015.
20 R. Raja, I. Mukherjee, and B. K. Sarkar, A systematic review of healthcare big data, Sci. Program., vol. 2020, p. 5471849, 2020.
21 R. H. Hariri, E. M. Fredericks, and K. M. Bowers, “Uncertainty in big data analytics: survey, opportunities, and challenges,” J. Big Data, vol. 6, no. 1, 2019, doi: 10.1186/s40537-019-0206-3.
22 I. K. Nti, A. F. Adekoya, and B. A. Weyori, A comprehensive evaluation of ensemble learning for stockmarket prediction, J. Big Data, vol. 7, no. 1, p. 20, 2020.
23 K. Vassakis, E. Petrakis, and I. Kopanakis, “Big data analytics: Applications, prospects and challenges,” in Lecture Notes on Data Engineering and Communications Technologies, vol. 10, pp. 3–20, 2018.
24 A. Gandomi and M. Haider, “Beyond the hype: Big data concepts, methods, and analytics,” International Journa of Information Management, vol. 35, no. 2, pp. 137–144, Apr. 2015, doi: 10.1016/J.IJINFOMGT.2014.10.007.
25 P. Russom, Introduction to big data analytics, https://vivomente.com/wp-content/uploads/2016/04/bigdata-analytics-white-paper.pdf, 2011.
26 Z. H. Sun, L. Z. Sun, and K. Strang, Big data analytics services for enhancing business intelligence, J. Comput. Inf. Syst., vol. 58, no. 2, pp. 162–169, 2018.
27 T. T. Le, W. X. Fu, and J. H. Moore, Scaling tree-based automated machine learning to biomedical big data with a feature set selector, Bioinformatics, vol. 36, no. 1, pp. 250–256, 2020.
28 B. Aragona and R. De Rosa, Big data in policy making, Math. Popul. Stud., vol. 26, no. 2, pp. 107–113, 2019.
29 A. Holst, Amount of information globally 2010–2024, https://www.statista.com/statistics/871513/worldwidedata-created/, 2020.
30 B. K. Sarkar, Big data for secure healthcare system: A conceptual design, Complex Intell. Syst., vol. 3, no. 2, pp. 133–151, 2017.
31 G. Kaur, P. Tomar, and P. Singh, Design of cloud-based green IoT architecture for smart cities, in Internet of Things and Big Data Analytics Toward Next-Generation Intelligence, N. Dey, A. E. Hassanien, C. Bhatt, A. S. Ashour, and S. C. Satapathy, eds. Cham, Germany: Springer, 2018, pp. 315–333.
32 K. Shafique, B. A. Khawaja, F. Sabir, S. Qazi, and M. Mustaqim, “Internet of things (IoT) for next-generation smart systems: A review of current challenges, future trends and prospects for emerging 5G-IoT Scenarios,” IEEE Access, vol. 8, pp. 23022–23040, 2020, doi: 10.1109/ACCESS.2020.2970118.
33 I. Cisco Systems, “Cisco Visual Networking Index: Forecast and Trends, 2017–2022 White Paper,” Cisco Forecast Methodol., pp. 2017–2022, 2019.
34 K. Y. Ngiam and I. W. Khor, Big data and machine learning algorithms for health-care delivery, Lancet Oncol., vol. 20, no. 5, pp. e262–e273, 2019.
35 J. F. Qiu, Q. H. Wu, G. R. Ding, Y. H. Xu, and S. Feng, A survey of machine learning for big data processing, EURASIP J. Adv. Signal Process., vol. 2016, no. 1, pp. 67, 2016.
36 B. Ale, Risk analysis and big data, Saf. Reliab., vol. 36, no. 3, pp. 153–165, 2016.
37 O. Y. Al-Jarrah, P. D. Yoo, S. Muhaidat, G. K. Karagiannidis, and K. Taha, Efficient machine learning for big data: A review, Big Data Res., vol. 2, no. 3, pp. 87–93, 2015.
38 D. Z. Chong and H. Shi, Big data analytics: A literature review, J. Manag. Anal., vol. 2, no. 3, pp. 175–201, 2015.
39 L. Collins, Mini literature review: A new type of literature review article, https://www.emeraldgroup publishing.com/archived/products/journals/call for papers. htm%3Fid%3D5730, 2021.
40 Nti, Isaac Kofi, et al. "A mini-review of machine learning in big data analytics: Applications, challenges, and prospects." Big Data Mining and Analytics 5.2 (2022): 81-97.
41 Amandeep Singh, K., and T. V. Ananthan. "Research Challenges on Big Internet of Things Data Analytics." Journal of Computational and Theoretical Nanoscience 16.5-6 (2019): 2113-2116.
42 N. Akhtar, F. Parwej, and Y. Perwej, “A Perusal of Big Data Classification and Hadoop Technology ” Science and Education, vol. 4, no. 1, pp. 26–38, 2017, doi: 10.12691/iteces-4-1-4.
43 M. Assefi, E. Behravesh, G. Liu, and A. P. Tafti, “Big data machine learning using apache spark MLlib,” in Proceedings - 2017 IEEE International Conference on Big Data, Big Data 2017, vol. 2018–Janua, pp. 3492–3498, 2017, doi: 10.1109/BigData.2017.8258338.
44 E. G. Caldarola and A. M. Rinaldi, “Big data: A survey: The new paradigms, methodologies and tools,” in DATA 2015 - 4th International Conference on Data Management Technologies and Applications, Proceedings, pp. 362–370, 2015, doi: 10.5220/0005580103620370.
45 A. MadhaviLatha and G. V Kumar, “Streaming data analysis using apache cassandra and zeppelin,” IJISET-International Journal of Innovative Science, Engineering & Technology, vol. 3, no.10, 2016.
46 L. Nair, L. Nair, S. Shetty, and S. Shetty, “Interactive visual analytics on Big Data: Tableau vs D3.js,” Journal of e-Learning and Knowledge Society, vol. 12, no. 4, 2016.
47 C. Choi, J. Kim, J. Kim, D. Kim, Y. Bae, and H. S. Kim, Development of heavy rain damage prediction model using machine learning based on big data, Adv. Meteorol., vol. 2018, p. 5024930, 2018.
48 N. Ahmed, A. L. C. Barczak, T. Susnjak, and M. A. Rashid, A comprehensive performance analysis of Apache Hadoop and Apache Spark for large scale data sets using HiBench, J. Big Data, vol. 7, no. 1, p. 110, 2020.
49 W. Gu, K. Foster, J. Shang, and L. R. Wei, A gamepredicting expert system using big data and machine learning, Expert Syst. Appl., vol. 130, pp. 293–305, 2019.
50 K. P. Zhu, G. C. Li, and Y. Zhang, Big data oriented smart tool condition monitoring system, IEEE Trans. Ind. Inform., vol. 16, no. 6, pp. 4007–4016, 2020.
51 A. Bousdekis, N. Papageorgiou, B. Magoutas, D. Apostolou, and G. Mentzas, Sensor-driven learning of time-dependent parameters for prescriptive analytics, IEEE Access, vol. 8, pp. 92383–92392, 2020.
52 B. Cleland, J. Wallace, R. Bond, M. Black, M. Mulvenna, D. Rankin, and A. Tanney, Insights into antidepressant prescribing using open health data, Big Data Res., vol. 12, pp. 41–48, 2018.
53 M. Giacalone, C. Cusatelli, and V. Santarcangelo, Big data compliance for innovative clinical models, Big Data Res., vol. 12, pp. 35–40, 2018.
54 K. A. Jallad, M. Aljnidi, and M. S. Desouki, Anomaly detection optimization using big data and deep learning to reduce false-positive, J. Big Data, vol. 7, no. 1, p. 68, 2020.
55 F. Celli, F. Cumbo, and E. Weitschek, Classification of large DNA methylation datasets for identifying cancer drivers, Big Data Res., vol. 13, pp. 21–28, 2018.
56 D. Chrimes and H. Zamani, Using distributed data over HBase in big data analytics platform for clinical services, Comput. Math. Methods Med., vol. 2017, p. 6120820, 2017.
57 L. Gu and H. Li, Memory or time: Performance evaluation for iterative operation on hadoop and spark, in Proc. 10th Int. Conf. High Performance Computing and Communications & 2013 IEEE Int. Conf. Embedded and Ubiquitous Computing, Zhangjiajie, China, 2013, pp. 721–727.
58 Y. Samadi, M. Zbakh, and C. Tadonki, Performance comparison between Hadoop and Spark frameworks using HiBench benchmarks, Concurr. Comput.: Pract. Exp. vol. 30, no. 12, p. e4367, 2018.
59 M. Chen, Y. X. Hao, K. Hwang, L. Wang, and L. Wang, Disease prediction by machine learning over big data from healthcare communities, IEEE Access, vol. 5, pp. 8869–8879, 2017.
60 D. Nallaperuma, R. Nawaratne, T. Bandaragoda, A. Adikari, S. Nguyen, T. Kempitiya, D. De Silva, D. Alahakoon, and D. Pothuhera, Online incremental machine learning platform for big data-driven smart traffic management, IEEE Trans. Intell. Transp. Syst., vol. 20, no. 12, pp. 4679–4690, 2019.
61 A. Fonseca and B. Cabral, Prototyping a GPGPU neural network for deep-learning big data analysis, Big Data Res., vol. 8, pp. 50–56, 2017.
62 S. Srivastava, Top 10 countries & regions leading the big data adoption in 2019, https://www.analyticsinsight. net/top-10-countries-regions-leading-the-big-data-adoption-in-2019/, 2020.
63 H. Cai, B. Xu, L. Jiang, and A. V. Vasilakos, “IoT-Based Big Data Storage Systems in Cloud Computing: Perspectives and Challenges,” IEEE Internet of Things Journal, vol. 4, no. 1, pp. 75–87, Feb. 2017, doi: 10.1109/JIOT.2016.2619369.
64 A. K. U. Haq, A. Khattak, N. Jamil, M. A. Naeem, and F. Mirza, Data analytics in mental healthcare, Sci. Program., vol. 2020, p. 2024160, 2020.
65 Y. Samadi, M. Zbakh, and C. Tadonki, Comparative study between Hadoop and Spark based on Hibench benchmarks, in Proc. 2nd Int. Conf. Cloud Computing Technologies and Applications, Marrakech, Morocco, 2016, pp. 267–275.
66 C. W. Tsai, C. F. Lai, H. C. Chao, and A. V. Vasilakos, Big data analytics: A survey, J. Big Data, vol. 2, no. 1, p. 21, 2015.
67 R. J. Dalton, The potential of big data for the crossnational study of political behavior, Int. J. Sociol., vol. 46, no. 1, pp. 8–20, 2016.
68 Y. He, F. R. Yu, N. Zhao, H. X. Yin, H. P. Yao, and R. C. Qiu, Big data analytics in mobile cellular networks, IEEE Access, vol. 4, pp. 1985–1996, 2016.
69 M. Y. Li, Z. Q. Liu, X. H. Shi, and H. Jin, ATCS: Auto-tuning configurations of big data frameworks based on generative adversarial nets, IEEE Access, vol. 8, pp. 50485–50496, 2020.
70 M. Khan, Z. W. Huang, M. Z. Li, G. A. Taylor, P. M. Ashton, and M. Khan, Optimizing hadoop performance for big data analytics in smart grid, Math. Probl. Eng., vol. 2017, p. 2198262, 2017.
71 M. Shahbaz, C. Y. Gao, L. L. Zhai, F. Shahzad, and M. R. Arshad, Moderating effects of gender and resistance to change on the adoption of big data analytics in healthcare, Complexity, vol. 2020, p. 2173765, 2020.
72 Основні правила дотримання охорони праці при роботі на персональних ЕОМ. URL: https://www.victorija.ua/dovidnik/osnovni-pravyla-dotrymannya-ohorony-pratsi-pry-roboti-na-personalnyh-eom.html.
73 КУРС ЛЕКЦІЙ. ОХОРОНА ПРАЦІ В ГАЛУЗІ. URL: https://www.uzhnu.edu.ua/uk/infocentre/get/36621.
74 Постанова Кабінету Міністрів України від 27.09.2017 № 733 «Про затвердження Положення про організацію оповіщення про загрозу виникнення або виникнення надзвичайних ситуацій та зв’язку у сфері цивільного захисту». URL: https://zakon.rada.gov.ua/laws/show/733-2017-%D0%BF#Text.
75 Організація оповіщення і зв'язку. URL: https://guns.odessa.gov.ua/guns-opovwennya-naselennya/organ-zac-ya-opov-wennya-zv-yazku/
Content type: Master Thesis
Enthalten in den Sammlungen:122 — комп’ютерні науки

Dateien zu dieser Ressource:
Datei Beschreibung GrößeFormat 
Pryima_P_V.pdf2,19 MBAdobe PDFÖffnen/Anzeigen


Alle Ressourcen in diesem Repository sind urheberrechtlich geschützt, soweit nicht anderweitig angezeigt.

Administrationswerkzeuge