Будь ласка, використовуйте цей ідентифікатор, щоб цитувати або посилатися на цей матеріал:
http://elartu.tntu.edu.ua/handle/lib/43428| Назва: | Методи та засоби багатовимірного аналізу даних "розумних міст" на основі гіперкубів |
| Інші назви: | Methods and tools of multidimensional analysis of "Smart cities" based on hypercubes |
| Автори: | Каплун, Максим Олегович Kaplun, Maksym Olehovych |
| Приналежність: | ТНТУ ім. І. Пулюя, Факультет комп’ютерно-інформаційних систем і програмної інженерії, Кафедра комп’ютерних наук, м. Тернопіль, Україна |
| Бібліографічний опис: | Каплун М. О. Методи та засоби багатовимірного аналізу даних "розумних міст" на основі гіперкубів : кваліфікаційна робота освітнього рівня „Магістр“ „122 – комп’ютерні науки“ / М. О. Каплун. – Тернопіль : ТНТУ, 2023. – 69 с. |
| Дата публікації: | 26-гру-2023 |
| Дата подання: | 12-гру-2023 |
| Дата внесення: | 7-січ-2024 |
| Країна (код): | UA |
| Місце видання, проведення: | ТНТУ ім. І.Пулюя, ФІС, м. Тернопіль, Україна |
| Науковий керівник: | Кунанець, Наталія Едуардівна |
| Члени комітету: | Оробчук, Олександра Романівна |
| УДК: | 004.9 |
| Теми: | керування даними data management обробка даних data processing видобування даних data mining гіперкуб даних data hypercube обчислювальна геометрія computational geometry штучний інтелект artificial intelligence символічне видобування знань symbolic knowledge mining кластеризація clustering |
| Короткий огляд (реферат): | Кваліфікаційна робота присвячена дослідженню та аналізу методів та засобів багатовимірного аналізу даних «розумних міст» на основі гіперкубів. В першому розділі кваліфікаційної роботи висвітлено актуальність досліджень в галузі багатовимірного аналізу даних. Описано джерела багатовимірних даних «розумних міст». Розглянуто розподілені хеш-таблиці в «розумних» інформаційних системах. Подано опис технологій розподіленої книги (DLT), що використовуються для зберігання даних «розумних міст». Розглянуто концептуальний підхід до багатовимірного аналізу даних в «розумному місті» на основі гуперкубів. Висвітлено аналіз гіперкубів даних «розумних міст» на основі моделей машинного навчання. Описано підходи до видобування знань з гіперкубів даних «розумного міста» на основі кластеризації засобами машинного навчання.В другому розділі кваліфікаційної роботи розглянуто алгоритм видобування ознак даних «розумних міст» на основі гіперкубів. Описано структуру гіперкубів даних «розумних міст». Висвітлено зріз гіперкубів даних «розумних міст». В третьому розділі кваліфікаційної роботи описано використання засобів опрацювання гіперкубів для метеорологічних потреб «розумних міст» та для потреб охорони здоров’я «розумних міст». Проаналізовано продуктивність та масштабованість засобів багатовимірного аналізу даних «розумних міст» на основі гіперкубів. The qualification work is devoted to research and analysis of methods and means of multidimensional data analysis of "smart cities" based on hypercubes. The relevance of research in the field of multidimensional data analysis is highlighted in the first section of the qualification work. Sources of multidimensional data of "smart cities" are described. Distributed hash tables in "smart" information systems are considered. A description of distributed ledger technologies (DLT) used to store smart city data is given. A conceptual approach to multidimensional data analysis in a "smart city" based on hypercubes is considered. Analysis of hypercubes of "smart cities" data based on machine learning models is highlighted. Approaches to extracting knowledge from hypercubes of "smart city" data based on clustering by means of machine learning are described. In the second section of the qualification work, an algorithm for extracting features of "smart city" data based on hypercubes is considered. The structure of data hypercubes of "smart cities" is described. A section of hypercubes of "smart cities" data is highlighted. The third section of the qualification work describes the use of hypercube processing tools for the meteorological needs of "smart cities" and for the health care needs of "smart cities". The performance and scalability of the tools for multidimensional data analysis of "smart cities" based on hypercubes are analyzed. |
| Зміст: | ВСТУП 8 1 АНАЛІЗ ПРЕДМЕТНОЇ ОБЛАСТІ БАГАТОВИМІРНОГО ОПРАЦЮВАННЯ ДАНИХ «РОЗУМНИХ МІСТ» 10 1.1 Актуальність досліджень в галузі багатовимірного аналізу даних 10 1.2 Джерела багатовимірних даних «розумних міст» 11 1.3 Розподілені хеш-таблиці в «розумних» інформаційних системах 13 1.4 Технології розподіленої книги (DLT) 14 1.4.1 IOTA в «розумних містах» 14 1.5 Концептуальний підхід до багатовимірного аналізу даних в «розумному місті» на основі гуперкубів 15 1.6 Аналіз гіперкубів даних «розумних міст» на основі моделей машинного навчання 16 1.7 Видобування знань з гіперкубів даних «розумного міста» на основі кластеризації 21 1.8 Висновок до першого розділу 23 2 МЕТОДОЛОГІЧНІ ТА АЛГОРИТМІЧНІ ЗАСАДИ БАГАТОВИМІРНОГО АНАЛІЗУ ДАНИХ «РОЗУМНИХ МІСТ» 25 2.1 Алгоритм видобування ознак даних «розумних міст» на основі гіперкубів 25 2.2 Структура гіперкубів даних «розумних міст» 27 2.3 Зріз гіперкубів даних «розумних міст» 28 2.4 Концепція нарізки та осі даних «розумних міст» 29 2.5 Етап нарізки даних «розумного міста» 30 2.6 Побудова індексного дерева даних «розумного міста» 32 2.7 Алгоритм видобування ознак «Polytope» для використання в проектах «розумних міст» 34 2.8 Висновок до другого розділу 36 3 ВИКОРИСТАННЯ ЗАСОБІВ ОПРАЦЮВАННЯ ГІПЕРКУБІВ ДЛЯ ПОТРЕБ «РОЗУМНИХ МІСТ» 37 3.1 Використання засобів опрацювання гіперкубів для метеорологічних потреб «розумних міст» 37 3.2 Використання засобів опрацювання гіперкубів для потреб охорони здоров’я «розумних міст» 40 3.3 Продуктивність та масштабованість засобів багатовимірного аналізу даних «розумних міст» на основі гіперкубів 42 3.3.1 Продуктивність засобів багатовимірного аналізу даних «розумних міст» на основі гіперкубів 42 3.3.2 Обмеження кількості фрагментів гіперкубів даних «розумних міст» 47 3.3.3 Скорочення даних 51 3.3.4 Аналіз результатів оцінювання продуктивності та масштабованість засобів багатовимірного аналізу даних «розумних міст» 53 3.4 Висновок до третього розділу 54 4 ОХОРОНА ПРАЦІ ТА БЕЗПЕКА В НАДЗВИЧАЙНИХ СИТУАЦІЯХ 55 4.1 Психологічні чинники небезпеки 55 4.2 Ергономічні вимоги до робочого місця користувача персональним комп’ютером (ПК) 58 4.3 Висновок до четвертого розділу 61 ВИСНОВКИ 62 ПЕРЕЛІК ДЖЕРЕЛ 64 ДОДАТКИ |
| URI (Уніфікований ідентифікатор ресурсу): | http://elartu.tntu.edu.ua/handle/lib/43428 |
| Власник авторського права: | © Каплун Максим Олегович, 2023 |
| Перелік літератури: | 1 Duda, O., et al, Selection of Effective Methods of Big Data Analytical Processing in Information Systems of Smart Cities. CEUR Workshop Proceedings 2631, pp. 68-78. 2020. 2 J. Gray, S. Chaudhuri, A. Bosworth, A. Layman, D. Reichart, M. Venkatrao, F. Pellow, and H. Pirahesh, “Data cube: A relational aggregation operator generalizing group-by, cross-tab, and subtotals,” Data mining and knowledge discovery, vol. 1, pp. 29–53, 1997. 3 D. J. Higham and N. J. Higham, MATLAB guide. SIAM, 2016. 4 S. Hoyer and J. Hamman, “xarray: ND labeled arrays and datasets in Python,” Journal of Open Research Software, vol. 5, no. 1, 2017. 5 Xtensor Stack, “Xtensor Documentation,” In Xtensor (Version 0.24.6). Retrieved from Read the Docs: [https://xtensor. readthedocs.io/en/latest/], 2023. 6 K. Morfonios, S. Konakas, Y. Ioannidis, and N. Kotsis, “ROLAP implementations of the data cube,” ACM Computing Surveys (CSUR), vol. 39, no. 4, pp. 12–es, 2007. 7 Leuridan, Mathilde, et al. "Polytope: An Algorithm for Efficient Feature Extraction on Hypercubes." arXiv preprint arXiv:2306.11553 (2023). 8 Bodnarchuk I., Duda O., Kharchenko A., Kunanets N., Matsiuk O., Pasichnyk V. Choice method of analytical information-technology platform for projects associated to the smart city class. ICTERI 2020 ICT in Education, Research and Industrial Applications. Integration, Harmonization and Knowledge Transfer Proceedings of the 14th International Conference on ICT in Education, Research and Industrial Applications. Integration, Harmonization and Knowledge Transfer. Volume I: Main Conference р.317-330. 9 Oleksii Duda, Liliana Dzhydzhora, Oleksandr Matsiuk, Andrii Stanko, Nataliia Kunanets, Volodymyr Pasichnyk, Oksana Kunanets. Mobile Information System for Monitoring the Spread of Viruses in Smart Cities. SISN. 2020; Volume 8: pp. 65 - 70. 10 Mukherjee, P.; Barik, R.K.; Pradhan, C. A comprehensive proposal for blockchain-oriented smart city. In Security and Privacy Applications for Smart City Development; Springer: Cham, Switzerland, 2021; pp. 55–87. 11 Wang, L.; Chen, P.; Chen, S.; Sun, M. A novel approach to fully representing the diversity in conditional dependencies for learning Bayesian network classifier. Intell. Data Anal. 2021, 25, 35–55. 12 Dong, J.; Metternicht, G.; Hostert, P.; Fensholt, R.; Chowdhury, R.R. Remote sensing and geospatial technologies in support of a normative land system science: Status and prospects. Curr. Opin. Environ. Sustain. 2019, 38, 44–52. 13 Ezzat, M.A.; Abd El Ghany, M.A.; Almotairi, S.; Salem, M.A.M. Horizontal Review on Video Surveillance for Smart Cities: Edge Devices, Applications, Datasets, and Future Trends. Sensors 2021, 21, 3222. 14 Joung, Y.‐J., Yang, L.‐W., Fang, C.‐T.: Keyword search in dht‐based peerto‐peer networks. IEEE J. Sel. Area. Commun. 25(1), 46–61 (2007) 15 Thirumalaisamy, Manikandan, et al. "Interaction of secure cloud network and crowd computing for smart city data obfuscation." Sensors 22.19 (2022): 7169. 16 D’Angelo, G., Ferretti, S.: Highly intensive data dissemination in complex networks. J. Parallel Distr. Comput. 99, 28–50 (2017) 17 Benet, J. Ipfs‐content addressed, versioned, p2p file system (2014) arXiv preprint arXiv:1407.3561 18 Aiello, M., et al.: Ippo: A Privacy‐Aware Architecture for Decentralized Data‐Sharing (2020). arXiv preprint arXiv:2001.06420 19 Ferretti, S., D’Angelo, G.: On the ethereum blockchain structure: a complex networks theory perspective. Concurrency Comput. Pract. Ex. 32(12), e5493 20 Bez, M., Fornari, G., Vardanega, T.: The scalability challenge of ethereum: an initial quantitative analysis. In: 2019 IEEE International Conference on Service‐Oriented System Engineering (SOSE), pp. 167–176. IEEE (2019) 21 Lewis, G., et al.: Sok: layer‐two blockchain protocols. In: International Conference on Financial Cryptography and Data Security. Springer (2020) 22 Popov, S.: The Tangle (2016). https://iota.org/IOTA_Whitepaper.pdf 23 James, B., Baskaran, I., Ramachandran, N.: Authenticating health activity data using distributed ledger technologies. Comput. Struct. Biotechnol. J. 16 (2018) 24 P. Wolfe, “Finding the nearest point in a polytope,” Mathematical Programming, vol. 11, pp. 128–149, 1976. 25 S. J. Owen, “A survey of unstructured mesh generation technology,” IMR, vol. 239, p. 267, 1998. 26 Rocha, A., Papa, J.P., Meira, L.A.A.: How far do we get using machine learning black-boxes? International Journal of Pattern Recognition and Artificial Intelligence 26(02), 1261001–(1–23) (2012). https://doi.org/10.1142/ S0218001412610010 27 Guidotti, R., Monreale, A., Ruggieri, S., Turini, F., Giannotti, F., Pedreschi, D.: A survey of methods for explaining black box models. ACM Computing Surveys 51(5), 1–42 (2018). https://doi.org/10.1145/3236009 28 Rudin, C.: Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead. Nature Machine Intelligence 1(5),206–215 (2019). https://doi.org/10.1038/s42256-019-0048-x 29 Kenny, E.M., Ford, C., Quinn, M., Keane, M.T.: Explaining black-box classifiers using post-hoc explanations-by-example: The effect of explanations and error-rates in XAI user studies. Artificial Intelligence 294, 103459 (2021). https://doi.org/10.1016/j.artint.2021.103459 30 Craven, M.W., Shavlik, J.W.: Using sampling and queries to extract rules from trained neural networks. In: Machine Learning Proceedings 1994, pp. 37–45. Elsevier (1994). https://doi.org/10.1016/B978-1-55860-335-6.50013-1 31 Huysmans, J., Baesens, B., Vanthienen, J.: ITER: An algorithm for predictive regression rule extraction. In: Data Warehousing and Knowledge Discovery (DaWaK 2006). pp. 270–279. Springer (2006). https://doi.org/10.1007/11823728_26 32 Sabbatini, F., Ciatto, G., Omicini, A.: GridEx: An algorithm for knowledge extraction from black-box regressors. In: Calvaresi, D., Najjar, A., Winikoff, M., Fra¨mling, K. (eds.) Explainable and Transparent AI and Multi-Agent Systems. Third International Workshop, EXTRAAMAS 2021, Virtual Event, May 3–7, 2021, Revised Selected Papers, LNCS, vol. 12688, pp. 18–38. Springer Nature, Basel, Switzerland (2021). https://doi.org/10.1007/978-3-030-82017-6_2 33 Sabbatini, F., Calegari, R.: Symbolic knowledge extraction from opaque machine learning predictors: GridREx & PEDRO (2022), 19th International Conference on Principles of Knowledge Representation and Reasoning (KR 2022), Haifa, Israel, July 31–August 5, 2022. Proceedings 34 Setiono, R., Leow, W.K., Zurada, J.M.: Extraction of rules from artificial neural networks for nonlinear regression. IEEE Transactions on Neural Networks 13(3), 564–577 (2002). https://doi.org/10.1109/TNN.2002.1000125 35 Ciatto, G., Calvaresi, D., Schumacher, M.I., Omicini, A.: An abstract framework for agent-based explanations in AI. In: El Fallah Seghrouchni, A., Sukthankar, G., An, B., Yorke-Smith, N. (eds.) 19th International Conference on Autonomous Agents and MultiAgent Systems. pp. 1816–1818. IFAAMAS (2020) 36 Sabbatini, F., Ciatto, G., Calegari, R., Omicini, A.: Symbolic knowledge extraction from opaque ML predictors in PSyKE: Platform design & experiments. Intelligenza Artificiale 16(2) (2022) 37 Duda O., Matsiuk O., Kunanets N., Pasichnyk V., Rzheuskyi A., Bilak Y., Formation of Hypercubes Based on Data Obtained from Systems of IoT Devices of Urban Resource Networks, International Journal of Sensors, Wireless Communications and Control (2020) 10: 1. ISSN 2210-3287 38 Duda, O., Pasichnyk, V., Kunanets, N., Antonii, R., Matsiuk, O. Multidimensional Representation of COVID-19 Data Using OLAP Information Technology. International Scientific and Technical Conference on Computer Sciences and Information Technologies, 2020, 2, pp. 277–280, 9321889. 39 J. Melton and A. R. Simon, SQL: 1999: understanding relational language components. Elsevier, 2001. 40 C. B. Barber, D. P. Dobkin, and H. Huhdanpaa, “The QuickHull algorithm for convex hulls,” ACM Transactions on Mathematical Software (TOMS), vol. 22, no. 4, pp. 469–483, 1996. 41 M. Burgoyne, D. Blodgett, C. Heazel, and C. Little, “OGC APIEnvironmental Data Retrieval Standard,” Open Geospatial Consortium Inc., Wayland, MA, USA, OpenGIS® Implementation Specification OGC 42 N. Wedi, T. Quintino, U. Modigliani, V. Baousis, T. Geenen, I. Sandu, P. Bauer, J. Hoffmann, and D. Thiemert, “Destination Earth: Digital Twins of the Earth System,” Copernicus Meetings, Tech. Rep., 2022. 43 World Economic Forum, “4 ways data is improving healthcare,” 2019, accessed on April 24 2023. [Online]. Available: https://www.weforum.org/agenda/2019/12/ four-ways-data-is-improving-healthcare 44 M. H. de Buck, J. L. Kent, A. T. Hess, and P. Jezzard, “Parallel transmit dante-space for improved black-blood signal suppression at 7 tesla,” in Proceedings of the 31st Annual Meeting of ISMRM, vol. 2092, 2022. 45 Психологічні чинники небезпеки. URL: https://subject.com.ua/safety/ bezpeka/30.html 46 Психологія безпеки. URL: https://pidru4niki.com/70727/bzhd/ psihologiya_bezpeki 47 Дуднікова І.І. Безпека життєдіяльності. Навч. посібник. – 2-ге вид.,доп. – К.: Вид-во Європ. ун-ту, 2013. — 268 с. 48 Самохіна, Євгенія Анатоліївна, and Евгения Анатольевна Самохина. "Ергономічне забезпечення робочого місця." (2021). 49 Голінько, В. І. "Контроль умов праці." (2018). |
| Тип вмісту: | Master Thesis |
| Розташовується у зібраннях: | 122 — комп’ютерні науки |
Файли цього матеріалу:
| Файл | Опис | Розмір | Формат | |
|---|---|---|---|---|
| Mag_2023_SNm_61_Kaplun_M_O.pdf | 1,8 MB | Adobe PDF | Переглянути/відкрити |
Усі матеріали в архіві електронних ресурсів захищені авторським правом, всі права збережені.
Інструменти адміністратора