Будь ласка, використовуйте цей ідентифікатор, щоб цитувати або посилатися на цей матеріал:
http://elartu.tntu.edu.ua/handle/lib/43419| Назва: | Системи комп'ютерного зору на основі інтернету речей для безпекових потреб "розумних міст" |
| Інші назви: | Computer vision systems based on the Internet of things for safety needs of "Smart cities" |
| Автори: | Крисюк, Микола Володимирович Krysiuk, Mykola Volodymyrovych |
| Приналежність: | ТНТУ ім. І. Пулюя, Факультет комп’ютерно-інформаційних систем і програмної інженерії, Кафедра комп’ютерних наук, м. Тернопіль, Україна |
| Бібліографічний опис: | Крисюк М. В. Системи комп'ютерного зору на основі інтернету речей для безпекових потреб "розумних міст" : кваліфікаційна робота освітнього рівня „Магістр“ „122 – комп’ютерні науки“ / М. В. Крисюк. – Тернопіль : ТНТУ, 2023. – 68 с. |
| Дата публікації: | 26-гру-2023 |
| Дата подання: | 12-гру-2023 |
| Дата внесення: | 7-січ-2024 |
| Країна (код): | UA |
| Місце видання, проведення: | ТНТУ ім. І.Пулюя, ФІС, м. Тернопіль, Україна |
| Науковий керівник: | Сверстюк, Андрій Степанович |
| Члени комітету: | Тиш, Євгенія Володимирівна |
| УДК: | 004.9 |
| Теми: | безпека security Інтернет речей Internet of things комп’ютерний зір computer vision охоронний робот security robot розумне місто smart city система спостереження surveillance system |
| Короткий огляд (реферат): | Кваліфікаційна робота присв’ячена дослідженню системи комп'ютерного зору на основі інтернету речей для безпекових потреб «розумних міст». В першому розділі кваліфікаційної роботи освітнього рівня «Магістр» описано актуальність досліджень в галузі системи комп'ютерного зору на основі інтернету речей. Подано аналіз наукових публікацій щодо систем комп'ютерного зору на основі інтернету речей для потреб «розумних міст». Розглянуто набори безпекових даних і програми для «розумних міст». Описано застосування безпекових роботів в «розумних містах». В другому розділі кваліфікаційної роботи досліджено безпекове спостереження на основі карт в «розумних містах». Описано мультимодальні агенти збору та обробки безпекових даних. Висвітлено процес глобального багатошарового спостереження та побудова ймовірнісної карти. Розглянуто виявлення безпекових аномалій в «розумних містах» за допомогою глобальних карт спостереження. Подано аналіз потоків людей і транспортних засобів «розумних міст». В третьому розділі кваліфікаційної роботи описано виявлення активності на відеозображеннях для безпекових потреб «розумних міст». Спроєктовано процес розпізнавання діяльності для безпекових потреб «розумних міст». Організовано «розумне» спостереження за допомогою Інтернету речей в «розумному місті». Описано опрацювання наборів даних безпекових потреб «розумних міст». The qualification work is dedicated to the research of the computer vision system based on the Internet of Things for the security needs of "smart cities". In the first section of the qualification work of the educational level "Master" the relevance of research in the field of computer vision based on the Internet of Things is described. An analysis of scientific publications on computer vision systems based on the Internet of Things for the needs of "smart cities" is presented. Security data sets and applications for "smart cities" are considered. The use of security robots in "smart cities" is described. In the second section of the qualification work, security surveillance based on maps in "smart cities" was investigated. Multimodal security data collection and processing agents are described. The process of global multi-layered observation and the construction of a probability map are highlighted. The detection of security anomalies in "smart cities" using global surveillance maps is considered. An analysis of the flows of people and vehicles of "smart cities" is provided. The third section of the qualification work describes the detection of activity on video images for the security needs of "smart cities". The activity recognition process for the security needs of "smart cities" has been designed. Organized "smart" surveillance using the Internet of Things in the "smart city". The processing of data sets of security needs of "smart cities" is described. |
| Зміст: | ВСТУП 7 1 ОГЛЯД ТА АНАЛІЗ БЕЗПЕКОВОЇ ПРЕДМЕТНОЇ ОБЛАСТІ «РОЗУМНИХ МІСТ» 9 1.1 Актуальність досліджень в галузі системи комп'ютерного зору на основі інтернету речей 9 1.2 Аналіз наукових публікацій щодо систем комп'ютерного зору на основі інтернету речей для потреб «розумних міст» 12 1.3 Набори безпекових даних і програми для «розумних міст» 15 1.4 Застосування безпекових роботів в «розумних містах» 16 1.5 Висновок до першого розділу 20 2 МЕТОДИ ТА ЗАСОБИ КОМП'ЮТЕРНОГО ЗОРУ ДЛЯ БЕЗПЕКОВОГО СПОСТЕРЕЖЕННЯ В «РОЗУМНИХ МІСТАХ» 21 2.1 Безпекове спостереження на основі карт в «розумних містах» 21 2.2 Мультимодальні агенти збору та обробки безпекових даних 21 2.2.1 Мультимодальний збір безпекових даних від різнорідних кількох агентів 21 2.2.2 Побудова локальної багатошарової карти спостереження «розумного міста» 23 2.3 Глобальне багатошарове спостереження та побудова ймовірнісної карти 27 2.3.1 Багатошарова глобальна карта спостереження 27 2.3.2 Генерація карти ймовірностей із карти спостереження 27 2.4 Виявлення безпекових аномалій в «розумних містах» за допомогою глобальної карти спостереження 31 2.4.1 Класифікація аномалій у карті ймовірностей «розумного міста» 31 2.5 Аналіз потоків людей і транспортних засобів «розумних міст» 32 2.6 Висновок до другого розділу 35 3 ВИКОРИСТАННЯ СИСТЕМ КОМП'ЮТЕРНОГО ЗОРУ НА ОСНОВІ ІНТЕРНЕТУ РЕЧЕЙ ДЛЯ БЕЗПЕКОВИХ ПОТРЕБ «РОЗУМНИХ МІСТ» 37 3.1 Виявлення активності на відеозображеннях для безпекових потреб «розумних міст» 37 3.2 Розпізнавання діяльності для безпекових потреб «розумних міст» 42 3.3 «Розумне» спостереження за допомогою Інтернету речей в «розумному місті» 46 3.4 Опрацювання наборів даних безпекових потреб «розумних міст» 48 3.5 Висновок до третього розділу 54 4 ОХОРОНА ПРАЦІ ТА БЕЗПЕКА В НАДЗВИЧАЙНИХ СИТУАЦІЯХ 55 4.1 Нормативно-правові основи охорони праці у галузі інформаційних технологій 55 4.2 Вимоги пожежної безпеки при гасінні електроустановок 58 4.3 Висновок до четвертого розділу 60 ВИСНОВКИ 61 ПЕРЕЛІК ДЖЕРЕЛ 62 ДОДАТКИ |
| URI (Уніфікований ідентифікатор ресурсу): | http://elartu.tntu.edu.ua/handle/lib/43419 |
| Власник авторського права: | © Крисюк Микола Володимирович, 2023 |
| Перелік літератури: | 1 J.-W. Choi, D. Moon, and J.-H. Yoo, Robust multi-person tracking for real-time intelligent video surveillance, ETRI J. 37 (2015), no. 3, 551–561. https://doi.org/10.4218/etrij.15.0114. 0629. 2 T. Saba, A. Rehman, R. Latif, S. M. Fati, M. Raza, and M. Sharif, “Suspicious activity recognition using proposed deep L4-branched-ActionNet with entropy coded ant colony system optimization,” IEEE Access, vol. 9, pp. 89181–89197, 2021. 3 A. R. Khan, T. Saba, M. Z. Khan, S. M. Fati, and M. U. G. Khan, “Classification of human’s activities from gesture recognition in live videos using deep learning,” Concurrency and Computation: Practice and Experience, vol. 34, no. 10, Article ID e6825, 2022. 4 T. Saba, A. Rehman, T. Sadad, H. Kolivand, and S. A. Bahaj, “Anomaly-based intrusion detection system for IoTnetworks through deep learning model,” Computers & Electrical Engineering, vol. 99, Article ID 107810, 2022. 5 M. A. Khan, H. Arshad, R. Damaˇsevicˇius et al., “Human Gait Analysis: A Sequential Framework of Lightweight Deep Learning and Improved Moth-Flame Optimization Algorithm,” Computational Intelligence and Neuroscience, vol. 2022, 2022. 6 Duda, O., Kunanets, N., Martsenko, S., Matsiuk, O., Pasichnyk, V., Building secure Urban information systems based on IoT technologies. CEUR Workshop Proceedings 2623, pp. 317-328. 2020. 7 H. Yar, T. Hussain, Z. A. Khan, D. Koundal, M. Y. Lee, and S. W. Baik, “Vision sensor-based real-time fire detection in resource-constrained IoT environments,” Computational Intelligence and Neuroscience, vol. 2021, pp. 1–15, 2021. 8 B. Al, F. Orujov, R. Maskeliunas, R. Dama ˇsevicius, andˇ A. Vencˇkauskas, “Fuzzy logic type-2 based wireless indoor localization system for navigation of visually impaired people in buildings,” Sensors, vol. 19, no. 9, p. 2114, 2019. 9 G. Vallathan, A. John, C. Thirumalai, S. Mohan, G. Srivastava, and J. C. W. Lin, “Suspicious activity detection using deep learning in secure assisted living IoT environments,” The Journal of Supercomputing, vol. 77, no. 4, pp. 3242–3260, 2021. 10 I. M. Nasir, M. Raza, J. H. Shah, S. H. Wang, U. Tariq, and M. A. Khan, “HAREDNet: a deep learning based architecture for autonomous video surveillance by recognizing human actions,” Computers & Electrical Engineering, vol. 99, Article ID 107805, 2022. 11 H. Kolivand, M. S. Rahim, M. S. Sunar, A. Z. A. Fata, and C. Wren, “An integration of enhanced social force and crowd control models for high-density crowd simulation,” Neural Computing & Applications, vol. 33, no. 11, pp. 6095–6117, 2021. 12 G. S¸engu¨l, E. Ozcelik, S. Misra, R. Damaˇsevicius, andˇ R. Maskeliunas, “Fusion of smartphone sensor data for classification of daily user activities,” Multimedia Tools and Applications, vol. 80, no. 24, pp. 33527–33546, 2021. 13 F. Afza, M. A. Khan, M. Sharif et al., “A framework of human action recognition using length control features fusion and weighted entropy-variances based feature selection,” Image and Vision Computing, vol. 106, Article ID 104090, 2021. 14 P. Turaga, R. Chellappa, V. S. Subrahmanian, and O. Udrea, “Machine recognition of human activities: a survey,” IEEE Transactions on Circuits and Systems for Video Technology, vol. 18, no. 11, pp. 1473–1488, 2008. 15 Y. ZhuZhu, N. M. Nayak, and A. K. Roy-Chowdhury, “Context-aware activity modeling using hierarchical conditional random fields,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 37, no. 7, pp. 1360–1372, 2015, Jul. 16 J. Yue-Hei Ng, M. Hausknecht, S. Vijayanarasimhan, O. Vinyals, R. Monga, and G. Toderici, “Beyond short snippets: deep networks for video classification,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 4694–4702, Boston, MA, USA, June 2015. 17 M. S. Ibrahim, S. Muralidharan, Z. Deng, A. Vahdat, and G. Mori, “A hierarchical deep temporal model for group activity recognition,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 1971–1980, Las Vegas, NV, USA, June 2016. 18 P. Khaire, P. Kumar, and J. Imran, “Combining CNN streams of RGB-D and skeletal data for human activity recognition,” Pattern Recognition Letters, vol. 115, pp. 107–116, 2018. 19 M. Gnouma, A. Ladjailia, R. Ejbali, and M. Zaied, “Stacked sparse autoencoder and history of binary motion image for human activity recognition,” Multimedia Tools and Applications, vol. 78, no. 2, pp. 2157–2179, 2019. 20 Y. Xing, C. Lv, H. Wang, D. Cao, E. Velenis, and F. Y. Wang, “Driver activity recognition for intelligent vehicles: a deep learning approach,” IEEE Transactions on Vehicular Technology, vol. 68, no. 6, pp. 5379–5390, 2019. 21 A. Krizhevsky, I. Sutskever, and G. E. Hinton, “Imagenet classification with deep convolutional neural networks,” Advances in Neural Information Processing Systems, vol. 25, pp. 1097–1105, 2012. 22 K. He, X. Zhang, S. Ren, and J. Sun, “Deep residual learning for image recognition,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 770–778, June 2016. 23 Z. Chang, X. Ban, Q. Shen, and J. Guo, “Research on threedimensional motion history image model and extreme learning machine for human body movement trajectory recognition,” Mathematical Problems in Engineering, vol. 2015, pp. 1–15, 2015. 24 X. F. Ji, Q. Q. Wu, Z. J. Ju, and Y. Y. Wang, “Study of human action recognition based on improved spatio-temporal features,” International Journal of Automation and Computing, vol. 11, no. 5, pp. 500–509, 2015. 25 Y. Zhong, B. Xu, G. T. Zhou, L. Bornn, and G. Mori, “Time Perception Machine: Temporal point Processes for the when, where and what of Activity Prediction,” 2018, https://arxiv. org/abs/1808.04063. 26 T. Saba, “Intrusion detection in smart city hospitals using ensemble classifiers,” in Proceedings of the 2020 13th International Conference on Developments in eSystems Engineering (DeSE), pp. 418–422, IEEE, Liverpool, United Kingdom, June 2020. 27 J. Patalas-Maliszewska, D. Halikowski, and R. Damaˇseviˇcius, “An automated recognition of work activity in industrial manufacturing using convolutional neural networks,” Electronics, vol. 10, no. 23, p. 2946, 2021. 28 D. A. John, “IEEE 802 LMSC,” 2022, https://standards.ieee. org/standard/802_3-2018.html. 29 M. E. Issa, A. M. Helmi, M. A. A. Al-Qaness, A. Dahou, M. A. Elaziz, and R. Damaˇseviˇcius, “Human activity recognition based on embedded sensor data fusion for the internet of healthcare things,” Healthcare, vol. 10, no. 6, p. 1084, 2022. 30 M. Ma, S. M. Preum, M. Y. Ahmed, W. Tärneberg, A. Hendawi, and J. A. Stankovic, Data sets, modeling, and decision making in smart cities: A survey, ACM Trans. Cyber-Phys. Syst. 4 (2019), no. 2, 1–28. https://doi.org/10.1145/3355283. 31 R. Rothe, R. Timofte, and L. V. Gool, Deep expectation of real and apparent age from a single image without facial landmarks, Int. J. Comput. Vision 126 (2018), no. 2–4, 144–157. https:// doi.org/10.1007/s11263-016-0940-3. 32 K. Chen and J.-K. Kämäräinen, Pedestrian density analysis in public scenes with spatiotemporal tensor features, IEEE Trans. Intell. Transp. Syst. 17 (2016), no. 7, 1968–1977. https://doi. org/10.1109/TITS.2016.2516586. 33 A. Patron-Perez, M. Marszalek, I. Reid, and A. Zisserman, Structured learning of human interactions in tv shows, IEEE Trans. Pattern Anal. Mach. Intell. 34 (2012), no. 12, 2441–2453. 34 P. Foggia, A. Saggese, and M. Vento, Real-time fire detection for video surveillance applications using a combination of experts based on color, shape and motion, IEEE Trans. Circ. Syst. Video Technol. 25 (2015), 1545–1556. 35 Z. Dong, Y. Wu, M. Pei, and Y. Jia, Vehicle type classification using a semisupervised convolutional neural network, IEEE Trans. Intell. Transp. Syst. 16 (2015), no. 4, 2247–2256. 36 Y. Bi, C. Lin, H. Zhou, P. Yang, X. Shen, and H. Zhao, Timeconstrained big data transfer for SDN-enabled smart city, IEEE Commun. Mag. 55 (2017), no. 12, 44–50. 37 S. Meghana, T. V. Nikhil, R. Murali, S. Sanjana, R. Vidhya, and K. J. Mohammed, Design and implementation of surveillance robot for outdoor security, (Proc. IEEE International Conference on Recent Trends in Electronics, Information Communication Technology, Bangalore, India), May 2017, pp. 1679–1682. 38 P. Chakravarty, A. M. Zhang, R. Jarvis, and L. Kleeman, Anomaly detection and tracking for a patrolling robot, (Australasian Conference on Robotics and Automation, Brisbane, Australia). Dec. 2007. 39 C. Zhang, Q. Zhan, Q. Wang, H. Wu, T. He, and Y. An, Autonomous dam surveillance robot system based on multisensor fusion, Sensors 20 (2020), no. 4. https://doi.org/10.3390/ s20041097. 40 D. D. Paola, A. Milella, G. Cicirelli, and A. Distante, An autonomous mobile robotic system for surveillance of indoor environments, Int. J. Adv. Robotic Syst. 7 (2010), no. 1. https://doi.org/ 10.5772/7254. 41 Shin, Hochul, et al. "Multimodal layer surveillance map based on anomaly detection using multi‐agents for smart city security." ETRI Journal 44.2 (2022): 183-193 42 T. Uhm, G.-D. Bae, J. Lee, and Y.-H. Choi, Multi-modal sensor calibration method for intelligent unmanned outdoor security robot, (Proceedings of the Sixth International Conference on Green and Human Information Technology), 2019, pp. 215–220. 43 G.-D. Bae, T. Uhm, Y.-H. Choi, and J.-H. Hwang, Study on multi-modal sensor system based sematic navigation map building, (International Conference on Control, Automation and Systems, Busan, Rep. of Korea), Oct. 2020, pp. 1195–1197. 44 J.-Y. Lee and W. Yu, Robust self-localization of ground vehicles using artificial landmark, (International Conference on Ubiquitous Robots and Ambient Intelligence, Kuala Lumpur, Malaysia), Nov. 2014, pp. 303–307. 45 J. Redmon and A. Farhadi, Yolov3: An incremental improvement, 2018. https://doi.org/10.48550/arXiv.1804.02767/ 46 J.-Y. Lee, S. Choi, and J. Lim, Detection of high-risk intoxicated passengers in video surveillance, (IEEE International Conference on Advanced Video and Signal Based Surveillance, Auckland, New Zealand), Nov. 2018, pp. 1–6. 47 H. Shin and J.-Y. Lee, Pedestrian video data abstraction and classification for surveillance system, (International Conference on Information and Communication Technology Convergence, Jeju, Rep. of Korea), Oct. 2018. https://doi.org/ 10.1109/ICTC.2018.8539426. 48 W. S. Park, and Y. B. Kim, Anomaly detection in particulate matter sensor using hypothesis pruning generative adversarial network, ETRI J. 43 (2021), 511–523. 49 H. Shin and K. Na, Anomaly detection algorithm based on global object map for video surveillance system, (International Conference on Control, Automation and Systems, Busan, Rep. of Korea), Oct. 2020. https://doi.org/10.23919/ICCAS50221. 2020.9268258. 50 H. Shin and K. Na, Anomaly detection using elevation and thermal map for security robots, (International Conference on Information and Communication Technology Convergence, Jeju, Rep. of Korea), Oct. 2020. https://doi.org/10.1109/ ICTC49870.2020.9289470. 51 K. Lee, K. Lee, H. Lee, and J. Shin, A simple unified framework for detecting out-of-distribution samples and adversarial attacks, (Proceedings of International Conference on Neural Information Processing Systems, Montreal, Canada), 2018, pp. 7167– 7177. 52 A. Bochkovskiy, “Darknet: Open-Source Neural Networks in Python,” 2021, https://github.com/AlexeyAB/darknet. 53 A. Bochkovskiy, C. Y. Wang, and H. Y. Liao, “Yolov4: Optimal Speed and Accuracy of Object Detection,” 2020, https:// arxiv.org/abs/2004.10934. 54 Rehman, Amjad, et al. "Internet-of-things-based suspicious activity recognition using multimodalities of computer vision for smart city security." Security and communication Networks 2022 (2022). 55 J. Arunnehru, G. Chamundeeswari, and S. P. Bharathi, “Human action recognition using 3D convolutional neural networks with 3D motion cuboids in surveillance videos,” Procedia Computer Science, vol. 133, pp. 471–477, 2018. 56 J. L. Gonza´lez, C. Zaccaro, J. A. Garc´ıa, L. M. Morillo, and F. Caparrini, “Real-time gun detection in CCTV: an open problem,” Neural Networks, vol. 132, pp. 297–308, 2020. 57 W. Sultani, C. Chen, and M. Shah, “Real-world anomaly detection in surveillance videos,” 2018, https://arxiv.org/abs/ 1801.04264 58 Закон України про охорону праці, Відомості Верховної Ради України (ВВР), 1992: Режим доступу до ресурсу: https://zakon.rada.gov.ua/laws/show/2694-12#Text 59 Цивільна безпека (Охорона праці), Вдосконалення охорони праці в ІТ-індустрії, 2019." Режим доступу до ресурсу: https://www.khadi.kharkov.ua/fileadmin/P_vcheniy_secretar/ОХОРОНА_ПРАЦІ/R_IT-INDUSTRIA.pdf 60 В.І. Голінько, М.Ю. Іконніков, Я.Я. Лебедєв, Охорона праці в галузі інформаційних технологій: Навчальний посібник. Дніпропетровськ: НГУ, 2015. 61 Охорона праці в галузі інформаційних технологій, 2019. URL: http://yu.mk.ua/news/show/okhorona_pratsi_v_galuzi_informatsiynikh_tekhnologii 62 Гасіння пожеж на енергетичних об’єктах під напругою. Охорона праці і пожежна безпека. URL: https://oppb.com.ua/docs/gasinnya-pozhezh-na-energetichnih-obiektah-pid-naprugoyu 63 Яким вогнегасником можна гасити електрообладнання з техніки безпеки? - Zprim. Zprim. URL: http://zprim.com.ua/yakim-vognegasnikom-mozhna-gasiti-elektroobladnannya-z-tehniki-bezpeki/ 64 Про затвердження Інструкції з гасіння пожеж на енергетичних об'єктах України. Офіційний вебпортал парламенту України. URL: https://zakon.rada.gov.ua/laws/show/z0013-12# |
| Тип вмісту: | Master Thesis |
| Розташовується у зібраннях: | 122 — комп’ютерні науки |
Файли цього матеріалу:
| Файл | Опис | Розмір | Формат | |
|---|---|---|---|---|
| Mag_2023_SNm_61_Krysiuk_M_V.pdf | 2,65 MB | Adobe PDF | Переглянути/відкрити |
Усі матеріали в архіві електронних ресурсів захищені авторським правом, всі права збережені.
Інструменти адміністратора