Please use this identifier to cite or link to this item:
http://elartu.tntu.edu.ua/handle/lib/48110
Title: | Методи та засоби розпізнавання статі та віку людини у відеопотоці комп’ютеризованою системою |
Other Titles: | Methods and means of recognizing a person's gender and age in a video stream by a computerized system |
Authors: | Мишаківський, Ярослав Олександрович Myshakivskyi, Iaroslav |
Affiliation: | Тернопільський національний технічний університет імені Івана Пулюя Ternopil Ivan Puluj National Technical University |
Bibliographic description (Ukraine): | Мишаківський Я.О. Методи та засоби розпізнавання статі та віку людини у відеопотоці комп’ютеризованою системою : кваліфікаційна робота на здобуття ступеня магістр: спец. 123 — комп’ютерна інженерія / наук.кер. І.О. Баран. — Тернопіль: ТНТУ, 2024. — 78 с. |
Bibliographic description (International): | Myshakivskyi I. Methods and means of recognizing a person's gender and age in a video stream by a computerized system : Master Thesis „123 — Computer Engineering“ / Iaroslav Myshakivskyi - Ternopil, TNTU, 2024 – 78 p. |
Issue Date: | 16-Dec-2024 |
Submitted date: | 23-Jun-2024 |
Date of entry: | 2-Feb-2025 |
Publisher: | Тернопільський національний технічний університет імені Івана Пулюя |
Country (code): | UA |
Place of the edition/event: | Тернопільський національний технічний університет імені Івана Пулюя |
Supervisor: | Баран, Ігор Олегович Baran, Ihor |
Committee members: | Цуприк, Галина Богданівна Tsupryk, Halyna |
UDC: | 004.93 |
Keywords: | 123глибоке навчання комп’ютерна інжендескрипторерія відеоаналітиказгорткова нейронна мережа класифікація розпізнавання треклет video analytics deep learning descriptors convulsive neural networks classification recognition tracklet |
Number of pages: | 78 |
Abstract: | Кваліфікаційна робота присвячена дослідженню математичних і програмних основ розпізнавання людей за статтю та віком у відеопотоці даних для комп’ютерних систем. Як дескриптор ходи особи використовується енергетичне зображення ходи.
Розроблено та представлено власні варіанти алгоритмів розпізнавання статі та віку осіб на кадрах у відеопотоці із застосуванням ознак силуету та руху та їх повторної ідентифікації. Проведені експериментальні дослідження дозволили як виконати відбір найкращих методів і їх гіперпараметрів для функціонування запропонованих алгоритмів, так і покращити загальну якість процесу відеоаналітики.
Розроблені алгоритми здатні успішно працювати на даних відеозаписів у загальних міських умовах, а також бути впроваджені в ядро платформи, що забезпечує детектування та трекінг об'єктів на відеозаписах та відеопотоках, знятих за допомогою камери статичного відеоспостереження. This thesis deals with the study of the mathematical and software foundations of recognizing people by gender and age in a video data stream for computer systems. The energy image of the gait is used as a descriptor of a person's gait. Own variants of algorithms for recognizing the gender and age of people in frames in a video stream using silhouette and motion features and their re-identification have been developed and presented. The experimental studies conducted have allowed both to select the best methods and their hyperparameters for the functioning of the proposed algorithms and to improve the overall quality of the video analytics process. The developed algorithms are able to successfully work on video data in general urban conditions, as well as to be implemented in the core of the platform that provides detection and tracking of objects in video recordings and video streams recorded using a static video surveillance camera. |
Content: | ПЕРЕЛІК УМОВНИХ ПОЗНАЧЕНЬ, СИМВОЛІВ, ОДИНИЦЬ СКОРОЧЕНЬ І ТЕРМІНІВ8 ВСТУП9 РОЗДІЛ 1. АНАЛІЗ ПРЕДМЕТНОЇ ОБЛАСТІ ДОСЛІДЖЕННЯ11 1.1. Методи розпізнавання статі та віку за зображенням особи 11 1.2. Методи розпізнавання статі та віку за ознаками силуету та руху14 1.2.1. Обрізання та масштабування обмежувальних вікон16 1.2.2. Сегментація об'єктів та бінаризація зображень16 1.2.3. Класифікація за кутами спостереження18 1.2.4. Конструювання GEI19 1.2.5. Визначення статі та віку21 1.3. Висновки до розділу24 РОЗДІЛ 2. ТЕОРЕТИЧНА ЧАСТИНА25 2.1. Теоретичні дослідження методів повторної ідентифікації 25 2.1.1. Постановка задачі25 2.1.2. Обмеження розв'язання задачі26 2.1.3. Етапи роботи алгоритмів повторного розпізнавання27 2.1.4. Отримання графічних ознак27 2.1.5. Розрахунок дескриптора схожості30 2.1.6. Ранжування32 2.2. Розробка алгоритму розпізнавання статі та віку34 2.2.1. Вибір методів реалізації алгоритму34 2.2.2. Концепція алгоритму35 2.3. Розробка алгоритму повторної ідентифікації 38 2.3.1. Вибір методів реалізації алгоритму38 2.3.2. Концепція алгоритму40 2.4. Висновки до розділу45 РОЗДІЛ 3. ПРАКТИЧНА ЧАСТИНА46 3.1. Інструменти розробки 46 3.2. Реалізація програмного модуля розпізнавання статі та віку47 3.3. Розробка та розмітка навчальних вибірок50 3.3.1. Дані для завдання сегментації об'єктів50 3.3.2. Дані для задачі визначення статі та віку51 3.3.3. Дані для завдання створення індивідуальних відбитків об'єктів за графічними ознаками53 3.4. Експериментальні випробування 54 3.4.1. Умови проведення випробувань54 3.4.2. Випробування моделей сегментації для розпізнавання статі та віку54 3.4.3. Випробування алгоритмів розпізнавання статі та віку56 3.4.4. Випробування алгоритмів повторної ідентифікації59 3.5. Висновки до розділу62 РОЗДІЛ 4. ОХОРОНА ПРАЦІ ТА БЕЗПЕКА В НАДЗВИЧАЙНИХ СИТУАЦІЯХ63 4.1. Охорона праці63 4.2. Вплив електромагнітного імпульсу ядерного вибуху на елементи виробництва та заходи захисту66 4.3. Висновки до розділу69 ВИСНОВКИ70 СПИСОК ВИКОРИСТАНИХ ДЖЕРЕЛ71 ДОДАТОК А. Тези конференції |
URI: | http://elartu.tntu.edu.ua/handle/lib/48110 |
Copyright owner: | © Мишаківський Ярослав Олександрович, 2024 © Myshakivskyi Iaroslav, 2024 |
References (Ukraine): | Луцик Н. С., Луцків А. М., Осухівська Г. М., Тиш Є. В. Луцик Н.С., Луцків А.М., Осухівська Г.М., Тиш Є.В. Програма та методичні рекомендації з проходження практики за тематикою кваліфікаційної роботи для студентів спеціальності 123 «Комп’ютерна інженерія» другого (магістерського) рівня вищої освіти усіх форм навчання. Тернопіль. ТНТУ. 2024. 45 с.Методичні рекомендації до виконання кваліфікаційної роботи магістра для студентів спеціальності 123 «Комп’ютерна інженерія» другого (магістерського) рівня вищої освіти усіх форм навчання. Тернопіль. ТНТУ. 2024. 44 с. Варавін А.В., Лещишин Ю.З., Чайковський А.В. Методичні вказівки до виконання курсового проєкту з дисципліни «Дослідження і проєктування комп’ютерних систем та мереж» для здобувачів другого (магістерського) рівня вищої освіти спеціальності 123 «Комп’ютерна інженерія» усіх форм навчання. Тернопіль. ТНТУ, 2024. 32 с. Мишаківський Я.О. Методи розпізнавання статі та віку за зображенням особи // Інформаційні моделі, системи та технології: Праці XІІ наук.-техн. конф. (Тернопіль, 18-19 грудня 2024 р.). с. 138. Liu W. A survey of deep neural network architectures and their applications / W. Liu, Z. Wang, X. Liu [at al.] // Neurocomputing. 2017. Vol. 234. Pp. 11-26. Gu W. Facial expression recognition using radial encoding of local Gabor features and classifier synthesis / W. Gu, C. Xiang, Y. Venkatesh // Pattern Recognition. 2012. Vol. 45(1). Pp. 80-91. Serrano S. Recent advances in face biometrics with Gabor wavelets: A review / S. Serrano, I. Diego, C. Conde // Pattern Recognition Letters. 2010. Vol. 31(5). Pp. 372-381. Chandrappa D.N. Face Detection Using a Boosted Cascade of Features Using OpenCV / D.N. Chandrappa, G. Akshay, M. Ravishankar // Wireless Networks and Computational Intelligence (ICIP 2012). 2012. Vol. 292. Pp. 399-404. Serrano S. Analysis of variance of Gabor _lter banks parameters for optimal face recognition / S. Serrano, I. Diego, C. Conde [at al.]. // Pattern Recognition Letters. 2011. Vol. 31(15). Pp. 1998-2008. Chen J. WLD: a robust local image descriptor / J. Chen, S. Shan, C. He, [at al.]. // IEEE Trans. Pattern Anal. Mach. Intell. 2010. Vol. 32(9) Pp. 1705–1720. Микитишин А. Г., Митник М. М., Стухляк П. Д., Пасічник В. В. Комп’ютерні мережі. Книга 1 [навчальний посібник]. Львів : «Магнолія 2006», 2013. 256 с. Микитишин А. Г., Митник М. М., Стухляк П. Д., Пасічник В. В. Комп’ютерні мережі. Книга 2. [навчальний посібник]. Львів : "Магнолія 2006", 2014. 312 с. What is a LiDAR scanner, the iPhone 12 Pro's camera upgrade, anyway. // URL: https://www.techradar.com/news/what-is-a-lidar-scanner-the-iphone-12-prosrumored-camera-upgrade-anyway (Дата звертання 21.11.2024). Kevin W. A survey of approaches and challenges in 3D and multi-modal 3D + 2D face recognition / W. Kevin, C. Kyong, F. Patrick // Computer Vision and Image Understanding. 2006. Vol. 101(1) Pp. 1-15. Blanz V. Face Recognition Based on Fitting a 3D Morphable Model / V. Blanz, T. Vetter // IEEE Trans. Pattern Anal. Mach. Intell. 2003. Vol. 25(9) Pp. 1063–1074. Zhang L. Face recognition from a single training image under arbitrary unknown lighting using spherical harmonics / L. Zhang, D. Samaras // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2006. Vol. 28(3) Pp. 351-363. Passalis G. Using Facial Symmetry to Handle Pose Variations in Real-World 3D Face Recognition / G. Passalis, P. Panagiotis, T. Theoharis [at al.]. // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2011. Vol. 33(10) Pp. 1938–1951. Zakariya Q. Deep Convolutional Neural Network for Age Estimation based on VGGFace Model / Q. Zakariya, A. Arafat, D. Buket [at al.] // ArXiv. 2017. 1709.01664. Chen S. Using Ranking-CNN for Age Estimation / S. Chen, C. Zhang, M. Dong [at al.] // 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2017. Pp. 742-751. Liu X. AgeNet: Deeply Learned Regressor and Classifier for Robust Apparent Age Estimation / X. Liu, S. Li, M. Kan [at al.] // 015 IEEE International Conference on Computer Vision Workshop (ICCVW). 2015. Pp. 258-266. Agbo-Ajala O. Deep learning approach for facial age classification: a survey of the state-of-the-art / O. Agbo-Ajala, S. Viriri // Artificial Intelligence Review. 2021. Pp. 179–213. Antipov G. Apparent Age Estimation from Face Images Combining General and Children-Specialized Deep Learning Models / G. Antipov, M. Baccouche, S. Berrani [at al.] // 2016 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). 2016. Pp. 801-809. Makihara Y. Gait-based age estimation using a whole-generation gait database / Y. Makihara, M. Okumura, H. Iwama [at all] // Multimedia Tools and Applications. 2018. Vol. 77. Pp. 28333–28354 Li X. Gait-based human age estimation using age group-dependent manifold learning and regression / X. Li, Y. Makihara, C. Xu [at al.] // Multimedia Tools and Applications. 2018. Vol. 77. Pp. 28333–28354. El-Alfy E.M. Silhouette-Based Gender Recognition in Smart Environments Using Fuzzy Local Binary Patterns and Support Vector Machines / E. M. El-Alfy, A. G. Binsaadoon // Procedia Computer Science. 2017. Vol.109. Pp. 164-171. Kitchat K. Gender classification from gait silhouette using observation angle-based GEIs / K. Kitcha, N. Khamsemanan, C. Nattee // 2019 IEEE International Conference on Cybernetics and Intelligent Systems (CIS) and IEEE Conference on Robotics, Automation and Mechatronics (RAM). 2018. Pp. 485-490. Mansouri N. Gait-based human age classification using silhouette model / N. Mansouri, A.I. Mohammed, B.J. Yousra // IET Biom. 2018. Vol. 7(2). Pp. 116-124. Baek N. Multimodal Camera-Based Gender Recognition Using Human-Body Image With Two-Step Reconstruction Network / N. Baek, S. W. Cho, J. H. Koo [at al.] // IEEE Access. 2017. Vol. 7. Pp. 104025-104044. Jung C.R. Efficient Background Subtraction and Shadow Removal for Monochromatic Video Sequences / C. R. Jung // IEEE Transactions on Multimedia. 2009. Vol. 11(3). Pp. 571-577. Braham M. Deep background subtraction with scene-specific convolutional neural networks / M. Braham, M.V. Droogenbroeck // 2016 International Conference on Systems, Signals and Image Processing (IWSSIP). 2016. Pp. 1-4. Wang Y. CDnet 2014: an expanded change detection benchmark dataset / Y. Wang, P. Jodoin, F. Porikli [et al.] // 2014 IEEE Conference on Computer Vision and Pattern Recognition Workshops. 2014. Pp. 393-400. Bouwmans T. Deep Neural Network Concepts for Background Subtraction: A Systematic Review and Comparative Evaluation / T. Bouwmans, S. Javed, M. Sultana [at al.] // Neural Networks. 2019. Vol. 117. Pp. 8-66. Dedeoğlu Y. Silhouette-Based Method for Object Classification and Human Action Recognition in Video / Y. Dedeoğlu, B.U. Töreyin, U. Güdükbay [at al.] // Lecture Notes in Computer Science. 2006. Vol. 3979. Pp. 64-77. Elharrouss O., Gait recognition for person re-identification / O. Elharrouss, N. Almaadeed, S. Al-Maadeed [et al.] // The Journal of Supercomputing. 2021. Vol. 7. Pp. 3653- 3672. Zheng S. Robust view transformation model for gait recognition / S. Zheng, J. Zhang, K. Huang [at al.] // 2011 18th IEEE International Conference on Image Processing. 2011. Pp. 2073-2076. Iwama H. The OU-ISIR Gait Database Comprising the Large Population Dataset and Performance Evaluation of Gait Recognition / H. Iwama, M. Okumura, Y. Makihara [at al.] // IEEE Transactions on Information Forensics and Security. 2012. Vol. 7(5). Pp. 1511-1521. Takemura N. Multi-view large population gait dataset and its performance evaluation for cross-view gait recognition / N. Takemura, Y. Makihara, D. Muramatsu [at al.] // IPSJ Transactions on Computer Vision and Applications. 2018. Vol. 10(4). Pp. 1-14. Sivapalan S. The Backfilled GEI A Cross-Capture Modality Gait Feature for Frontal and Side-View Gait Recognition / S. Sivapalan, D. Chen, S. Denman [at al.] // 2012 International Conference on Digital Image Computing Techniques and Applications (DICTA). 2012. Pp. 1- 8. Liu T. Combining Convolutional Neural Network and Support Vector Machine for Gait-based Gender Recognition / T. Liu, X. Ye, B. Sun // 2018 Chinese Automation Congress (CAC). 2018. Pp. 3477-3481. Li X. Object Re-Identification Based on Deep Learning / X. Li, Z. Zhou // Visual Object Tracking with Deep Neural Networks. 2019. What is reidentification? // KLAP Augmenting fan experience for the sport industry. 2021. URL: https://www.getklap.com/blog/what-is-reidentification (Дата звертання 23.11.2024). Ristani E. Features for Multi-Target Multi-Camera Tracking and Re-Identification / E. Ristani, C. Tomasi. // ArXiv 2018. 1803.10859. Person Re-Identification // Papers With Code. 2022. URL: https://paperswithcode.com/task/person-re-identification (Дата звертання 24.11.2024). Velychko D., Osukhivska H., Palaniza Y., Lutsyk N., Sobaszek L. Artificial Intelligence Based Emergency Identification Computer System. Advances in Science and Technology Research Journal, 18 no. 2, 2024, Р. 296-304. Person Re-Identification Shaogang Gong [Electronic resource] / Shaogang Gong [et al.]. Springer. 2014. 444 p. Zhou K. Learning Generalisable Omni-Scale Representations for Person ReIdentification / K. Zhou, Y. Yang, A. Cavallaro [at al.] // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2021. Pp. 1-1. Cai Y. Exploring context information for inter-camera multiple target tracking / Y. Cai, G. Medioni. // IEEE Winter Conference on Applications of Computer Vision. 2014. Pp. 761-768. Das A. Consistent Re-identification in a Camera Network / A. Das, A. Chakraborty, A.K. Roy-Chowdhury // Lecture Notes in Computer Science. 2014. Vol. 8690 Pp. 330-345). Chen, X. Multitarget Tracking in Nonoverlapping Cameras Using a Reference Set / X. Chen, L. An, B. Bhanu // IEEE Sensors Journal. 2015. Pp. 2692-2704. Skorenkyy Y., Kozak R., Zagorodna N., Kramar O., Baran, I. Use of augmented reality-enabled prototyping of cyber-physical systems for improving cybersecurity education. Journal of Physics: Conference Series. 2021. Vol. 1840, No. 1. DOI: http://dx.doi.org/10.1088/1742-6596/1840/1/012026 Martinel N. Saliency Weighted Features for Person Re-Identification / N. Martinel, C. Micheloni, G. L. Foresti. // European Conference on Computer Vision. 2015. Pp. 191–208. Palamar A., Palamar M., Osukhivska H. Real-time Health Monitoring Computer System Based on Internet of Medical Things. CEUR Workshop Proceedings, 3rd International Workshop on Information Technologies: Theoretical and Applied Problems (ITTAP 2023), Ternopil, Ukraine, Opole, Poland, November 22–24, 2023. Vol. 3628. P. 106-115. Ma X. Person Re-Identification by Unsupervised Video Matching / X. Ma, X. Zhu, S. Gong [et al.]. // ArXiv. 2016. 1611.08512v3. Chen Y., Person Re-identification using group context / Y. Chen, S. Duffner, A. Stoia [et al.] // HAL. 2018. hal-01895373. Zhou K. Omni-Scale Feature Learning for Person Re-Identification // K. Zhou, Y. Yang, A. Cavallaro [et al.] // ArXiv. 2019. 1905.00953. Quan R. Auto-ReID: Searching for a Part-Aware ConvNet for Person ReIdentification: materials from ICCV 2019 / R. Quan, X. Dong, Y. Wu [et al.] // ArXiv 2019. 1903.09776. Zheng L. Person Re-identification: Past, Present and Future / L. Zheng, Y. Yang, A. G. Hauptmann. // ArXiv. 2016. 1610.02984v1. Zhong Z. Unlabeled Samples Generated by GAN Improve the Person Re-identification Baseline in vitro / Z. Zheng, L. Zheng, Y. Yang. // ArXiv 2017. 1701.07717. Zhong Z. Random Erasing Data Augmentation / Z. Zhong, L. Zheng, G. Kang [et al.]. // ArXiv 2017. 1708.04896v2. Yatsyshyn V., Pastukh O., Palamar A., Zharovskyy R. Technology of relational database management systems performance evaluation during computer systems design. Scientific Journal of TNTU, Ternopil, Ukraine, 2023. Vol. 109, No 1. P. 54–65. Zheng Z. Pedestrian Alignment Network for Large-scale Person Re-identification / Z. Zheng, L. Zheng, Y. Yang. // ArXiv. 2017. 1707.00408. Hermans A. In Defense of the Triplet Loss for Person Re-Identification: materials from CVPR / A. Hermans, L. Beyer, B. Leibe. // ArXiv. 2017. 1703.07737. Triplet Loss and Online Triplet Mining in TensorFlow // Olivier Moindrot blog. GitHub. 2018. URL: https://omoindrot.github.io/triplet-loss (Дата звертання 29.11.2024). He T. Dense Interaction Learning for Video-based Person Re-identification / T. He, X. Jin, X. Shen [et al.]. // ArXiv. 2021. 2103.09013v3. Wieczorek M. On the Unreasonable Effectiveness of Centroids in Image Retrieval / M. Wieczorek, B. Rychalska, J. Dabrowski. // ArXiv. 2021. 2104.13643v1. Varior R.R. A Siamese Long Short-Term Memory Architecture for Human ReIdentification:materials from CVPR / R.R. Varior, B. Shuai, J. Lu [et al.] // ArXiv. 2016. 1607.08381v1. Zheng L. Person Re-identification: Past, Present and Future / L. Zheng, Y. Yang, A. G. Hauptmann. // ArXiv. 2016. 1610.02984v1. Deep Learning 018 The re identification problem in computer vision // URL: https://www.youtube.com/watch?v=_DqF4233m5Y&list=WL&index= 13&t=2s (Дата звертання 30.11.2024). Tan S. Dense invariant feature based support vector ranking for person reidentification / S. Tan, F. Zheng, L. Shao. // IEEE Transactions on Circuits and Systems for Video Technology. 2015. Pp. 687-691. Yin J. Unsupervised Person Re-identification via Simultaneous Clustering and Consistency Learning / J. Yin, J. Qiu, S. Zhang [et al.]. // ArXiv. 2021. 2104.00202v1. Li M. Unsupervised Person Re-identification by Deep Learning Tracklet Association / M. Li, X. Zhu, S. Gong. // ECCV 2018. Pp. 772–788. Munjal B. Query-guided End-to-End Person Search / B. Munjal, S. Amin, F. Tombari [et al.]. // ArXiv. 2019. 1905.01203. Мишаківський Я.О. Методи для реалізації алгоритму розпізнавання статі та віку людини у відеопотоці даних // Інформаційні моделі, системи та технології: Праці XІІ наук.-техн. конф. (Тернопіль, ТНТУ ім. І. Пулюя, 18-19 грудня 2024 р.) с. 140. Зеркалов Д.В. Охорона праці в галузі: Загальні вимоги. Навчальний посібник. К.: Основа. 2011. 551 с. Безпека в надзвичайних ситуаціях. Методичний посібник для здобувачів освітнього ступеня «магістр» всіх спеціальностей денної та заочної (дистанційної) форм навчання / укл.: Стручок В. С. Тернопіль: ФОП Паляниця В. А., 2022. 156 с. |
Content type: | Master Thesis |
Appears in Collections: | 123 — комп’ютерна інженерія |
Files in This Item:
File | Description | Size | Format | |
---|---|---|---|---|
Iaroslav_Myshakivskyi.pdf | 1,72 MB | Adobe PDF | View/Open |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.
Admin Tools