1. ELARTU — Інституційний репозитарій ТНТУ імені Івана Пулюя
  2. Роботи студентів
  3. Магістр
  4. 125 — кібербезпека
Будь ласка, використовуйте цей ідентифікатор, щоб цитувати або посилатися на цей матеріал: http://elartu.tntu.edu.ua/handle/lib/39509
Назва: Ідентифікація людей за фото та відео засобами Computer Vision
Інші назви: Identification of people by photo and video using Computer Vision tools
Автори: Гаврилов, Микола Вікторович
Havrylov, Mykola
Приналежність: Тернопільський національний технічний університет імені Івана Пулюя
Бібліографічний опис: Гаврилов М. В. Ідентифікація людей за фото та відео засобами Computer Vision : кваліфікаційна робота магістра за спеціальністю „125 — кібербезпека“ / М. В. Гаврилов. — Тернопіль : ТНТУ, 2022. — 96 с.
Дата публікації: 21-гру-2022
Дата внесення: 23-гру-2022
Видавництво: ТНТУ
Країна (код): UA
Місце видання, проведення: Тернопіль
Науковий керівник: Александер Марек, Богуслав Антонович
Aleksander Marek, Bohuslav
Члени комітету: Нікітюк, Вячеслав Вячеславович
Nikitiuk, Vyachesval
Теми: 125
кібербезпека
наука про дані
наука про дані
модель
виявлення людини
ідентифікація людини
повторна ідентифікація людини
data science
architecture
model
person detection
person identification
person re-id
Діапазон сторінок: 96
Короткий огляд (реферат): У кваліфікаційній роботі розроблено інструмент для знаходження конкретної людини на фото та відео з використанням інструментів Data Science. Інформаційну систему, яка дає змогу обробляти фото чи відео, створювати свою базу даних, тренувати модель для конкретної людини і подальшого використання моделі для ідентифікації людини на різних камерах та локаціях. У першому розділі було проведено загальний огляд проблем виявлення людини на фото та відео та виконано аналіз наявних методик для повторної ідентифікації людини. В другому розділі було проведено дослідження наявних моделей для виявлення людини на фото та відео, проведена їх оцінка. Також, другий розділ містить більш детальний аналіз підходів для повторної ідентифікаціх людини. У третьому розділі програмно реалізовано мовою програмування Python інформаційної системи, з використанням наявних рішень та архітектур для виявлення та ідентифікації людини, таких репозиторіїв як YOLOv7 та Torchreid.
In this qualification paper an information system that gives you an opportunity to find a specific person in a photo and video using Data Science tools was developed. The information system allows to process a photo or video, create your own database, train a model for a specific person and then use the model to identify a person on different cameras and locations. The first section includes a general overview of the problems of person detection in photos/videos and an analysis of existing methods for person re-identification. In the second section, existing models for person detection in photos/videos and model’s evaluation were researched. Also, the second section contains more detailed analysis of approaches for re-identification of a person. In the third chapter, the information system was implemented using Python programming language, using existing solutions and architectures for person detection and identification, such repositories as YOLOv7 and Torchreid.
Опис: Ідентифікація людей за фото та відео засобами Computer Vision // Кваліфікаційна робота освітнього рівня «Магістр» // Гаврилов Микола Вікторович // Тернопільський національний технічний університет імені Івана Пулюя, факультет комп’ютерно-інформаційних систем і програмної інженерії, кафедра кібербезпеки, група СБм-61 // Тернопіль, 2022
Зміст: ВСТУП ....10 РОЗДІЛ 1. ЗАГАЛЬНИЙ ОГЛЯД OD ТА RE-ID В СФЕРІ DS....12 1.1 Виявлення об’єктів у відкритому світі....12 1.2 Повторне виявлення об’єктів....16 РОЗДІЛ 2. ОБГРУНТУВАННЯ ВИБОРУ МОДЕЛІ ТА ПДІХОДІВ....22 2.1 Порівняльний аналіз архітектур моделей для Object Detection....22 2.1.1 SSD....23 2.1.2 Faster R-CNN ....24 2.1.3 YOLOv3 ....27 2.1.4 Порівняння швидкодії моделей YOLO ....28 2.1.5 Обгрунтування вибору моделі від YOLO....34 2.2 Порівняння підходів для ReID особи....35 2.2.1 ReID особи....36 2.2.2 Підсумок досліджених підходів....41 2.2.3 Обгрунтування вибору підходу....43 РОЗДІЛ 3. ПРАКТИЧНА РЕАЛІЗАЦІЯ....45 3.1 Підготовка середовища....45 3.2 Особливості встановлення Torchreid....47 3.3 Налаштування YOLOv7....50 3.4 Створення набору даних для тренування та оцінювання....52 3.5 Тренування Torchreid....54 3.5 Оцінка моделей....55 РОЗДІЛ 4. ОХОРОНА ПРАЦІ ТА БЕЗПЕКА В НАДЗВИЧАЙНИХ СИТУАЦІЯХ....58 4.1 Охорона праці....58 4.1.1 Обов’язки роботодавця....59 4.1.2 Обов’язки працівників....60 4.2 Вплив виробничого середовища на здоров'я та працездатність користувачів комп'ютерів....61 ВИСНОВОК....64 ПЕРЕЛІК використаних джерел....65 Додаток А – Лістинг файлу config.yaml....71 Додаток Б – Лістинг файлу generate_detections.py....73 Додаток В – Лістинг файлу yolov7_detector.py....76 Додаток Г – Лістинг файлу process_separated_cluster.py....84 Додаток Д – Лістинг файлу train_dataset.py....86 Додаток Е – Лістинг файлу train.py....88 Додаток Є – Лістинг файлу evaluate.py....90 Додаток Ж – Лістинг файлу utils_reid.py....94 Додаток З – Тези наукової конференції....95
URI (Уніфікований ідентифікатор ресурсу): http://elartu.tntu.edu.ua/handle/lib/39509
Власник авторського права: © Гаврилов Микола Вікторович, 2022
Перелік літератури: 1. Ross Girshick. Fast r-cnn. In Proceedings of the IEEE international conference on computer vision, pages 1440–1448, 2015. 1, 2
2. John A Meacham. Wisdom and the context of knowledge: Knowing that one doesn’t know. On the development of developmental psychology, 8:111–134, 1983. 1
3. Susan Engel. Children’s need to know: Curiosity in schools. Harvard educational review, 81(4):625–645, 2011. 1
4. Walter J Scheirer, Anderson de Rezende Rocha, Archana Sapkota, and Terrance E Boult. Toward open set recognition. IEEE transactions on pattern analysis and machine intelligence, 35(7):1757–1772, 2012. 1
5. Abhijit Bendale and Terrance Boult. Towards open world recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 1893–1902, 2015. 1, 2
6. Dimity Miller, Lachlan Nicholson, Feras Dayoub, and Niko Sunderhauf. Dropout sampling for robust object detection in ¨ open-set conditions. In 2018 IEEE International Conference on Robotics and Automation (ICRA), pages 1–7. IEEE, 2018. 2, 6, 8
7. Walter J Scheirer, Anderson de Rezende Rocha, Archana Sapkota, and Terrance E Boult. Toward open set recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, 7(35):1757–1772, 2013. 2
8. Abhijit Bendale and Terrance E Boult. Towards open set deep networks. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 1563–1572, 2016. 2
9. Zongyuan Ge, Sergey Demyanov, Zetao Chen, and Rahil Garnavi. Generative openmax for multi-class open set classification. In British Machine Vision Conference 2017. British Machine Vision Association and Society for Pattern Recognition, 2017. 2
10. Ziwei Liu, Zhongqi Miao, Xiaohang Zhan, Jiayun Wang, Boqing Gong, and Stella X Yu. Large-scale long-tailed recognition in an open world. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 2537–2546, 2019. 2
11. Federico Pernici, Federico Bartoli, Matteo Bruni, and Alberto Del Bimbo. Memory based online learning of deep representations from video streams. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 2324–2334, 2018. 2
12. Hu Xu, Bing Liu, Lei Shu, and P Yu. Open-world learning and application to product classification. In The World Wide Web Conference, pages 3413–3419, 2019. 2
13. Akshay Dhamija, Manuel Gunther, Jonathan Ventura, and Terrance Boult. The overlooked elephant of object detection: Open set. In The IEEE Winter Conference on Applications of Computer Vision, pages 1021–1030, 2020. 2, 3, 6
14. David Hall, Feras Dayoub, John Skinner, Haoyang Zhang, Dimity Miller, Peter Corke, Gustavo Carneiro, Anelia Angelova, and Niko Sunderhauf. Probabilistic object detection: Definition and evaluation. In The IEEE Winter Conference on Applications of Computer Vision, pages 1031–1040, 2020. 2
15. Yarin Gal and Zoubin Ghahramani. Dropout as a bayesian approximation: Representing model uncertainty in deep learning. In international conference on machine learning, pages 1050–1059, 2016. 2
16. Yifan Sun, Liang Zheng, Yi Yang, Qi Tian, and Shengjin Wang. Beyond part models: Person retrieval with refined part pooling (and a strong convolutional baseline). In ECCV, pages 480–496, 2018. 1, 2
17. Guanshuo Wang, Yufeng Yuan, Xiong Chen, Jiwei Li, and Xi Zhou. Learning discriminative features with multiple granularities for person re-identification. In ACMMM, pages 274–282, 2018. 1, 2, 3, 8
18. Hao Luo, Youzhi Gu, Xingyu Liao, Shenqi Lai, and Wei Jiang. Bag of tricks and a strong baseline for deep person re-identification. In CVPRW, pages 0–0, 2019. 1, 2, 3
19. Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, and Xiaohua et al. Zhai. An image is worth 16x16 words: Transformers for image recognition at scale. ICLR, 2021. 2, 3
20. Hugo Touvron, Matthieu Cord, Matthijs Douze, Francisco Massa, Alexandre Sablayrolles, and Herve J ´ egou. Training ´ data-efficient image transformers & distillation through attention. arXiv preprint arXiv:2012.12877, 2020. 2, 3
21. Hao Luo, Wei Jiang, Xuan Zhang, Xing Fan, Jingjing Qian, and Chi Zhang. Alignedreid++: Dynamically matching local information for person re-identification. Pattern Recognition, 94:53–61, 2019. 2
22. Dechao Meng, Liang Li, Xuejing Liu, Yadong Li, Shijie Yang, Zheng-Jun Zha, Xingyu Gao, Shuhui Wang, and Qingming Huang. Parsing-based view-aware embedding network for vehicle re-identification. In CVPR, pages 7103– 7112, 2020. 2, 3, 8
23. Mang Ye, Jianbing Shen, Gaojie Lin, Tao Xiang, Ling Shao, and Steven CH Hoi. Deep learning for person reidentification: A survey and outlook. IEEE TPAMI, 2021. 2
24. Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In CVPR, pages 770–778, 2016. 2
25. Zhedong Zheng, Liang Zheng, and Yi Yang. A discriminatively learned cnn embedding for person reidentification. ACM TOMM, 14(1):13, 2018. 2
26. Hao Liu, Jiashi Feng, Meibin Qi, Jianguo Jiang, and Shuicheng Yan. End-to-end comparative attention networks for person re-identification. IEEE TIP, 26(7):3492–3506, 2017. 2
27. Jingjing Qian, Wei Jiang, Hao Luo, and Hongyan Yu. Stripebased and attribute-aware network: A two-branch deep model for vehicle re-identification. Measurement Science and Technology, 31(9):095401, 2020. 3, 8
28. Jiaxu Miao, Yu Wu, Ping Liu, Yuhang Ding, and Yi Yang. Pose-guided feature alignment for occluded person re-identification. In ICCV, pages 542–551, 2019. 2, 3, 5, 8
29. Zhihui Zhu, Xinyang Jiang, Feng Zheng, Xiaowei Guo, Feiyue Huang, Xing Sun, and Weishi Zheng. Aware loss with angular regularization for person re-identification. In AAAI, volume 34, pages 13114–13121, 2020. 3
30. Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NeurIPS, pages 6000–6010, 2017. 3
31. Salman Khan, Muzammal Naseer, Munawar Hayat, Syed Waqas Zamir, Fahad Shahbaz Khan, and Mubarak Shah. Transformers in vision: A survey. arXiv preprint arXiv:2101.01169, 2021. 3
32. Hanting Chen, Yunhe Wang, Tianyu Guo, Chang Xu, Yiping Deng, Zhenhua Liu, Siwei Ma, Chunjing Xu, Chao Xu, and Wen Gao. Pre-trained image processing transformer. CVPR, 2021. 3
33. Ren S, He K, Girshick R, Sun J. Faster r-cnn: Towards real-time object detection with region proposal networks. IEEE Trans Pattern Anal Mach Intell. 2016;39(6):1137–49.
34. Liu W, Anguelov D, Erhan D, Szegedy C, Reed S, Fu CY, Berg AC. Ssd: single shot multibox detector. In: European conference on computer vision. Cham: Springer; 2016, p. 21–37.
35. Alganci U, Soydas M, Sertel E. Comparative research on deep learning approaches for airplane detection from very high-resolution satellite images. Remote Sensing. 2020;12(3):458.
36. Reza Z. N. (2019). Real-time automated weld quality analysis from ultrasonic B-scan using deep learning (Doctoral dissertation, University of Windsor (Canada)).
37. Shen X, Wu Y. A unified approach to salient object detection via low rank matrix recovery. In: 2012 IEEE conference on computer vision and pattern recognition. IEEE; 2012, p. 853–60.
38. Madden C., Cheng E. D., Piccardi M., 2007. Tracking people across disjoint camera views by an illumination tolerant appearance representation. Journal of Machine Vision and Applications 18(3), pp. 233–247.
39. Colombo A., Orwell J., and Velastin S., 2008. Colour constan-cy techniques for re-recognition of pedestrians from mul-tiple surveillance cameras. In Workshop on Multi-camera and Multi-modal Sensor Fusion Algorithms and Applications, 2008, Marseille, France
40. Truong Congl D.-N., Khoudour L., Achard C., Meurie C., Lezoray O., 2010. People re-identification by spectral classification of silhouettes. Signal Processing, vol. 90, no. 8, pp 2362-2374.
41. Javed O., Shafique K., Shah M., 2005. Appearance modeling for tracking in multiple non-overlapping cameras. In IEEE Conf. on Computer Vision and Pattern Recognition, vol. 2, pp. 26-33.
42. Jeong K., Jaynes C., 2008. Object matching in disjoint cameras using a colour transfer approach. Journal of Machine Vision and Applications, 19(5), pp. 88–96
43. Bäuml M., Bernardin K., Fischer M.,. Ekenel H. K, 2010. Multi-pose face recognition for person retrieval in camera networks. In IEEE 7 th Int. Conf. on Advanced Video and Signal Based Surveillance, pp. 441-447.
44. Dantcheva A.,. Dugelay J. L, 2011. Frontal-to-side face reidentification based on hair, skin and clothes patches. In IEEE Int. Conf. on Advanced Video and SignalBased Surveillance, pp. 309-313
45. Roy A., Sural S., Mukherjee J., 2012. A hierarchical method combining gait and phase of motion with spatiotemporal model for person re-identification. In Pattern Recognition Letters, 33(14), pp. 1891-1901.
46. Cai Q. and Aggarwal J.K., 1999. Tracking Human Motion Using a Distributed-Camera System. In IEEE Trans. On PAMI., 21(12), pp. 1241-1247
47. Mittal A., Davis, L. 2003. M2 tracker: a multi-view approach to segmenting and tracking people in a cluttered scene. Int. J. Comput. Vis. 51(3), pp.189–203
48. Satta R., Fumera G., Roli F., 2012. Fast person reidentification based on dissimilarity representations. In Pattern Recognition Letters, 33(14), pp. 1838-1848.
49. Visual Studio Code on Windows [Електронний ресурс]. – 2022. – Режим доступу до ресурсу: https://code.visualstudio.com/docs/setup/windows.
50. How to Install WSL 2 on Windows 10 (Updated) [Електронний ресурс]. – 2022. – Режим доступу до ресурсу: https://www.omgubuntu.co.uk/how-to-install-wsl2-on-windows-10
51. Simple Python Version Management: pyenv [Електронний ресурс] – Режим доступу до ресурсу: https://github.com/pyenv/pyenv.
52. Torchreid [Електронний ресурс] – Режим доступу до ресурсу: https://github.com/KaiyangZhou/deep-person-reid.
53. Official YOLOv7 [Електронний ресурс] – Режим доступу до ресурсу: https://github.com/WongKinYiu/yolov7.
Тип вмісту: Master Thesis
Розташовується у зібраннях:125 — кібербезпека

Файли цього матеріалу:
Файл Опис РозмірФормат 
Dyplom_Havrylov_M_V_2022.pdfКваліфікаційна робота магістра2,89 MBAdobe PDFПереглянути/відкрити
avtorska_dov_Havrylov_M_V_2022.pdfАвторська довідка663,88 kBAdobe PDFПереглянути/відкрити
Показати повний опис матеріалу Перегляд статистики


Усі матеріали в архіві електронних ресурсів захищені авторським правом, всі права збережені.

Інструменти адміністратора