Utilizza questo identificativo per citare o creare un link a questo documento: http://elartu.tntu.edu.ua/handle/lib/50860
Titolo: Методи машинного навчання в задачах розпізнавання міміки обличчя
Titoli alternativi: Machine Learning Methods in Facial Expression Recognition Tasks
Autori: Голубко, Катерина Анатоліївна
Holubko, Kateryna
Affiliation: ТНТУ ім. І. Пулюя, Факультет комп’ютерно-інформаційних систем і програмної інженерії, Кафедра комп’ютерних наук, м. Тернопіль, Україна
Bibliographic description (Ukraine): Голубко К. А. Методи машинного навчання в задачах розпізнавання міміки обличчя : робота на здобуття кваліфікаційного ступеня магістр : спец. 122 - комп’ютерні науки / наук. кер. Я. В. Литвиненко. Тернопіль : Тернопільський національний технічний університет імені Івана Пулюя, 2025. 98 с.
Bibliographic reference (2015): Голубко К. А. Методи машинного навчання в задачах розпізнавання міміки обличчя : робота на здобуття кваліфікаційного ступеня магістр : спец. 122 «Комп’ютерні науки» / наук. кер. Я. В. Литвиненко. Тернопіль : ТНТУ, 2025. 98 с.
Data: 23-dic-2025
Submitted date: 8-dic-2025
Date of entry: 2-gen-2026
Editore: ТНТУ ім. І.Пулюя, ФІС, м. Тернопіль, Україна
Country (code): UA
Place of the edition/event: Тернопіль
Supervisor: Литвиненко, Ярослав Володимирович
Lytvynenko, Iaroslav
Committee members: Мудрик, Іван Ярославович
Mudryk, Ivan
UDC: 004.932:004.85
Parole chiave: 122
комп’ютерні науки
аналіз емоцій
класифікація
комп'ютерний зір
машинного навчання
міміка обличчя
нейронні мережі
розпізнавання образів
cnn
computer vision
dlib
facial expression recognition
fer
opencv
python
Page range: 98
Abstract: Кваліфікаційна робота присвячена дослідженню та розробці системи автоматичного розпізнавання міміки обличчя на основі методів машинного навчання. У першому розділі розглянуто теоретичні аспекти комп'ютерного зору, проаналізовано психологічні моделі емоцій та сучасні підходи до ідентифікації мімічних ознак. Другий розділ містить опис методів попередньої обробки зображень, виділення ключових точок обличчя та порівняльний аналіз архітектур глибокого навчання, зокрема згорткових нейронних мереж (CNN). У третьому розділі представлено програмну реалізацію системи розпізнавання емоцій з використанням бібліотек OpenCV, Dlib та TensorFlow/Keras, а також результати тестування моделі на валідаційних датасетах. Окремо висвітлено питання економічної ефективності, охорони праці та цивільної безпеки користувачів ІТ-систем
The qualification work is devoted to the research and development of an automatic facial expression recognition system based on machine learning methods. The first chapter discusses the theoretical aspects of computer vision, analyzes psychological models of emotions and modern approaches to identifying facial features. The second chapter describes image preprocessing methods, facial landmark detection, and a comparative analysis of deep learning architectures, particularly convolutional neural networks (CNN). The third chapter presents the software implementation of the emotion recognition system using OpenCV, Dlib, and TensorFlow/Keras libraries, as well as the results of testing the model on validation datasets. Issues of economic efficiency, labor protection, and civil safety of IT systems users are separately highlighted
Descrizione: Роботу виконано на кафедрі комп'ютерних наук Тернопільського національного технічного університету імені Івана Пулюя. Захист відбудеться 23.12.2025р. на засіданні екзаменаційної комісії №32 у Тернопільському національному технічному університеті імені Івана Пулюя
Content: ВСТУП 6 1 ТЕОРЕТИЧНІ ОСНОВИ ТА АНАЛІЗ ПРЕДМЕТНОЇ ОБЛАСТІ 10 1.1 Роль розпізнавання міміки у людино-машинній взаємодії 10 1.2 Психологічні аспекти та класифікація базових емоцій 15 1.3 Огляд методів обробки зображень обличчя 20 Висновок до першого розділу 26 2 МЕТОДИ МАШИННОГО НАВЧАННЯ ДЛЯ РОЗПІЗНАВАННЯ ЕМОЦІЙ 27 2.1 Виявлення обличчя та детекція антропометричних точок 27 2.2 Архітектура згорткових нейронних мереж (CNN) для задач FER 33 2.3 Аналіз відкритих наборів даних для навчання моделей 40 Висновок до другого розділу 46 3 ПРОГРАМНА РЕАЛІЗАЦІЯ ТА ДОСЛІДЖЕННЯ МОДЕЛЕЙ 47 3.1 Вибір інструментарію та розробка архітектури системи 47 3.2 Навчання класифікатора та оптимізація гіперпараметрів 54 3.3 Експериментальна оцінка точності та швидкодії системи 61 Висновок до третього розділу 68 4 ОБҐРУНТУВАННЯ ЕКОНОМІЧНОЇ ЕФЕКТИВНОСТІ 69 5 ОХОРОНА ПРАЦІ ТА БЕЗПЕКА В НАДЗВИЧАЙНИХ СИТУАЦІЯХ 83 6 ЕКОЛОГІЯ 94 ЗАГАЛЬНІ ВИСНОВКИ 97 СПИСОК ЛІТЕРАТУРИ 98
URI: http://elartu.tntu.edu.ua/handle/lib/50860
Copyright owner: © Голубко Катерина Анатоліївна, 2025
References (Ukraine): 1. Shah N., Asuncion R. M. D., Hameed S. Muscle Contraction Tension Headache / N. Shah, R. M. D. Asuncion, S. Hameed // StatPearls [Electronic resource]. — NCBI Bookshelf. — Режим доступу: https://www.ncbi.nlm.nih.gov/books/NBK562274/
2. Zebrowitz L. A., Franklin R. G. Jr. The Attractiveness Halo Effect and the Babyface Stereotype in Older and Younger Adults: Similarities, Own-Age Accentuation, and OA Positivity Effects / L. A. Zebrowitz, R. G. Franklin Jr. // Psychology and Aging. — 2014. — Vol. 29, No. 3. — P. 346–357. — Режим доступу: https://pmc.ncbi.nlm.nih.gov/articles/PMC4020290/
3. World Health Organization. Ageing and health // WHO Fact Sheets [Electronic resource]. — 1 October 2025. — Режим доступу: https://www.who.int/news-room/fact-sheets/detail/ageing-and-health
4. Di Santis É. P., Hirata S. H., Di Santis G. M., Yarak S. Adverse effects of the aesthetic use of botulinum toxin and dermal fillers on the face: a narrative review / É. P. Di Santis, S. H. Hirata, G. M. Di Santis, S. Yarak // Anais Brasileiros de Dermatologia. — 2024. — Vol. 99, No. 3. — P. 261–270. — Режим доступу: https://pmc.ncbi.nlm.nih.gov/articles/PMC11745296/
5. Funt D., Pavicic T. Dermal fillers in aesthetics: an overview of adverse events and treatment approaches / D. Funt, T. Pavicic // Clinical, Cosmetic and Investigational Dermatology. — 2013. — Vol. 6. — P. 295–316. — Режим доступу: https://pmc.ncbi.nlm.nih.gov/articles/PMC3865975/
6. Yuk Y.-S., Lim H.-W. Kinesio taping: a novel approach to reducing facial wrinkles and sagging skin / Y.-S. Yuk, H.-W. Lim // Aesthetic Medicine. — 2023. — Vol. 9, No. 4. — Режим доступу: https://www.mattioli1885journals.com/index.php/aestheticmedicine/article/view/16352
7. Pałka N., Maciejewski M., Kamiński K., Piszczek M., Zagrajek P., Czerwińska E., Walczakowski M., Dragan K., Synaszko P., Świderski W. Fast THz-TDS Reflection Imaging with ECOPS—Point-by-Point versus Line-by-Line Scanning / N. Pałka, M. Maciejewski, K. Kamiński, M. Piszczek, P. Zagrajek, E. Czerwińska, M. Walczakowski, K. Dragan, P. Synaszko, W. Świderski // Sensors. — 2022. — Vol. 22, No. 22. — Art. No. 8813. — Режим доступу: https://www.mdpi.com/1424-8220/22/22/8813
8. Pal S. Human Face Detection Technique using Haar-like Features / S. Pal // International Journal of Computer Applications. — 2020. — Vol. 175, No. 32. — P. 56–60. — DOI: 10.5120/ijca2020920883. — Режим доступу: https://www.researchgate.net/publication/347029136_Human_Face_Detection_Technique_using_Haar-like_Features
9. Singh H., Gagandeep. Local Binary Patterns and Its Application to Facial Analysis / H. Singh, Gagandeep // International Journal of Engineering Research and Reviews. — 2022. — Vol. 10, Issue 3. — P. 11–20. — Режим доступу: https://www.researchpublish.com/upload/book/Local%20Binary%20Patterns%20and%20Its%20Application-22082022-2.pdf
10. Kazemi V., Sullivan J. One Millisecond Face Alignment with an Ensemble of Regression Trees / V. Kazemi, J. Sullivan // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). — 2014. — P. 1867–1874. — Режим доступу: https://www.cv-foundation.org/openaccess/content_cvpr_2014/papers/Kazemi_One_Millisecond_Face_2014_CVPR_paper.pdf
11. Kartynnik Y., Ablavatski A., Grishchenko I., Grundmann M. Real-time Facial Surface Geometry from Monocular Video on Mobile GPUs / Y. Kartynnik, A. Ablavatski, I. Grishchenko, M. Grundmann // arXiv preprint arXiv:1907.06724. — 2019. — Режим доступу: https://arxiv.org/abs/1907.06724
12. Bodini M. A Review of Facial Landmark Extraction in 2D Images and Videos Using Deep Learning / M. Bodini // Machine Learning and Knowledge Extraction (MAKE). — 2021. — Vol. 3, No. 1. — P. 236–262. — Режим доступу: https://www.mdpi.com/2504-2289/3/1/14
13. Facial Action Coding System // Machine Learning for Biometrics [Electronic resource]. — 2022. — Режим доступу: https://www.sciencedirect.com/topics/computer-science/facial-action-coding-system
14. Zhang L., Arandjelović O. Review of Automatic Microexpression Recognition in the Past Decade / L. Zhang, O. Arandjelović // Biomimetics. — 2018. — Vol. 3, No. 2. — Art. No. 21. — Режим доступу: https://www.mdpi.com/2504-4990/3/2/21
15. Zhou L., Shao X., Mao Q. A survey of micro-expression recognition / L. Zhou, X. Shao, Q. Mao // Image and Vision Computing. — 2021. — Vol. 105. — Art. No. 104043. — Режим доступу: https://www.sciencedirect.com/science/article/abs/pii/S026288562030175X
16. What can I use FaceReader for? // Noldus — FaceReader Applications [Electronic resource]. — Режим доступу: https://noldus.com/facereader/applications
17. Emotion AI 101: All About Emotion Detection and Affectiva’s Emotion Metrics // Smart Eye [Electronic resource]. — Режим доступу: https://go.smarteye.se/emotion-ai-101-all-about-emotion-detection-and-affectivas-emotion-metrics
18. Azure Face detection, attributes, and input data // Microsoft Learn [Electronic resource]. — Режим доступу: https://learn.microsoft.com/en-us/azure/ai-services/computer-vision/concept-face-detection
19. MediaPipe Solutions Guide // Google AI [Electronic resource]. — Режим доступу: https://ai.google.dev/edge/mediapipe/solutions/guide
20. Redmon J., Farhadi A. YOLOv3: An Incremental Improvement / J. Redmon, A. Farhadi // arXiv preprint arXiv:1804.02767. — 2018. — Режим доступу: https://arxiv.org/abs/1804.02767
21. Bochkovskiy A., Wang C.-Y., Liao H.-Y. M. YOLOv4: Optimal Speed and Accuracy of Object Detection / A. Bochkovskiy, C.-Y. Wang, H.-Y. M. Liao // arXiv preprint arXiv:2004.10934. — 2020. — Режим доступу: https://arxiv.org/abs/2004.10934
22. Zhang C., Lin H., Zhang Y. YOLOv7: The State of the Art for Real-Time Object Detection / C. Zhang, H. Lin, Y. Zhang // arXiv preprint arXiv:2207.02696. — 2023. — Режим доступу: https://arxiv.org/abs/2207.02696
23. Nath G. S., Veena A. A Deep Learning Based Detection of Wrinkles on Skin / G. S. Nath, A. Veena // Advances in Intelligent Systems and Computing: Proc. of the 5th International Conference on Computational Vision and Bio Inspired Computing (ICCVBIC 2021), RVS Technical Campus, Coimbatore, India, November 2021. — DOI: 10.1007/978-981-16-9573-5_2. — Режим доступу: https://www.researchgate.net/publication/361275360_A_Deep_Learning_Based_Detection_of_Wrinkles_on_Skin
24. YouCam Makeup – Selfie Editor / Perfect Mobile Corp. // Google Play [Electronic resource]. — Режим доступу: https://play.google.com/store/apps/details?id=com.cyberlink.youcammakeup
25. FaceApp: редактор обличчя / FaceApp Technology Ltd // Google Play [Electronic resource]. — Режим доступу: https://play.google.com/store/apps/details?id=io.faceapp
26. Hosseini H., Xiao B., Poovendran R. Google's Cloud Vision API Is Not Robust To Noise / H. Hosseini, B. Xiao, R. Poovendran // arXiv preprint arXiv:1704.05051. — 2017. — Режим доступу: https://arxiv.org/abs/1704.05051
27. Харченко О., Яцишин В. Розробка та керування вимогами до програмного забезпечення на основі моделі якості. Вісник ТДТУ. Тернопіль, 2009. Т. 14. №1. С. 201-207.
28. Yatsyshyn V., Pastukh O., Palamar A., Zharovskyy R. Technology of relational database management systems performance evaluation during computer systems design. Scientific Journal of TNTU. 2023. Vol. 109, No 1. P. 54–65.
29. Redmon J., Divvala S., Girshick R., Farhadi A. You Only Look Once: Unified, Real-Time Object Detection / J. Redmon, S. Divvala, R. Girshick, A. Farhadi // arXiv preprint arXiv:1506.02640. — 2015. — Режим доступу: https://arxiv.org/abs/1506.02640
30. Liu W., Anguelov D., Erhan D., Szegedy C., Reed S., Fu C.-Y., Berg A. C. SSD: Single Shot MultiBox Detector / W. Liu, D. Anguelov, D. Erhan, C. Szegedy, S. Reed, C.-Y. Fu, A. C. Berg // arXiv preprint arXiv:1512.02325. — 2015. — Режим доступу: https://arxiv.org/abs/1512.02325
31. Su Z. Comparative Analysis of CNN-Based Object Detection Models: Faster R-CNN, SSD, and YOLO / Z. Su // Highlights in Science, Engineering and Technology. — 2025. — Vol. 138. — P. 147–152. — DOI: 10.54097/9r6evm71. — Режим доступу: https://www.researchgate.net/publication/391692075_Comparative_Analysis_of_CNN-Based_Object_Detection_Models_Faster_R-CNN_SSD_and_YOLO
32. Rezaei J. Wrinkle-detection Computer Vision Model / J. Rezaei // Roboflow Universe [Electronic resource]. — Режим доступу: https://universe.roboflow.com/javad-rezaei/wrinkle-detection/
33. chrome.tabCapture // Chrome Developers Documentation [Electronic resource]. — Режим доступу: https://developer.chrome.com/docs/extensions/mv2/reference/tabCapture
34. Satyanarayanan M. The Emergence of Edge Computing / M. Satyanarayanan // Computer. — 2017. — Vol. 50, No. 1. — P. 30–39. — DOI: 10.1109/MC.2017.9. — Режим доступу: https://ieeexplore.ieee.org/document/7807196
35. FastAPI — Official Documentation [Electronic resource]. — Режим доступу: https://fastapi.tiangolo.com
36. SQLite Documentation — Architecture & Features [Electronic resource]. — Режим доступу: https://www.sqlite.org/docs.html
37. PyWebView — Official Documentation [Electronic resource]. — Режим доступу: https://pywebview.flowrl.com/
38. GDPR — General Data Protection Regulation [Electronic resource]. — Режим доступу: https://gdpr.eu/
39. Edge vs Cloud AI: Key Differences, Benefits & Hybrid Future / Clarifai // Clarifai Blog [Electronic resource]. — Режим доступу: https://www.clarifai.com/blog/edge-vs-cloud-ai
40. Петрик М. Р., Петрик О. Ю. Моделювання програмного забезпечення : наук.-метод. посіб. Тернопіль: Вид-во ТНТУ імені Івана Пулюя, 2015. 200 с.
41. Zhang T., El Ali A., Hanjalic A., Cesar P. Few-Shot Learning for Fine-Grained Emotion Recognition Using Physiological Signals / T. Zhang, A. El Ali, A. Hanjalic, P. Cesar // IEEE Transactions on Affective Computing. — 2023. — Early Access / or 2022 depending on version on IEEE Xplore*. — DOI: 10.1109/TAFFC.2022.3175934. — Режим доступу: https://ieeexplore.ieee.org/abstract/document/9751421
42. Lypa B., Horyn I., Zagorodna N., Tymoshchuk D., Lechachenko T. Comparison of feature extraction tools for network traffic data. CEUR Workshop Proceedings. 2024. vol. 3896. P. 1-11.
43. Ekman P., Rosenberg E. L. What the Face Reveals: Basic and Applied Studies of Spontaneous Expression Using the Facial Action Coding System (FACS). — 2nd ed. / P. Ekman, E. L. Rosenberg. — Oxford: Oxford University Press, 2005. — 512 p. — Режим доступу: https://www.aqualide.com/upload/texte/text98.pdf
44. Konovalenko I., Maruschak P., Brezinová J., Prentkovskis O., Brezina J. Research of U-Net-based CNN architectures for metal surface defect detection. Machines, 2022. 10(5), P. 327.
45. Seikavandi M. J., Fimland J., Barrett M., Burelli P. Exploring the Temporal Dynamics of Facial Mimicry in Emotion Processing Using Action Units / M. J. Seikavandi, J. Fimland, M. Barrett, P. Burelli // arXiv preprint arXiv:2503.17306. — 2025. — Режим доступу: https://arxiv.org/html/2503.17306v1
46. Han S., Mao H., Dally W. J. Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding / S. Han, H. Mao, W. J. Dally. — 2016. — Режим доступу: https://hanlab.mit.edu/projects/deep-compression
47. Li Z., Li H., Meng L. Model Compression for Deep Neural Networks: A Survey / Z. Li, H. Li, L. Meng // Computers. — 2023. — Vol. 12, No. 3. — Art. No. 60. — Режим доступу: https://www.mdpi.com/2073-431X/12/3/60
48. Dantas P. V., Sabino da Silva Jr W., Cordeiro L. C., Carvalho C. B. A comprehensive review of model compression techniques in machine learning / P. V. Dantas, W. Sabino da Silva Jr, L. C. Cordeiro, C. B. Carvalho // Applied Intelligence. — 2024. — Vol. 54. — P. 11804–11844. — Published: 02 September 2024. — DOI: 10.1007/s10489-024-05747-w. — Режим доступу: https://link.springer.com/article/10.1007/s10489-024-05747-w
49. Закон України «Про охорону праці» : Закон України від 14 жовтня 1992 р. № 2694-XII (зі змінами і доповненнями) // Відомості Верховної Ради України. — Режим доступу: https://zakon.rada.gov.ua/laws/show/2694-12
50. Державні санітарні норми мікроклімату виробничих приміщень : ДСН 3.3.6.042-99, затверджені постановою Головного державного санітарного лікаря України // Офіційний вебпортал Верховної Ради України [Electronic resource]. — Режим доступу: https://zakon.rada.gov.ua/laws/show/va042282-99
51. Державні санітарні правила і норми роботи з відеодисплейними терміналами (ВДТ), електронно-обчислювальними машинами (ЕОМ) : ДСанПіН 3.3.2-007-98 (втратив чинність) // Офіційний вебпортал Верховної Ради України [Electronic resource]. — Режим доступу: https://zakon.rada.gov.ua/laws/show/z0283-98
52. Imran H., Shafique F. Digital Fatigue and Cognitive Overload as Managerial Challenges: Understanding the Impact of Workload Management on the Workforce / H. Imran, F. Shafique // The Critical Review of Social Sciences Studies. — 2025. — Vol. 3, No. 4. — P. 1629–1641. — Режим доступу: https://www.researchgate.net/publication/398274269_Digital_Fatigue_and_Cognitive_Overload_as_Managerial_Challenges_Understanding_the_Impact_of_Workload_Management_on_the_Workforce
53. Schmitt J. B., Breuer J., Wulf T. From cognitive overload to digital detox: Psychological implications of telework during the COVID-19 pandemic / J. B. Schmitt, J. Breuer, T. Wulf // Computers in Human Behavior Reports. — 2021. — Vol. 4. — Art. No. 100091. — Режим доступу: https://pmc.ncbi.nlm.nih.gov/articles/PMC8455170/
54. Notifications and Alerts: User Experience Guidelines / Nielsen Norman Group // NN/g Articles [Electronic resource]. — Режим доступу: https://www.nngroup.com/articles/notifications/
55. Human-Centered Design: Designing for User Trust and Transparency // Microsoft Learn [Electronic resource]. — Режим доступу: https://learn.microsoft.com/en-us/windows/apps/design/signals/user-trust
Content type: Master Thesis
È visualizzato nelle collezioni:122 — комп’ютерні науки

File in questo documento:
File Descrizione DimensioniFormato 
Mag_2025_SNMz-61_Holubko_KA.pdfДипломна робота2,74 MBAdobe PDFVisualizza/apri


Tutti i documenti archiviati in DSpace sono protetti da copyright. Tutti i diritti riservati.

Strumenti di amministrazione