Please use this identifier to cite or link to this item: http://elartu.tntu.edu.ua/handle/lib/49405
Title: Застосунок для перенесення обличчя на відео на основі нейронних мереж
Other Titles: An application for face transfer to video based on neural networks
Authors: Гудз, Ярослав Михайлович
Hudz, Yaroslav
Affiliation: ТНТУ ім. І. Пулюя, Факультет комп’ютерно-інформаційних систем і програмної інженерії, Кафедра комп’ютерних наук, м. Тернопіль, Україна
Bibliographic description (Ukraine): Гудз Я. М. Застосунок для перенесення обличчя на відео на основі нейронних мереж : робота на здобуття кваліфікаційного ступеня бакалавра : спец. 122 - комп’ютерні науки / наук. кер. Л. П. Матійчук. Тернопіль : Тернопільський національний технічний університет імені Івана Пулюя, 2025. 58 с.
Issue Date: 19-Jun-2025
Submitted date: 5-Jun-2025
Date of entry: 2-Jul-2025
Publisher: ТНТУ ім. І.Пулюя, ФІС, м. Тернопіль, Україна
Country (code): UA
Place of the edition/event: Тернопіль
Supervisor: Матійчук, Любомир Павлович
Matiichuk, Liubomyr
UDC: 004.7
Keywords: 122
детектування обличчя
нейронна мережа
машинне навчання
обробка зображень
python
face detection
neural network
machine learning
image processing
Page range: 58
Abstract: У першому розділі описується предметна область. Також проводиться аналіз існуючих аналогів та методів, що вирішують поставлені завдання. У другому розділі були розглянуті етапи перенесення обличь, методи та алгоритми детектування, вилучення інформації про ідентичність. Було розглянуто архітектуру нейронної мережі для перенесення обличь. Розглянуті основні модифікації зображення, необхідні для перенесення обличь. Також визначені функціональні та нефункціональні вимоги для системи, представлені діаграми варіантів використання та компонентів. Міститься опис проектування всіх складових системи. В результаті проектування архітектури вся система була розбита на кілька частин, які будуть представляти окремі Docker-контейнери. У третьому розділі були розглянуті програмні засоби для реалізації, розглянутий процес формування набору даних для навчання, наведено опис процесу навчання нейронної мережі, а також опис реалізації програми та інтерфейсу користувача. розроблено клас, що дозволяє оцінювати якість перенесення осіб та дві функції для підготовки набору даних. Всі компоненти розроблюваної програми були упаковані в Docker -контейнери. Описано процес тестування моделі нейронної мережі за допомогою метрик оцінки якості перенесення осіб. Було проведено функціональне тестування застосунку та тестування інтерфейсу користувача на адаптивність та на коректне відображення в різних браузерах.
The first chapter describes the subject area. An analysis of existing analogues and methods that solve the tasks is also carried out. The second chapter considered the stages of face transfer, detection methods and algorithms, and identity information extraction. The architecture of a neural network for face transfer was considered. The main image modifications necessary for face transfer were considered. Functional and non-functional requirements for the system were also determined, diagrams of use cases and components were presented. The design of all system components is described. As a result of the design of the architecture, the entire system was divided into several parts, which will be represented by separate Docker containers. The third chapter considered software tools for implementation, considered the process of forming a data set for training, provided a description of the neural network training process, as well as a description of the implementation of the program and the user interface. A class was developed that allows assessing the quality of face transfer and two functions for preparing a data set. All components of the developed program were packaged in Docker containers. The process of testing the neural network model using person transfer quality assessment metrics is described. Functional testing of the application and testing of the user interface for adaptability and correct display in different browsers were conducted
Description: Роботу виконано на кафедрі комп'ютерних наук Тернопільського національного технічного університету імені Івана Пулюя. Захист відбудеться 19.06.2025р. на засіданні екзаменаційної комісії №30 у Тернопільському національному технічному університеті імені Івана Пулюя
Content: ВСТУП 8 РОЗДІЛ 1. ОГЛЯД ПРЕДМЕТНОЇ ОБЛАСТІ 10 1.1 Огляд алгоритмів заміни обличь 10 1.1.1 Replacement-based 10 1.1.2 Model-based 11 1.1.3 Learning-based 11 1.2 Програмні засоби для перенесення обличь 13 РОЗДІЛ 2. ОСНОВИ ПЕРЕНОСУ ОБЛИЧЬ. ПРОЕКТУВАННЯ ЗАСТОСУНКУ 15 2.1 Етапи перенесення обличь 15 2.2 Алгоритми Face Detection 16 2.3 Алгоритми Identity Extraction 16 2.4 Алгоритм Face Swap 19 2.5 Обробка зображень 20 2.6 Основні відомості про нейронні мережі 22 2.7 Проектування застосунку 24 2.7.1 Визначення вимог до застосунку 2.7.2 Варіанти використання застосунку 25 2.7.3 Проектування архітектури системи 26 РОЗДІЛ 3. РЕАЛІЗАЦІЯ ТА ТЕСТУВАННЯ ЗАСТОСУНКУ 31 3.1 Програмні засоби реалізації 31 3.2 Реалізація Web-interface 31 3.3 Реалізація Web-server 34 3.4 Реалізація Task executor 34 3.5 Реалізація Serving server 37 3.6 Підготовка даних та передобробка набору даних 38 3.7 Вибір та навчання нейронної мережі 40 3.8 Реалізація методів оцінки якості перенесення обличь 43 3.9 Контейнеризація системи 43 3.10 Тестування застосунку 44 3.10.1 Тестування веб-сайту 44 3.10.2 Функціональне тестування 44 3.10.2 Тестування нейронної мережі 44 РОЗДІЛ 4. БЕЗПЕКА ЖИТТЄДІЯЛЬНОСТІ, ОСНОВИ ОХОРОНИ ПРАЦІ 48 4.1 Навчання працюючих і інструктажі з охорони праці 48 4.2 Санітарно-гігієнічні вимоги до умов праці 50 ВИСНОВКИ 53 ПЕРЕЛІК ДЖЕРЕЛ 54 ДОДАТКИ
URI: http://elartu.tntu.edu.ua/handle/lib/49405
Copyright owner: © Гудз Ярослав Михайлович, 2025
References (Ukraine): 1. BetSwap. [Електронний ресурс] - Режим доступа: https://betswap.gg/ (дата звернення: 20.02.2025).
2. BiSeNet. [Електронний ресурс] - Режим доступа: https://github.com/CoinCheung/BiSeNet (дата звернення: 10.05.2025).
3. Bitouk D., Kumar N., Dhillon S., Belhumeur P. Face swapping: Automatically replacing faces in photographs // Association for Computing Machinery, New York, NY, USA, August 2008. Vol. 27, no. 3. P. 1–8. DOI:10.1145/1399504.1360638.
4. Blanz V., Scherbaum K., Vetter T. Exchanging Faces in Images // Computer Graphics Forum. 2004. Vol. 23, no. 3. P. 669–676. DOI: 10.1111/j.1467-8659.2004.00799.x.
5. Cao Q., Shen L., Xie W., Parkhi O., Zisserman A. VGGFace2: A Dataset for Recognising Faces across Pose and Age // 13th IEEE International Conference on Automatic Face & Gesture Recognition 13th, 2018, Xi’an, China, May 15-19, 2018. IEEE Computer Society. P. 67–74. DOI:10.1109/FG.2018.00020.
6. Chen D., Chen Q., Wu J., Yu X., Jia T. Face Swapping: Realistic Image Synthesis Based on Facial Landmarks Alignment // Mathematical Problems in Engineering. 2019. Vol. 2019. P. 1–11. DOI: 10.1155/2019/8902701.
7. Chen R., Chen X., Ni B., Ge Y. SimSwap: An Efficient Framework For High Fidelity Face Swapping // Proceedings of the 28th ACM International Conference on Multimedia. Association for Computing Machinery, New York, NY, USA, October 2020. P. 2003–2011. DOI: 10.1145/3394171.3413630.
8. Chen X. SimSwap: An Efficient Framework for High Fidelity Face Swapping. [Електронний ресурс] - Режим доступа: https://github.com/neuralchen/ SimSwap (дата звернення: 01.02.2025).
9. Chesakov D., Maltseva A., Groshev A., Kuznetsov A., Dimitrov D. A new face swap method for image and video domains: a technical report // arXiv:2202.03046, 2022.
10. CSS. [Електронний ресурс] - Режим доступа: https://www.w3.org/Style/CSS/ (дата звернення: 11.05.2025).
11. DistributedDataParallel. [Електронний ресурс] - Режим доступа: https://pytorch.org/docs/master/notes/ddp.html (дата звернення: 24.05.2025).
12. Docker. [Електронний ресурс] - Режим доступа: https://www.docker.com/ (дата звернення: 10.05.2025).
13. Dramatiq: background tasks. [Електронний ресурс] - Режим доступа: https://dramatiq.io/ (дата звернення: 10.04.2025).
14. ECMA. [Електронний ресурс] - Режим доступа: https://www.ecma-international.org/publications-and-standards/standards/(дата звернення: 11.05.2025).
15. FaceApp: Most Popular Selfie Editor. [Електронний ресурс] - Режим доступа: https://www.faceapp.com/ (дата звернення: 20.02.2025).
16. FaceSwapLive. [Електронний ресурс] - Режим доступа: http://faceswaplive.com/ (дата звернення: 20.02.2025).
17. Flask. [Електронний ресурс] - Режим доступа: https://flask.palletsprojects.com/en/2.1.x/ (дата звернення: 20.04.2025).
18. Flickr-Faces-HQ Dataset (FFHQ). [Електронний ресурс] - Режим доступа: https://github.com/NVlabs/ffhq-dataset (дата звернення: 22.11.2021 г.).
19. Goodfellow I., Pouget-Abadie J., Mirza M. Xu. Generative Adversarial Networks // arXiv:1406.2661, 2014.
20. Google Chrome. [Електронний ресурс] - Режим доступа: https://www.google.com/intl/ uk_ua /chrome/ (дата звернення: 24.05.2025).
21. Guo J., Deng J., Lattas A., Zafeiriou S. Sample and Computation Redistribution for Efficient Face Detection // arXiv:2105.04714, 2021.
22. HDTF. [Електронний ресурс] - Режим доступа: https://github.com/MRzzm/HDTF (дата звернення: 15.12.2021 г.).
23. HTML. [Електронний ресурс] - Режим доступа: https://html.spec.whatwg.org/ multipage/ (дата звернення: 11.05.2025).
24. Huynh-Thu Q., Ghanbar, M. Scope of validity of PSNR in image/video quality assessment // Electronics Letters. 2008. Vol. 44, no. 13. P. 800–801. DOI:10.1049/el:20080522.
25. InsightFace: 2D and 3D Face Analysis Project. [Електронний ресурс] - Режим доступа: https://github.com/deepinsight/insightface (дата звернення: 01.04.2025).
26. Jiankang D., Jia G., Niannan X., Stefanos Z. ArcFace: Additive Angular Margin Loss for Deep Face Recognition // IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2019, Long Beach, CA, USA, June 16– 20, 2019. Computer Vision Foundation. IEEE, P. 4690–4699. DOI: 10.48550/arXiv.1801.07698.
27. Kingma D., Ba J. Adam: A Method for Stochastic Optimization // Published as a conference paper at the 3rd International Conference for Learning Representations, San Diego, CA, USA, May 7-9, 2015. DOI: 10.48550/arXiv.1412.6980.
28. Kortli Y., Jridi M., Atri M. Face Recognition Systems: A Survey. // Sensors. 2020. Vol. 20, no. 2. Article number 342. DOI: 10.3390/s20020342.
29. Liu K., Wang P., Zhou W., Zhang Z. Face Swapping Con-sistency Transfer with Neural Identity Carrier // Future Internet. 2021. Vol. 13, no. 11. Article number 298. DOI: 10.3390/fi13110298.
30. Liu Z., Luo P., Wang X., Tang X. Deep Learning Face Attributes in the Wild // 2015 IEEE International Conference on Computer Vision (ICCV). 2015. DOI: 10.1109/ICCV.2015.425.
31. Mahajan S., Chen L., Tsai T. SwapItUp: A Face Swap Application for Privacy Protection // 31st IEEE International Conference on Advanced Information Networking and Applications. 2017. DOI: 10.1109/AINA.2017.53.
32. MEAD. [Електронний ресурс] - Режим доступа: https://wywu.github.io/ projects/MEAD/MEAD.html (дата звернення: 20.12.2021 г.).
33. Microsoft Edge. [Електронний ресурс] - Режим доступа: https://www.microsoft.com/ uk_ua /edge (дата звернення: 24.05.2025).
34. Minaee S., Boykov Y., Porikli F., Plaza A., Kehtarnavaz N., Terzopoulos D. Image Segmentation Using Deep Learning: A Survey // arXiv:2001.05566, 2020.
35. Mozilla. [Електронний ресурс] - Режим доступа: https://www.mozilla.org/ firefox/new/ (дата звернення: 24.05.2025).
36. Nirkin Y., Keller Y., Hassner T. FSGAN: Subject Agnostic Face Swapping and Reenactment // 2019 2019 IEEE/CVF International Conference on Computer Vision. 2019. DOI: 10.48550/arXiv.1908.05932.
37. Nirkin Y., Masi I., Tran A., Hassner T., Medioni G. Face Segmentation, Face Swapping, and How They Impact Face Recognition // Deep LearningBased Face Analytics. 2021. P. 21–43. DOI: 10.1007/978-3-030-74697-1_2.
38. Notepad-plus-plus. [Електронний ресурс] - Режим доступа: https://notepadplus-plus.org/ (дата звернення: 10.05.2025).
39. Onnxruntime. [Електронний ресурс] - Режим доступа: https://onnxruntime.ai/ (дата звернення: 22.04.2025).
40. Opera. [Електронний ресурс] - Режим доступа: https://www.opera.com/ (дата звернення: 24.05.2025).
41. Perov I. et al. DeepFaceLab: Integrated, flexible and extensible faceswapping framework // arXiv: 2005.05535, 2021.
42. Pexels. [Електронний ресурс] - Режим доступа: https://www.pexels.com (дата звернення: 10.11.2021 г.).
43. Pixabay. [Електронний ресурс] - Режим доступа: https://pixabay.com (дата звернення: 1.12.2021 г.).
44. PyCharm. [Електронний ресурс] - Режим доступа:https://www.jetbrains.com/pycharm/ (дата звернення: 25.01.2025).
45. Python. [Електронний ресурс] - Режим доступа: https://www.python.org (дата звернення: 19.03.2025).
46. Pytorch. [Електронний ресурс] - Режим доступа: https://pytorch.org (дата звернення: 19.03.2025).
47. Ravdess. [Електронний ресурс] - Режим доступа: https://smartlaboratory.org/ravdess/ (дата звернення: 11.12.2021 г.).
48. Redis [Електронний ресурс] - Режим доступа: https://redis.io/(дата звернення: 10.04.2025).
49. Refece. [Електронний ресурс] - Режим доступа: https://hey.reface.ai (дата звернення: 20.02.2025).
50. Siarohin A. et al. Motion-supervised Co-Part Segmentation // International Conference on Pattern Recognition 25, 2020. P. 9650–9657. DOI:10.1109/ICPR48806.2021.9412520.
51. SMTP protocol client. [Електронний ресурс] - Режим доступа: https://docs.python.org/3/library/smtplib.html (дата звернення: 25.05.2025).
52. Snapchat. [Електронний ресурс] - Режим доступа: https://www.snapchat.com (дата звернення: 20.02.2025).
53. Swapper. [Електронний ресурс] - Режим доступа: https://icons8.com/swapper (дата звернення: 20.02.2025).
54. Tensorboard. [Електронний ресурс] - Режим доступа: https://www.tensorflow.org/tensorboard (дата звернення: 22.04.2025).
55. The Limitations of Neural Networks: 3 Big Issues Dominate. [Електронний ресурс]. - Режим доступа: https://techmonitor.ai/techonology/emergingtechnology/ limitations-of-neural-networks (дата звернення: 07.04.2021 г.).
56. TorchServe. [Електронний ресурс] - Режим доступа: https://pytorch.org/serve/ (дата звернення: 22.04.2025).
57. Torchvision. [Електронний ресурс] - Режим доступа: https://pytorch.org/vision/stable/index.html (дата звернення: 10.02.2025).
58. Wang M., Deng W. Deep Face Recognition: A Survey. // Neurocomputing. 2018. Vol. 429. P. 215–244. DOI: 10.1016/j.neucom.2020.10.081.
59. Wang Z., Bovik A. C., Sheikh H. R., Simoncelli E. P. Image Quality Assessment: from Error Visibility to Structural Similarity // IEEE Transactions on Image Processing. 2004. Vol. 13, no. 4. P. 600–612. DOI: 10.1109/TIP.2003.819861.
60. Заікіна Д., Глива В. Основи охорони праці та безпека життєдіяльності. 2019. URL: https://doi.org/10.31435/rsglobal/001 (дата звернення: 14.04.2025).
61. Безпека в надзвичайних ситуаціях. Методичний посібник для здобувачів освітнього ступеня «магістр» всіх спеціальностей денної та заочної (дистанційної) форм навчання / укл.: Стручок В. С. Тернопіль: ФОП Паляниця В. А., 2022. 156 с.
Content type: Bachelor Thesis
Appears in Collections:122 — Компʼютерні науки (бакалаври)

Files in This Item:
File Description SizeFormat 
2025_KRB_SN-43_Hudz.pdfДипломна робота1,54 MBAdobe PDFView/Open


Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.

Admin Tools