Utilize este identificador para referenciar este registo:
http://elartu.tntu.edu.ua/handle/lib/44480| Título: | Дослідження здатності штучного інтелекту до розпізнавання жестової мови |
| Outros títulos: | Study of the ability of artificial intelligence to recognize sign language |
| Autor: | Редчук, Олександр Ігорович Redchuk, Oleksandr |
| Affiliation: | Тернопільський національний технічний університет імені Івана Пулюя |
| Bibliographic description (Ukraine): | Редчук О. І. Дослідження здатності штучного інтелекту до розпізнавання жестової мови : кваліфікаційна робота на здобуття освітнього ступеня магістр за спеціальністю „121 — інженерія програмного забезпечення“ / О. І. Редчук. — Тернопіль: ТНТУ, 2023. — 71 с. |
| Data: | Dez-2023 |
| Submitted date: | Dez-2023 |
| Date of entry: | 6-Fev-2024 |
| Editora: | Тернопільський національний технічний університет імені Івана Пулюя |
| Country (code): | UA |
| Place of the edition/event: | Тернопіль |
| Supervisor: | Мудрик, Іван Ярославович |
| Committee members: | Тиш, Євгенія Володимирівна |
| UDC: | 004.9 |
| Palavras-chave: | 121 інженерія програмного забезпечення sign language artificial intelligence gesture recognition neural network deep learning TensorFlow Python |
| Number of pages: | 71 |
| Resumo: | Метою кваліфікаційної роботи є розробка та навчання моделі штучного інтелекту, що зможе розпізнавати знаки жестової мови.
В роботі було проведено аналіз предметної області та визначено основні етапи для розробки моделі машинного навчання, обґрунтовано вибір технологій, описано процеси та принципи роботи нейронних мереж та продемонстровано наявні результати роботи навченої моделі. The purpose of the qualification work is to develop and train an artificial intelligence model that can recognize sign language signs. The work analyzes the subject area and identifies the main stages for developing a machine learning model, justifies the choice of technologies, describes the processes and principles of neural networks, and demonstrates the existing results of the trained model. |
| Content: | ЗМІСТ АНОТАЦІЯ 4 SUMMARY 5 ЗМІСТ 6 ВСТУП 8 1 АНАЛІТИЧНА ЧАСТИНА 10 1.1. Актуальність теми та аналіз найпопулярніших жестових мов 10 1.2. Технології розпізнавання жестів 12 1.3. Алгоритми машинного навчання в розпізнаванні жестів 14 1.3.1. Згорткові нейронні мережі (CNN) 14 1.3.2. Рекурентні нейронні мережі (RNN) 15 1.3.3. Метод опорних векторів (SVM) 16 1.3.4. Метод головних компонент (PCA) 17 1.3.5. Метод опорних точок (Landmark Detection) 18 1.3.6. Каскади класифікаторів від Адабуста 19 1.4. Підбір даних для навчання моделі ШІ 20 1.5. Обробка даних перед навчанням моделі ШІ 21 1.6. Постановка задачі 22 2 ПРОЕКТУВАННЯ ТА ОГЛЯД ТЕХНОЛОГІЙ 23 2.1. Аналіз предметної області 23 2.1.1. Значення та важливість розпізнавання жестів у комунікації 23 2.1.2. Перспективи використання штучного інтелекту для покращення розпізнавання жестів 24 2.2. Визначення вимог 25 2.3. Проектування програмної системи 26 2.3.1. Пошук акторів та варіантів використання 26 2.3.2. Огляд ключових варіантів використання 27 2.3.3. Обґрунтування вибору медотології RUP для виконання проекту 29 2.3.4. Методологія RUP для розробки моделі штучного навчання 30 2.3.5. Функціональна архітектура системи 31 2.4. Порівняльна характеристика TensorFlow та PyTorch 32 2.5. Допоміжні бібліотеки використані у кваліфікаційній роботі 34 2.5.1. Опис та основні переваги використання бібліотеки OpenCV 34 2.5.2. Опис та основні переваги використання бібліотеки Numpy 34 2.5.3. Опис та основні переваги використання бібліотеки Mediapipe 35 2.6. Основні переваги, сфери застосування та механізми роботи глибокого навчання 36 2.6.1. Як глибоке навчання досягає вражаючих результатів 36 2.6.2. Приклади глибокого навчання в роботі 37 2.6.3. Основний механізм роботи глибокого навчання 38 2.6.4. Різниця між машинним та глибоким навчанням 40 2.6.5. Вибір між машинним та глибоким навчанням 42 3 РЕЗУЛЬТАТИ РОЗРОБКИ ТА ТЕСТУВАННЯ МОДЕЛІ 43 3.1. Розподіл даних та навчання моделі 43 3.2. Тестування моделі у режимі реального часу 47 4 ОХОРОНА ПРАЦІ ТА БЕЗПЕКА В НАДЗВИЧАЙНИХ СИТУАЦІЯХ 50 4.1. Охорона праці 50 4.2. Безпека в надзвичайних ситуаціях 54 ВИСНОВКИ 59 СПИСОК ВИКОРИСТАНИХ ДЖЕРЕЛ 60 ДОДАТКИ 62 ДОДАТОК A 63 ДОДАТОК Б 66 ДОДАТОК В 71 |
| URI: | http://elartu.tntu.edu.ua/handle/lib/44480 |
| Copyright owner: | © Рудак Олександр Ігорович, 2023 |
| References (Ukraine): | 1. Жестова мова – [Електронний ресурс] – Режим доступу до ресурсу: https://uk.wikipedia.org/wiki/%D0%96%D0%B5%D1%81%D1%82%D0%BE%D0%B2%D0%B0_%D0%BC%D0%BE%D0%B2%D0%B0 2. Факти про мову жестів – [Електронний ресурс] – Режим доступу до ресурсу: https://proit.org.ua/naipopuliarnishi-bibliotieki-shi-ta-mashinnogho-navchannia-python/ 3. What is American sign language? – [Електронний ресурс] – Режим доступу до ресурсу: https://www.nidcd.nih.gov/health/american-sign-language 4. Найпопулярніші бібліотеки ШІ та машинного навчання Python – [Електронний ресурс] – Режим доступу до ресурсу: https://proit.org.ua/naipopuliarnishi-bibliotieki-shi-ta-mashinnogho-navchannia-python/ 5. Що таке глибоке навчання? – [Електронний ресурс] – Режим доступу до ресурсу: https://www.unite.ai/uk/ 6. Нейронні мережі та глибоке навчання – [Електронний ресурс] – Режим доступу до ресурсу: https://evergreens.com.ua/ua/articles/neural-network.html 7. Types of Neural Networks and Definition of Neural Network – [Електронний ресурс] – Режим доступу до ресурсу: https://www.mygreatlearning.com/blog/types-of-neural-networks/ 8. Gesture Recognition in Deep Learning: A Leap into the Future – [Електронний ресурс] – Режим доступу до ресурсу: https://medium.com/@evertongomede/gesture-recognition-in-deep-learning-a-leap-into-the-future-46f2d40b659b 9. Sign language recognition using the fusion of image and hand landmarks through multi-headed convolutional neural network – [Електронний ресурс] – Режим доступу до ресурсу: https://www.nature.com/articles/s41598-023-43852-x 10. Tensorflow – [Електронний ресурс] – Режим доступу до ресурсу: https://www.tensorflow.org/ 11. Python – [Електронний ресурс] – Режим доступу до ресурсу: https://www.python.org/ 12. ДСанПІН 3.3.2.007-98 [Електронний ресурс]. – 1998. – Режим доступу до ресурсу: https://zakon.rada.gov.ua/rada/show/v0007282-98#Text. 13. Мюллер А., Гвідо С. Введення в машинне навчання за допомогою Python. 480 с. 14. Жидецький В.Ц. Охорона праці користувачів комп’ютерів. – Львів: Афіша, 2000.– 176с. 15. Методичні вказівки до виконання атестаційної роботи магістра за спеціальністю 121 – Інженерія програмного забезпечення (Освітньо-професійна програма - «Програмне забезпечення систем», Освітньо-наукова програма - «Інженерія програмного забезпечення») для студентів усіх форм навчання / Упор.: М.Р. Петрик, Д.М. Михалик, О.Ю. Петрик, Г.Б. Цуприк - Тернопіль: ТНТУ, 2020- 51с. 16. І.Я. Мудрик, Способи комп’ютеризованого збору та аналізу параметрів анормальних неврологічних рухів. Матеріали Міжнародної науково-технічної конференції „Фундаментальні та прикладні проблеми сучасних технологій“ ТНТУ ім.І.Пулюя. 2018/5/22, 221-222. 17. «БЕЗПЕКА В НАДЗВИЧАЙНИХ СИТУАЦІЯХ» / В.С. Стручок –Тернопіль: ФОП Паляниця В. А., –156 с. 18. Навчальний посібник «ТЕХНОЕКОЛОГІЯ ТА ЦИВІЛЬНА БЕЗПЕКА. ЧАСТИНА «ЦИВІЛЬНА БЕЗПЕКА»» / автор-укладач В.С. Стручок– Тернопіль: ФОП Паляниця В. А., – 156 с. |
| Content type: | Master Thesis |
| Aparece nas colecções: | 121 — інженерія програмного забезпечення |
Ficheiros deste registo:
| Ficheiro | Descrição | Tamanho | Formato | |
|---|---|---|---|---|
| dyplom_Redchuk_O_2023.pdf | 1,31 MB | Adobe PDF | Ver/Abrir |
Todos os registos no repositório estão protegidos por leis de copyright, com todos os direitos reservados.
Ferramentas administrativas