Будь ласка, використовуйте цей ідентифікатор, щоб цитувати або посилатися на цей матеріал:
http://elartu.tntu.edu.ua/handle/lib/44480| Назва: | Дослідження здатності штучного інтелекту до розпізнавання жестової мови |
| Інші назви: | Study of the ability of artificial intelligence to recognize sign language |
| Автори: | Редчук, Олександр Ігорович Redchuk, Oleksandr |
| Приналежність: | Тернопільський національний технічний університет імені Івана Пулюя |
| Бібліографічний опис: | Редчук О. І. Дослідження здатності штучного інтелекту до розпізнавання жестової мови : кваліфікаційна робота на здобуття освітнього ступеня магістр за спеціальністю „121 — інженерія програмного забезпечення“ / О. І. Редчук. — Тернопіль: ТНТУ, 2023. — 71 с. |
| Дата публікації: | гру-2023 |
| Дата подання: | гру-2023 |
| Дата внесення: | 6-лют-2024 |
| Видавництво: | Тернопільський національний технічний університет імені Івана Пулюя |
| Країна (код): | UA |
| Місце видання, проведення: | Тернопіль |
| Науковий керівник: | Мудрик, Іван Ярославович |
| Члени комітету: | Тиш, Євгенія Володимирівна |
| УДК: | 004.9 |
| Теми: | 121 інженерія програмного забезпечення sign language artificial intelligence gesture recognition neural network deep learning TensorFlow Python |
| Кількість сторінок: | 71 |
| Короткий огляд (реферат): | Метою кваліфікаційної роботи є розробка та навчання моделі штучного інтелекту, що зможе розпізнавати знаки жестової мови.
В роботі було проведено аналіз предметної області та визначено основні етапи для розробки моделі машинного навчання, обґрунтовано вибір технологій, описано процеси та принципи роботи нейронних мереж та продемонстровано наявні результати роботи навченої моделі. The purpose of the qualification work is to develop and train an artificial intelligence model that can recognize sign language signs. The work analyzes the subject area and identifies the main stages for developing a machine learning model, justifies the choice of technologies, describes the processes and principles of neural networks, and demonstrates the existing results of the trained model. |
| Зміст: | ЗМІСТ АНОТАЦІЯ 4 SUMMARY 5 ЗМІСТ 6 ВСТУП 8 1 АНАЛІТИЧНА ЧАСТИНА 10 1.1. Актуальність теми та аналіз найпопулярніших жестових мов 10 1.2. Технології розпізнавання жестів 12 1.3. Алгоритми машинного навчання в розпізнаванні жестів 14 1.3.1. Згорткові нейронні мережі (CNN) 14 1.3.2. Рекурентні нейронні мережі (RNN) 15 1.3.3. Метод опорних векторів (SVM) 16 1.3.4. Метод головних компонент (PCA) 17 1.3.5. Метод опорних точок (Landmark Detection) 18 1.3.6. Каскади класифікаторів від Адабуста 19 1.4. Підбір даних для навчання моделі ШІ 20 1.5. Обробка даних перед навчанням моделі ШІ 21 1.6. Постановка задачі 22 2 ПРОЕКТУВАННЯ ТА ОГЛЯД ТЕХНОЛОГІЙ 23 2.1. Аналіз предметної області 23 2.1.1. Значення та важливість розпізнавання жестів у комунікації 23 2.1.2. Перспективи використання штучного інтелекту для покращення розпізнавання жестів 24 2.2. Визначення вимог 25 2.3. Проектування програмної системи 26 2.3.1. Пошук акторів та варіантів використання 26 2.3.2. Огляд ключових варіантів використання 27 2.3.3. Обґрунтування вибору медотології RUP для виконання проекту 29 2.3.4. Методологія RUP для розробки моделі штучного навчання 30 2.3.5. Функціональна архітектура системи 31 2.4. Порівняльна характеристика TensorFlow та PyTorch 32 2.5. Допоміжні бібліотеки використані у кваліфікаційній роботі 34 2.5.1. Опис та основні переваги використання бібліотеки OpenCV 34 2.5.2. Опис та основні переваги використання бібліотеки Numpy 34 2.5.3. Опис та основні переваги використання бібліотеки Mediapipe 35 2.6. Основні переваги, сфери застосування та механізми роботи глибокого навчання 36 2.6.1. Як глибоке навчання досягає вражаючих результатів 36 2.6.2. Приклади глибокого навчання в роботі 37 2.6.3. Основний механізм роботи глибокого навчання 38 2.6.4. Різниця між машинним та глибоким навчанням 40 2.6.5. Вибір між машинним та глибоким навчанням 42 3 РЕЗУЛЬТАТИ РОЗРОБКИ ТА ТЕСТУВАННЯ МОДЕЛІ 43 3.1. Розподіл даних та навчання моделі 43 3.2. Тестування моделі у режимі реального часу 47 4 ОХОРОНА ПРАЦІ ТА БЕЗПЕКА В НАДЗВИЧАЙНИХ СИТУАЦІЯХ 50 4.1. Охорона праці 50 4.2. Безпека в надзвичайних ситуаціях 54 ВИСНОВКИ 59 СПИСОК ВИКОРИСТАНИХ ДЖЕРЕЛ 60 ДОДАТКИ 62 ДОДАТОК A 63 ДОДАТОК Б 66 ДОДАТОК В 71 |
| URI (Уніфікований ідентифікатор ресурсу): | http://elartu.tntu.edu.ua/handle/lib/44480 |
| Власник авторського права: | © Рудак Олександр Ігорович, 2023 |
| Перелік літератури: | 1. Жестова мова – [Електронний ресурс] – Режим доступу до ресурсу: https://uk.wikipedia.org/wiki/%D0%96%D0%B5%D1%81%D1%82%D0%BE%D0%B2%D0%B0_%D0%BC%D0%BE%D0%B2%D0%B0 2. Факти про мову жестів – [Електронний ресурс] – Режим доступу до ресурсу: https://proit.org.ua/naipopuliarnishi-bibliotieki-shi-ta-mashinnogho-navchannia-python/ 3. What is American sign language? – [Електронний ресурс] – Режим доступу до ресурсу: https://www.nidcd.nih.gov/health/american-sign-language 4. Найпопулярніші бібліотеки ШІ та машинного навчання Python – [Електронний ресурс] – Режим доступу до ресурсу: https://proit.org.ua/naipopuliarnishi-bibliotieki-shi-ta-mashinnogho-navchannia-python/ 5. Що таке глибоке навчання? – [Електронний ресурс] – Режим доступу до ресурсу: https://www.unite.ai/uk/ 6. Нейронні мережі та глибоке навчання – [Електронний ресурс] – Режим доступу до ресурсу: https://evergreens.com.ua/ua/articles/neural-network.html 7. Types of Neural Networks and Definition of Neural Network – [Електронний ресурс] – Режим доступу до ресурсу: https://www.mygreatlearning.com/blog/types-of-neural-networks/ 8. Gesture Recognition in Deep Learning: A Leap into the Future – [Електронний ресурс] – Режим доступу до ресурсу: https://medium.com/@evertongomede/gesture-recognition-in-deep-learning-a-leap-into-the-future-46f2d40b659b 9. Sign language recognition using the fusion of image and hand landmarks through multi-headed convolutional neural network – [Електронний ресурс] – Режим доступу до ресурсу: https://www.nature.com/articles/s41598-023-43852-x 10. Tensorflow – [Електронний ресурс] – Режим доступу до ресурсу: https://www.tensorflow.org/ 11. Python – [Електронний ресурс] – Режим доступу до ресурсу: https://www.python.org/ 12. ДСанПІН 3.3.2.007-98 [Електронний ресурс]. – 1998. – Режим доступу до ресурсу: https://zakon.rada.gov.ua/rada/show/v0007282-98#Text. 13. Мюллер А., Гвідо С. Введення в машинне навчання за допомогою Python. 480 с. 14. Жидецький В.Ц. Охорона праці користувачів комп’ютерів. – Львів: Афіша, 2000.– 176с. 15. Методичні вказівки до виконання атестаційної роботи магістра за спеціальністю 121 – Інженерія програмного забезпечення (Освітньо-професійна програма - «Програмне забезпечення систем», Освітньо-наукова програма - «Інженерія програмного забезпечення») для студентів усіх форм навчання / Упор.: М.Р. Петрик, Д.М. Михалик, О.Ю. Петрик, Г.Б. Цуприк - Тернопіль: ТНТУ, 2020- 51с. 16. І.Я. Мудрик, Способи комп’ютеризованого збору та аналізу параметрів анормальних неврологічних рухів. Матеріали Міжнародної науково-технічної конференції „Фундаментальні та прикладні проблеми сучасних технологій“ ТНТУ ім.І.Пулюя. 2018/5/22, 221-222. 17. «БЕЗПЕКА В НАДЗВИЧАЙНИХ СИТУАЦІЯХ» / В.С. Стручок –Тернопіль: ФОП Паляниця В. А., –156 с. 18. Навчальний посібник «ТЕХНОЕКОЛОГІЯ ТА ЦИВІЛЬНА БЕЗПЕКА. ЧАСТИНА «ЦИВІЛЬНА БЕЗПЕКА»» / автор-укладач В.С. Стручок– Тернопіль: ФОП Паляниця В. А., – 156 с. |
| Тип вмісту: | Master Thesis |
| Розташовується у зібраннях: | 121 — інженерія програмного забезпечення |
Файли цього матеріалу:
| Файл | Опис | Розмір | Формат | |
|---|---|---|---|---|
| dyplom_Redchuk_O_2023.pdf | 1,31 MB | Adobe PDF | Переглянути/відкрити |
Усі матеріали в архіві електронних ресурсів захищені авторським правом, всі права збережені.
Інструменти адміністратора