Інтеграція технологій віртуальної реальності в систему інтерактивного навчання

Abstract

Кваліфікаційна робота присвячена вирішенню завдання інтеграції технологій віртуальної реальності (підсистеми розпізнавання мовлення, бездротового контролера, пристрою віртуальної реальності, підсистеми завантаження нового контенту) в систему інтерактивного навчання. Проведено аналіз існуючих систем навчання у віртуальній реальності, описано способи інтеграції програмних систем. Інтеграція підсистем та пристроїв у систему інтерактивного навчання проходитиме за гібридною топологією. Система інтерактивного навчання побудована на основі клієнт-серверної архітектури. Завдяки проведеному аналізу вибрано пристрій віртуальної реальності Samsung Gear VR та систему розпізнавання мовлення PocketSphinx. Програма для відображення навчального контенту створена із використанням середовища Unity для мобільної платформи Android, використано відкритий вихідний код PocketSphinx, виконаний в Android Studio. Розроблено посібник для реалізації інтеграції технологій віртуальної реальності до проекту Unity. Перевагою запропонованих програмних додатків є можливість паралельної роботи підсистем, це дає змогу позбутися зависання програми. Thesis deals with the solving the problem of integrating virtual reality technologies (speech recognition subsystem, wireless controller, virtual reality device, subsystem of downloading new content) into the interactive learning system. The analysis of the existing training systems in virtual reality was carried out, the methods of integration of software systems were described. The integration of subsystems and devices into the interactive learning system will be based on a hybrid topology. The interactive learning system is built on the basis of client-server architecture. Thanks to the analysis, the Samsung Gear VR virtual reality device and the PocketSphinx speech recognition system were selected. The program for displaying educational content was created using the Unity environment for the Android mobile platform, using the open source code of PocketSphinx, developed in Android Studio. A manual has been developed for implementing the integration of virtual reality technologies into the Unity project. The advantage of the proposed software applications is the possibility of parallel operation of subsystems, this makes it possible to get rid of program hangs.