Розробка мобільного застосунку для навчання гри на гітарі з використанням штучного інтелекту

Abstract

Кваліфікаційна робота бакалавра, виконав Чайківський Святослав Іванович, студент групи СП-42 Тернопільського національного технічного університету імені Івана Пулюя, на тему «Розробка мобільного застосунку для навчання гри на гітарі з використанням штучного інтелекту». Робота складається зі вступу, чотирьох розділів, висновків, списку використаних джерел та додатків і має загальний обсяг 107 сторінок, включає 42 рисунки, 13 таблиць, 4 додатки та бібліографію з 37 джерел. Метою роботи є проектування та розробка мобільного застосунку "Guitarly" для платформи Android, що забезпечує інтерактивне навчання гри на гітарі з використанням технологій штучного інтелекту, зокрема методу генерації з доповненням пошуком (RAG), оркестрації агентів за допомогою LangGraph та автоматичного розпізнавання акордів у реальному часі. У роботі реалізовано мультимодульний Android-застосунок на основі принципів Clean Architecture з використанням Kotlin та Jetpack Compose. Розроблено AI-тьютор на основі RAG-пайплайну з векторною базою даних Qdrant та оркестрацією LangGraph, що забезпечує персоналізовані відповіді на запитання щодо теорії гітарної гри у режимі стрімінгу через Server-Sent Events (SSE). Реалізовано модуль автоматичного розпізнавання акордів у YouTube-відео за допомогою спеціалізованої моделі ChordMini. Розроблено бібліотеку акордів з графічними діаграмами аплікатур, цифровий метроном, хроматичний тюнер та систему челленджів. Проведено модульне та інтеграційне тестування ключових компонентів системи.

Bachelor's qualification thesis, completed by Chaikivskyi Sviatoslav Ivanovich, a student of group SP-42 at Ternopil Ivan Puluj National Technical University, is devoted to "Development of a Mobile Application for Learning to Play Guitar Using Artificial Intelligence". The thesis consists of an introduction, four chapters, conclusions, a list of references, and appendices, with a total volume of 107 pages, including 42 figures, 13 tables, 4 appendices, and a bibliography of 37 sources. The aim of the thesis is to design and develop the "Guitarly" mobile application for the Android platform, providing interactive guitar learning using artificial intelligence technologies, particularly Retrieval-Augmented Generation (RAG), agent orchestration via LangGraph, and real-time automatic chord recognition. The thesis presents a multi-module Android application built on Clean Architecture principles using Kotlin and Jetpack Compose. An AI tutor based on a RAG pipeline with the Qdrant vector database and LangGraph orchestration was developed, providing personalized responses to guitar theory questions via Server-Sent Events (SSE) streaming. A module for automatic chord recognition in YouTube videos using the specialized ChordMini model was implemented. A chord library with fingering diagrams, a digital metronome, a chromatic tuner, and a social challenges system for learner motivation were developed. Unit and integration testing of the key system components was conducted. The developed system demonstrates the practical application of modern artificial intelligence methods in the field of mobile educational applications. The architectural solutions for integrating RAG and LangGraph with an Android client via SSE streaming can be adapted for other e-learning domains.