Проєктування програмного забезпечення AI агента для телефонного консультування абітурієнтів з використанням технологій Asterisk та Google Live API

Abstract

Пояснювальна записка містить: 66 сторінок, 19 рисунків, 25 джерел та 3 додатки. Об'єкт дослідження: процес розробки та інтеграції інтелектуального голосового асистента для обробки телефонних запитів користувачів у режимі реального часу. Мета: розробити повнофункціональну програмно-апаратну систему, яка дозволяє автоматизувати процес телефонного консультування абітурієнтів, зменшити навантаження на працівників приймальної комісії та забезпечити високу якість обслуговування завдяки природній взаємодії. Сучасні заклади вищої освіти стикаються з великим обсягом однотипних запитів під час вступних кампаній. Використання традиційних систем голосового меню (IVR) часто є недостатньо гнучким інструментом. Особливої актуальності набуває впровадження інтелектуальних голосових агентів на базі сучасних мультимодальних моделей штучного інтелекту, які здатні вести живий діалог, розпізнавати наміри користувача та адаптуватися до контексту розмови. У межах цієї роботи розглянуто процес створення голосового асистента з інтеграцією моделі Google Gemini (Native Audio) та відкритої IP-АТС Asterisk. Реалізовано функціонал двосторонньої потокової передачі та ресемплінгу аудіоданих через інтерфейс AudioSocket і WebSockets, налаштовано системну логіку консультування для приймальної комісії ТНТУ, а також розроблено модуль логування та транскрибації діалогів.

The explanatory note contains: 66 pages, 19 figures, 25 references, and 3 appendices. Research object: the process of developing and integrating an intelligent voice assistant for processing user telephone inquiries in real time. Objective: to develop a fully functional software-hardware system that automates the process of telephone counseling for applicants, reduces the workload on admissions committee staff, and ensures high-quality service through natural interaction. Modern higher education institutions face a large volume of repetitive inquiries during admissions campaigns. The use of traditional interactive voice response (IVR) systems is often not a flexible enough tool. The implementation of intelligent voice agents based on modern multimodal artificial intelligence models, which are capable of conducting a live dialogue, recognizing user intent, and adapting to the context of the conversation, is becoming particularly relevant. This work examines the process of creating a voice assistant by integrating the Google Gemini (Native Audio) model with the open-source Asterisk IP-PBX. Functionality for two-way streaming and resampling of audio data via the AudioSocket and WebSockets interfaces has been implemented, and the system logic for advising the TNTU Admissions Committee has been configured.