Методи та інструменти побудови комп'ютерних систем аналізу і перетворнення текстових повідомлень в аудіопотік

Abstract

У кваліфікаційній роботі магістра на основі аналізу таксономії процесів перетворення текстових повідомлень в аудіопотік визначено потенційні способи розвитку існуючих нейромережевих моделей, зокрема, в контексті застосування методів машинного навчання для підвищення якості попереднього опрацювання тексту, перетворення графем у фонеми, а також забезпечення можливості їх прогнозування на основі попередньо навчених нейронних моделей. Запропоновано архітектуру нейронної мережі до складу якої входить енкодер на базі трансформерів, які забезпечують зменшення розмірності вхідної матриці фонем у 4 рази та добувають фонетичні властивості, а також декодер, який сформований з блоків визначення акустичних властивостей, зокрема енергії, тривалості і висоти звуку, та блоків декодування властивостей аудіосигналу. Розроблено системний програмний додаток для забезпечення трансляції текстових повідомлень в аудіосигнал з використанням мови програмування Python та проведено експерименти на Raspberry PI 4.

In the master's qualification work, based on the analysis of the taxonomy of the processes of converting text messages into an audio stream, potential ways of developing existing neural network models are identified, in particular, in the context of the application of machine learning methods to improve the quality of pre-processing of text, converting graphemes into phonemes, as well as ensuring the possibility of their prediction based on pre-trained neural models. The architecture of a neural network is proposed, which includes an encoder based on transformers that provide a 4-fold reduction in the dimensionality of the input phoneme matrix and extract phonetic properties, as well as a decoder that is formed from blocks for determining acoustic properties, in particular energy, duration and pitch of sound, and blocks decoding of audio signal properties. A system software application was developed to ensure the translation of text messages into an audio signal using the Python programming language, and experiments were conducted on Raspberry PI 4.