Метод і засіб узгодження потоку латентного простору DDSP-WORLD вокодера

Abstract

Кваліфікаційна робота присвячена розробці методу синтезу співочого голосу на основі глибинного навчання. Основну увагу зосереджено на поєднанні генеративного моделювання в латентному просторі з диференційовною цифровою обробкою аудіосигналів з метою досягнення високої якості синтезу за обмежених обчислювальних ресурсів. У першому розділі кваліфікаційної роботи виконано аналітичний огляд задач синтезу мовлення та синтезу співочого мовлення. Розглянуто сучасні моделі синтезу співочого голосу, зокрема підходи на основі варіаційних, дифузійних та потокових моделей. Проаналізовано сучасні TTS-моделі, що використовують узгодження потоку, а також існуючі вокодери. Окрему увагу приділено методам теселяції латентного простору та залишковому векторному квантуванню. Обґрунтовано актуальність досліджуваної задачі. У другому розділі кваліфікаційної роботи викладено теоретичні основи запропонованого підходу. Описано метод узгодження потоку векторного поля, його модифіковані функції втрат та умовні варіанти, а також механізми узгодження умовних ознак. Наведено архітектуру генеративної моделі та аудіо-автокодера, що включає енкодер, залишкове векторне квантування та декодер із DDSP-WORLD вокодером. Також розглянуто архітектуру змагально-генеративної моделі та модель ознак музичної партитури, зокрема енкодери фонемних і нотних ознак, модель часового зсуву та модель тривалості. У третьому розділі кваліфікаційної роботи описано практичну реалізацію запропонованого методу. Наведено характеристики використаного набору даних та процес оптимізації параметрів моделі. Проведено аналіз експериментальних результатів, абляційне оцінювання окремих компонентів архітектури та узагальнений аналіз отриманих результатів. Окремий підрозділ присвячено візуалізації роботи моделі та аналізу роботи енкодера частоти основного тону. У четвертому розділі кваліфікаційної роботи розглянуто питання охорони праці та безпеки в надзвичайних ситуаціях. Проаналізовано вплив шуму, ультразвуку та інфразвуку на організм людини та наведено засоби захисту від шкідливої дії акустичних факторів. Також досліджено вплив електромагнітного імпульсу на елементи DDSP-WORLD вокодера, розглянуто нормативно-правове забезпечення та методи підвищення стійкості системи до імпульсних збурень

The master’s qualification thesis is devoted to the development of a singing voice synthesis method based on deep learning. The main focus is placed on combining latent-space generative modeling with differentiable digital signal processing of audio signals in order to achieve high synthesis quality under limited computational resources. The first chapter of the thesis provides an analytical review of speech synthesis and singing voice synthesis tasks. Modern singing voice synthesis models are examined, including approaches based on variational, diffusion, and flow-based models. Contemporary TTS models employing flow matching, as well as existing vocoders, are analyzed. Special attention is given to methods of latent space tessellation and residual vector quantization. The relevance of the research problem is substantiated. The second chapter presents the theoretical foundations of the proposed approach. The method of vector field flow matching, its modified loss functions, and conditional variants are described, along with mechanisms for conditioning feature alignment. The architecture of the generative model and the audio autoencoder is presented, including the encoder, residual vector quantization, and a decoder with a DDSP-WORLD vocoder. In addition, the architecture of the adversarial generativenote encoders, the time-lag model, and the duration model. The third chapter describes the practical implementation of the proposed method. The characteristics of the dataset used and the model parameter optimization process are presented. An analysis of experimental results is conducted, including ablation studies of individual architectural components and a comprehensive evaluation of the obtained results. A separate subsection is devoted to the visualization of the model’s operation and the analysis of the fundamental frequency encoder. The fourth chapter addresses occupational safety and emergency safety issues. The effects of noise, ultrasound, and infrasound on the human body are analyzed, and protective measures against harmful acoustic factors are presented. In addition, the impact of electromagnetic pulses on the components of the DDSP-WORLD vocoder is investigated, along with the regulatory framework and methods for improving system robustness against impulsive disturbances model and the musical score feature model are discussed, including phoneme and