Розробка програмної системи для апскейлінгу відеопотоку з використанням методів глибокого навчання та часової узгодженості кадрів

Abstract

Метою роботи є проєктування та розробка програмної системи, яка підвищує роздільну здатність зображень і відеопотоку методами глибокого навчання та зменшує міжкадрове мерехтіння за рахунок забезпечення часової узгодженості кадрів. У першому розділі проаналізовано предметну область підвищення роздільної здатності, розглянуто еволюцію методів глибокого навчання для суперроздільності та проблему часової узгодженості у відео, виконано огляд програмних аналогів, визначено акторів і варіанти використання, сформульовано вимоги до системи та критерії успішності. У другому розділі обґрунтовано вибір процесу й засобів розробки, спроєктовано архітектуру системи та місце в ній компонентів глибокого навчання, описано структури даних, об'єктно-орієнтовану модель і веб-інтерфейс взаємодії. У третьому розділі описано реалізацію та інтеграцію переднавчених моделей, реалізацію модуля часової узгодженості на основі оптичного потоку, наведено результати функціонального й навантажувального тестування, оцінювання якості за метриками та розгортання системи. У четвертому розділі розглянуто питання безпеки життєдіяльності та основ охорони праці, пов'язані з робочим місцем розробника програмного забезпечення. Об'єктом дослідження є процес підвищення роздільної здатності зображень та відеопотоку засобами глибокого навчання. Предметом дослідження є методи, моделі та програмні засоби апскейлінгу відео на основі генеративно-змагальних мереж із забезпеченням часової узгодженості кадрів. Методи дослідження: аналіз програмних аналогів, проєктування архітектури програмного забезпечення, методи глибокого навчання для суперроздільності, оцінювання оптичного потоку для часової стабілізації, експериментальне оцінювання якості за метриками PSNR, SSIM і LPIPS, модульне та інтеграційне тестування.

The purpose of the work is to design and develop a software system that increases the resolution of images and video streams with deep learning methods and reduces inter-frame flicker by enforcing temporal frame consistency. The first chapter analyses the problem domain of resolution enhancement, reviews the evolution of deep learning methods for super-resolution and the temporal consistency problem in video, surveys software analogues, defines actors and use cases, and states the system requirements and success criteria. The second chapter justifies the development process and toolset, designs the system architecture and the place of the deep learning components within it, and describes the data structures, the object-oriented model and the web interaction interface. The third chapter describes the implementation and integration of the pretrained models, the optical-flow-based temporal consistency module, the results of functional and load testing, the quality evaluation against metrics, and the system deployment. The fourth chapter addresses life safety and occupational health issues related to a software developer's workplace. The object of the study is the process of increasing the resolution of images and video streams by deep learning methods. The subject of the study is the methods, models and software tools for video upscaling based on generative adversarial networks with temporal frame consistency. Research methods: analysis of software analogues, software architecture design, deep learning methods forsuper-resolution, optical flow estimation for temporal stabilisation, experimental quality evaluation using the PSNR, SSIM and LPIPS metrics, unit and integration testing