Програмна система для автоматичної сегментації динамічних фрагментів у відеозаписах за допомогою методів машинного навчання

Abstract

Кваліфікаційна робота бакалавра, виконана Вонсович Олександром Петровичем, студентом групи СП-41 Тернопільського національного технічного університету, присвячена розробці програми для автоматичної сегментації динамічних фрагментів у відеозаписах за допомогою методів машинного навчання. Обсяг роботи становить 85 сторінок, містить 19 рисунків, 2 додатки та список використаних джерел з 22 позицій. Метою дослідження є створення інструменту, який дозволяє автоматично виявляти та сегментувати динамічні моменти у відео з використанням сучасних архітектур нейронних мереж. У процесі роботи було сформовано датасет з відеофрагментів, виконано його фрагментацію та балансування. Для розв'язання поставленої задачі реалізовано та порівняно дві моделі: тривимірну згорткову нейронну мережу (3D CNN) та трансформер-архітектуру Timesformer. Оцінку якості моделей проведено за допомогою метрик класифікації, серед яких confusion matrix, macro precision, macro recall, macro F1 score, balanced accuracy, ROC-AUC та precision-recall curve. Додатково здійснено візуальний аналіз результатів сегментації на тестових відео. За результатами порівняння встановлено, що трансформер-модель продемонструвала вищу точність класифікації, здатність адаптивно розпізнавати динамічні рухи навіть поза межами навчального набору даних, та потенціал для подальшого донавчання. Отримані результати засвідчують доцільність подальшого розвитку системи шляхом розширення навчального датасету, оптимізації моделей та реалізації зручного графічного інтерфейсу для інтерактивного завантаження і обробки відеофайлів.

The bachelor’s qualification thesis, completed by Vonsovych Oleksandr Petrovych, a student of group SP-41 at Ternopil National Technical University, is dedicated to the development of a program for the automatic segmentation of dynamic fragments in video recordings using machine learning methods. The volume of the work comprises 85 pages, includes 19 figures, 2 appendices, and a list of references containing 22 sources. The aim of the research is to create a tool that enables the automatic detection and segmentation of dynamic moments in video content by employing modern neural network architectures. In the course of the study, a dataset of video fragments was compiled, followed by its segmentation and balancing. To address the task, two models were implemented and compared: a three-dimensional convolutional neural network (3D CNN) and a transformer-based architecture, Timesformer. The quality of the models was evaluated using classification metrics, including the confusion matrix, macro precision, macro recall, macro F1 score, balanced accuracy, ROC-AUC, and the precision-recall curve. Additionally, a visual analysis of segmentation results on test videos was conducted. The comparative results demonstrated that the transformer model achieved higher classification accuracy, an ability to adaptively recognize dynamic movements even beyond the boundaries of the training dataset, and promising potential for further fine-tuning. The obtained results confirm the feasibility of further system development through the expansion of the training dataset, optimization of the models, and the implementation of a convenient graphical interface for interactive uploading and processing of video files.