Використання генеративної моделі stable diffusion для аугментації даних і поліпшення якості сегментації зображень

Abstract

У першому розділі розглянуті основні методи сегментації зображень, а також різні підходи до аугментації зображень. Висвітлена дифузійна модель генерації зображень Stable Diffusion, показаний принцип її роботи та основні компоненти. описані її переваги в порівнянні з іншими моделями. У другому розділі наведена структура експериментів, описана підготовка моделі для завдання семантичної сегментації. Для вирішення задачі семантичної сегментації обрано повнозгорткову нейронну мережу U-Net. Оцінка ефективності моделей здійснюється за допомогою метрик IoU та Accuracy. Розглянуто та реалізовано спосіб розширення обмеженої тренувальної вибірки із використанням функції «Inpaint», яка дозволяє виділяти маскою окремі частини зображення та змінювати їх з урахуванням текстового запиту. За допомогою даного методу обмежена тренувальна вибірка була збільшена зі 100 зображень до 1100. У третьому розділі проведені експерименти з навчанням моделі U-Net на різних тренувальних вибірках та проведено порівняння результатів, а також надано рекомендації використанню Stable Diffusion та змальовано можливості покращення експериментів. У четвертому розділі описані важливі питання безпеки життєдіяльності та основ охорони праці.

The first section discusses the main methods of image segmentation, as well as various approaches to image augmentation. The diffusion model of image generation Stable Diffusion is highlighted, the principle of its operation and main components are shown. Its advantages compared to other models are described. The second section presents the structure of the experiments, describes the preparation of the model for the semantic segmentation task. The fully convolutional neural network U-Net was chosen to solve the semantic segmentation task. The effectiveness of the models is assessed using the IoU and Accuracy metrics. A method for expanding the limited training sample using the “Inpaint” function is considered and implemented, which allows you to select individual parts of the image with a mask and change them taking into account the text query. Using this method, the limited training sample was increased from 100 images to 1100. In the third section, experiments were conducted with training the U-Net model on different training samples and a comparison of the results was made, as well as recommendations for using Stable Diffusion and possibilities for improving the experiments were outlined. In chapter 4, important issues of life safety and the basics of labor protection are described..