Розробка програмного забезпечення моделі генерації текстових описів зображень на основі Vision-Language підходів

Abstract

Розробка моделі машинного навчання для генерації текстових описів зображень на основі Vision-Language підходів // Кваліфікаційна робота освітнього рівня «Бакалавр» // Мигаль Зоряна Ярославівна // Тернопільський національний технічний університет імені Івана Пулюя, факультет комп’ютерно-інформаційних систем і програмної інженерії, кафедра програмної інженерії, група СП-42 // Тернопіль, 2026 // С. 63, рис. – 19, табл. – 7, додат. – 2, бібліогр. – 25. Ключові слова: машинне навчання; глибинне навчання; Vision-Language модель; генерація текстових описів зображень; image captioning; комп’ютерний зір; штучний інтелект; BLIP; Transformer; MS COCO.

Кваліфікаційна робота присвячена розробці моделі машинного навчання для генерації текстових описів зображень на основі Vision-Language підходів. Проведено аналіз сучасних моделей і наборів даних для задачі image captioning, реалізовано та протестовано модель генерації описів зображень. У роботі розглянуто особливості поєднання методів комп’ютерного зору та обробки природної мови для створення мультимодальних систем. Також виконано оцінювання якості згенерованих описів із використанням сучасних метрик, що дозволило визначити ефективність запропонованого підходу. Об’єкт дослідження — процес автоматичної генерації текстових описів зображень. Предмет дослідження — методи та моделі Vision-Language для задачі image captioning. Практичним результатом є програмна система, що автоматично формує текстові описи зображень і може застосовуватися в системах доступності, пошуку та аналізу візуального контенту.

Development of a Machine Learning Model for Image Caption Generation Based on Vision-Language Approaches // Bachelor's Qualification Thesis // Zoriana Myhal // Ternopil Ivan Puluj National Technical University, Faculty of Computer Information Systems and Software Engineering, Department of Software Engineering, Group SP-42 // Ternopil, 2026 // P. 63, fig. – 19, tabl. – 7, annexes – 2, references – 25. Keywords: machine learning; deep learning; Vision-Language model; image captioning; computer vision; artificial intelligence; BLIP; Transformer; MS COCO.

The qualification thesis is devoted to the development of a machine learning model for image caption generation based on Vision-Language approaches. An analysis of modern models and datasets for the image captioning task was conducted, and an image caption generation model was implemented and tested. The thesis examines the integration of computer vision and natural language processing methods for building multimodal systems. The quality of generated captions was evaluated using modern evaluation metrics, which made it possible to assess the effectiveness of the proposed approach. The object of research is the process of automatic image caption generation. The subject of research is Vision-Language methods and models for the image captioning task. The practical result of the thesis is a software system capable of automatically generating textual descriptions of images. The developed solution can be applied in accessibility systems, image retrieval systems, and visual content analysis applications.