Optimization of the architecture and hyperparameters of the U-NET model to improve the quality of biological objects segmentation

Abstract

Розглянуто задачу оптимізації архітектури та гіперпараметрів моделі U-Net для підвищення точності сегментації біологічних об’єктів на мікроскопічних зображеннях. Процес сегментації зображень розглядається як задача оптимізації параметричного відображення f : I → M , що мінімізує складену функцію втрат, яка поєднує бінарну крос-ентропію та коефіцієнт Дайса. Такий підхід забезпечує підвищену точність визначення меж обʼєктів та стійкість до дисбалансу класів. Розроблено модифіковану архітектуру U-Net з трьома рівнями кодування та декодування, що дозволяє зменшити глибину мережі без втрати точності. Такий підхід забезпечує оптимальне співвідношення між обчислювальною ефективністю, швидкістю навчання та якістю сегментації. Експериментальні дослідження проводилися на наборі мікроскопічних зображень клітин, що містять контури біологічних структур. У процесі попереднього опрацювання даних виконано налаштування масок сегментації шляхом заповнення контурів обʼєктів, що дало змогу сформувати повні цільові області замість лише контурних меж. Це суттєво підвищило стабільність навчання моделі та точність прогнозування піксельних масок. Отримані результати показали, що використання комбінованої функції втрат дозволяє отримати кращі метрики якості при навчанні моделі й середнього індексу Дайса 0,9037 на валідаційному наборі, що перевищує результати, отримані при використанні лише бінарної перехресної ентропії. Оптимізатор Adam забезпечив кращу збіжність та стабільність результатів порівняно з RMSProp, підтверджуючи його ефективність для сегментації на обмежених наборах даних. Запропонований підхід дозволяє зменшити глибину моделі без втрати точності сегментації й може бути використаний для автоматизованого аналізу клітинних структур, оцінювання морфологічних змін і розроблення систем компʼютерної діагностики у біомедичних дослідженнях.

The paper addresses the optimization of the U-Net architecture and hyperparameters to improve the segmentation accuracy of biological objects in microscopic images. Image segmentation is formalized as the optimization of a parametric mapping that minimizes a compound loss function combining binary cross-entropy and the Dice coefficient, ensuring better boundary detection and robustness to class imbalance. A modified U-Net with three encoding and decoding levels was developed to balance computational efficiency and segmentation quality. During preprocessing, segmentation masks were refined by filling object contours, which improved model stability and mask accuracy. Experiments on microscopic cell images showed that the combined loss function achieved a mean Dice index of 0.9037, outperforming binary cross-entropy alone. The Adam optimizer provided better convergence and stability than RMSProp, confirming its effectiveness for small datasets. The proposed approach can be applied to automated cell analysis and biomedical diagnostic systems.