Методи забезпечення якості даних при проектуванні систем машинного навчання

Abstract

У дипломній роботі магістра досліджено методи забезпечення та оцінювання якості даних при проектуванні систем машинного навчання, що дало змогу підвищити ефективність результатів інтелектуального аналізу. Основними задачами дипломної роботи є аналіз наукових публікацій та стандартів в галузі забезпечення якості даних для визначення сучасного стану та шляхів удосконалення існуючих моделей якості даних та інтеграції їх у процеси проектування систем машинного навчання, обґрунтування та формалізація моделі якості даних для підвищення якості проектування систем машинного навчання, визначення атрибутів якості даних для систем машинного навчання, розробка методу забезпечення та оцінювання якості даних на основі моделі якості даних ISO/IEC 25012, розробка програмного засобу для формування критеріїв якості даних та проведення відповідного оцінювання їх якості Розроблено метод забезпечення та оцінювання якості даних на основі моделі якості даних ISO/IEC 25012, досліджено методи підвищення якості даних та методи розрахунку вагових коефіцієнтів для атрибутів якості даних на основі експертних технологій. У роботі визначено вимоги до програмного засобу підтримки методу забезпечення та оцінювання якості даних, спроектовано архітектуру та реалізовано його на основі технологій PHP та MySQL. Це дало можливість автоматизувати процеси забезпечення та оцінювання якості даних при проектуванні систем машинного навчання.

In the diploma paper, the methods of providing and assessing the quality of data in the design of systems of machine learning were investigated, which enabled to increase the efficiency of the results of the intellectual analysis. The main objectives of the thesis are to analyze scientific publications and standards in the field of data quality assurance in order to determine the current state and ways of improving the existing models of data quality and integrate them into the processes of designing machine learning systems, substantiation and formalization of the data quality model for improving the quality of designing machine learning systems, definition of data quality attributes for machine learning systems, development of data quality assurance and evaluation methodology based on data quality model ISO/IEC 25012 , the development of software for the formation of criteria for the quality of data and conducting an appropriate assessment of their quality. The method of data quality assurance and evaluation based on the data quality model ISO/IEC 25012 was developed, methods of data quality improvement and methods of calculating weight factors for data quality attributes based on expert technologies were investigated. The work defines the requirements for software support for the method of data quality assurance and evaluation, architecture is designed and implemented on the basis of PHP and MySQL technologies. This made it possible to automate the processes of ensuring and assessing the quality of data when designing machine learning systems.