Методи та засоби оброблення даних з врахуванням вимог якості до них

Abstract

Робота присвячена систематичному огляду сучасних програмних інструментів вимірювання та моніторингу якості даних і дослідженню розриву між теоретичними концепціями в цій галузі та їх практичною реалізацією. У роботі розглянуто теоретичні засади якості даних – визначення, основні виміри (точність, повнота, узгодженість, своєчасність) та метрики їх вимірювання. Описано процес управління якістю даних як циклічний процес, що охоплює профілювання, вимірювання, очищення та моніторинг даних. Для досягнення мети проведено систематичний пошук, у результаті якого ідентифіковано ряд програмних інструментів якості даних. Зокрема це Informatica Data Quality, Experian Pandora, Apache Griffin, DataCleaner, MobyDQ, Oracle EDQ, SAS Data Quality, Talend Open Studio та інші. Отримані результати свідчать про такі ключові висновки: більшість інструментів підтримують базове профілювання даних, тоді як багатостовпцеве профілювання та виявлення залежностей реалізовані лише в окремих рішеннях; жоден з оглянутих інструментів не реалізує повного спектра теоретично запропонованих метрик якості даних – натомість більшість пропонують механізм користувацьких бізнес-правил; моніторинг якості даних здебільшого є преміальною платною функцією в комерційних продуктах, а інструменти з відкритим кодом, орієнтовані на моніторинг, позбавлені функцій профілювання. Результати дослідження мають практичну цінність для фахівців з якості даних при виборі інструментів, а також для наукової спільноти як підґрунтя для розроблення практико-орієнтованих методологій вимірювання якості даних.

The work is devoted to a systematic review of modern software tools for measuring and monitoring data quality and to investigate the gap between theoretical concepts in this field and their practical implementation. The paper considers the theoretical foundations of data quality - definitions, basic dimensions (accuracy, completeness, consistency, timeliness) and metrics for their measurement. The data quality management process is described as a cyclical process that includes profiling, measuring, cleaning and monitoring data. To achieve the goal, a systematic search was conducted, as a result of which a number of software tools for data quality were identified. In particular, these are Informatica Data Quality, Experian Pandora, Apache Griffin, DataCleaner, MobyDQ, Oracle EDQ, SAS Data Quality, Talend Open Studio and others. The results obtained indicate the following key conclusions: most tools support basic data profiling, while multi-column profiling and dependency detection are implemented only in individual solutions; none of the reviewed tools implements the full range of theoretically proposed data quality metrics – instead, most offer a mechanism for custom business rules; data quality monitoring is mostly a premium paid feature in commercial products, and open source tools focused on monitoring lack profiling features. The results of the study have practical value for data quality professionals when choosing tools, as well as for the scientific community as a basis for developing practice-oriented methodologies for measuring data quality.