Distance measures-based information technology for identifying similar data series

Abstract

Метою є розроблення та реалізація технології визначення схожих рядів даних, а також її апробація на рядах даних, представлених гідрологічними показниками. Предметом дослідження є методи та підходи визначення схожих рядів даних. Об'єктом дослідження є процес визначення схожих рядів даних, представлених певними показниками. Завдання: запропонувати й реалізувати міри відстані, одна з яких враховує схожість між значеннями рядів даних та їх зв’язок, а друга – заснована на зваженій евклідовій відстані, але з урахуванням необхідності актуалізації даних, які є важливішими за певних умов задачі. Реалізувати технологію визначення схожих рядів даних, представлених певними показниками. Для стійкішого розв’язку реалізувати процедуру визначення набору схожих рядів на підставі отриманих результатів за кожною окремою відстанню. Проаналізувати отримані результати та зробити висновки щодо можливості практичного використання технології. Використовуваними методами є методи статистичного аналізу, методи обчислення відстаней та схожості між рядами. Отримані результати реалізовано технологію визначення схожих рядів даних. Як складову технології реалізовано дві запропоновані й описані міри відстаней. Реалізовано процедуру визначення набору схожих рядів за отриманими значеннями відстаней. Наукова новизна: описано та застосовано евклідову зважену відстань з урахуванням актуальності даних. Описано та застосовано нову міру відстані, яка дозволяє врахувати як ступінь подібності між значеннями рядів, так і їх кореляційний зв’язок. Розроблено технологію визначення схожих рядів за множиною обраних відстаней. Практична значущість розробленої та реалізованої технології полягає в таких можливостях: застосування на рядах даних різних прикладних областей; проведення оцінювання та визначення схожих рядів, зокрема як проміжний етап аналізу. Крім того, запропоновані міри відстані дозволяють підвищити якість визначення схожих рядів або їх групування. Подальші дослідження планується спрямувати на дослідження можливостей подовження рядів даних та поповнення пропусків за значеннями показників інших рядів, визначених як схожі.

The aim of the work is to develop and implement a technology for identifying similar series, and to test on series of data represented by hydrological samples. The subject of the study is the methods and approaches for identifying similar series. The object of the study is the process of identifying similar series, which are represented by certain indicators. The task is to propose and implement distance measures, where one of them takes into consideration the similarity between the values of the series and their relationship, and another is based on a weighted Euclidean distance taking into account the need to actualize the values that are the most important under certain conditions of the task; to implement a technology to find similar series represented by certain indicators values; to obtain a more resilient solution, to implement a procedure for determining a set of similar series based on the results obtained for each individual distance; the results should be analyzed and the conclusions have to be drawn dealing with practical application of the technology. The following methods were used: statistical analysis methods, methods for calculating distances, and similarity between data series. The following results were obtained: the technology for similar data series detection has been implemented; two distance measures were proposed and described as a part of the technology implemented; a procedure for determining a set of similar rows was implemented that was based on the obtained distances calculation. The scientific novelty of the research under discussion involves: Euclidean weighted distance was described and applied taking into account the actuality of data series values; a new measure of distance has been described and applied that allows both the degree of similarity between the values of the series and their correlation to be taken into account, as well as a technique has been developed for determining similar series from a set of selected distance measures. The practical importance of the developed and implemented technology consists in the following possibilities application to data series of different applied fields: conducting an assessment and identifying some similar series, in particular as an intermediate step in the analysis; in addition, the proposed distance measures improve the quality of identifying similar data series. In our further research, we plan to investigate the possibilities of lengthening the data series and filling in the gaps with values from other series defined as similar ones.