Розробка системи для ідентифікації аномальних даних

Abstract

У зв’язку з тим, що здійнюється перехід людства від інформаційних технологій до технологій даних, то у роботі розглянуто підхід до розробки програмного забезпечення на основі інтелектуалізованих алгоритмів, зокрема, алгоритмів машинного навчання: однокласового методу опорних векторів, ізольованого лісу, методу головних компонент, різного роду статистичних критеріїв, зокрема, статистичного критерію Грабба. Також у даній роботі виконано консолідацію цих алгоритмів машинного навчання, що наведені вище на основі їх голосування по принципу простого голосування. Тобто, в основі програмного забезпечення виконистано ансамблювання вище наведених алгоритмів машинного навчання на основі простого голосування для вирішення прикладного завдання – детектування аномальних даних у наперед заданому наборі даних. Під аномальними даними у даній роботі маються на увазі дані, які представляють собою статистичні викиди у вибірці даних, саме тому використовуються статистичні тести – статистичний тест Грабба. Технологічні інструменти, які використані у даній роботі – це є програмні інструменти, накшталт, технології програмування пайтон та ряду бібліотек із дистрибутиву анаконди таких, як scikit-learn, pyod, pandas, numpy, тощо. Теоретичною основою роботи є використання основної топологічної гіпотези, що статистичні викиди, тобто аномальні дані у наборі даних (вибірці даних) топологічно є ізольованими у конфігураційному (фазовому) просторі даних у якому координатні вісі інтерпритуються, як характеристики даних. Предметна область для якої рохглядається застосування вище наведеної програмної розробки – це детектування аномальних обєктів нерухомості на ринку нерухомості.

In connection with the fact that humanity is transitioning from information technologies to data technologies, the paper considers an approach to software development based on intellectualized algorithms, in particular, machine learning algorithms: one-class method of support vectors, isolated forest, method of principal components, various statistical criteria, in particular, Grubb's statistical criterion. Also, in this work, the consolidation of these machine learning algorithms, which are given above, is performed on the basis of their voting according to the principle of simple voting. That is, the basis of the software is the ensemble of the above-mentioned machine learning algorithms based on simple voting to solve the applied task of detecting anomalous data in a predetermined data set. Anomalous data in this paper refers to data that represent statistical outliers in the data sample, which is why statistical tests are used - Grubb's statistical test. The technological tools used in this work are software tools, such as Python programming technologies and a number of libraries from the Anaconda distribution, such as scikit-learn, pyod, pandas, numpy, etc. The theoretical basis of the work is the use of the main topological hypothesis that statistical outliers, i.e. anomalous data in a data set (data sample) are topologically isolated in the configurational (phase) data space in which coordinate axes are interpreted as data characteristics. The subject area for which the application of the above software development is considered is the detection of anomalous real estate objects on the real estate market.