Розробка системи для класифікації тектової інформації по категоріях

Abstract

У кваліфікаційній роботі на здобуття освітнього ступеня бакалавр виконано критичний огляд та кретичний аналіз методів, моделей, алгоритмів та програмного забезпечення для обробки та аналізу текстової інформації. Сформульовано актуальні завдання, які у подальшому вирішені у роботі щодо класифікації (категоризації) текстової інформації у вигляді завдання бінарної класифікації. Спроектовано та сконструйовано програмне забезпечення у вигляді програмної системи для бінарної класифікації текстової інформації, оцінено якість роботи програмної системи шляхом обчислення різних видів метрик для класифікації даних. Загальна архітектура обчислювального процесу представляє собою конвеєр різного роду операцій спершу для попередньої їх обробки (стемінг, лемантизація, видалення стоп-слів), а потім для основної їх обробки (бінарної класифікації на основі логістичної регресії). Програмно реалізовано можливість збереження основного програмного об’єкта – навченого алгоритму машинного навчання логістичної регресії у файловий компонент, який може у подальшому використовуватися сторонніми програмами. Для структуризації слабоструктурованих даних, якими є текстова інформація використано модель мішка слів. Для оцінювання точності використані метрики звичайної точності, f1-метрика та roc-auc метрика. Для наочності сприйняття та загалом розуміння величини похибки (або оберненої величини до неї - точності) бінарної класифікації програмно обчислені та візуалізовані нормована та не нормована матриці помилок, величина значень елементів головної діагоналі якої вказують на високу якість роботи алгоритму машинного навчання логістичної регресії, а величина елементів не головної діагоналі вказує на низьку якість.

In the qualifying work for obtaining a bachelor's degree, a critical review and critical analysis of methods, models, algorithms, and software for processing and analyzing textual information was performed. Actual tasks are formulated, which are subsequently solved in the work on the classification (categorization) of textual information in the form of a binary classification task. Software in the form of a software system for binary classification of text information was designed and constructed, the quality of the software system was evaluated by calculating various types of metrics for data classification. The general architecture of the computational process is a pipeline of various operations, first for their preliminary processing (stemming, lemmantization, removal of stop words), and then for their main processing (binary classification based on logistic regression). Software has implemented the possibility of saving the main software object - the trained logistic regression machine learning algorithm into a file component that can be used by thirdparty programs in the future. A bag of words model was used to structure loosely structured data, which is textual information. To evaluate the accuracy, the usual accuracy metrics, f1-metric and roc-auc metric were used. For clarity of perception and general understanding of the magnitude of the error (or the inverse of it - accuracy) of the binary classification, normalized and non-normalized error matrices were calculated and visualized by software, the magnitude of the values of the elements of the main diagonal of which indicate the high quality of the logistic regression machine learning algorithm, and the magnitude of the elements off the main diagonal indicates low quality.