Система моніторингу та аналізу тональності стрічок новин для оцінки інформаційного фону

Abstract

Кваліфікаційна робота присвячена дослідженню процесів автоматизованого збору, обробки та семантичного аналізу масивів неструктурованої текстової інформації з інтернет-ресурсів для оцінки емоційного забарвлення україномовних текстів. В першому розділі кваліфікаційної роботи описано актуальність автоматизованого моніторингу медіа-простору в умовах поширення дезінформації та інформаційно-психологічних операцій. Висвітлено математичний апарат імовірнісної класифікації тексту за допомогою мультиноміального наївного байєсівського класифікатора із застосуванням згладжування Лапласа. Розглянуто функціональні можливості та обмеження існуючих глобальних комерційних систем-аналогів (YouScan, Semantrum). Проаналізовано та обґрунтовано вибір оптимального технологічного стеку розробки на базі мови Python, бібліотек NLP, фреймворку Streamlit та СКБД SQLite. В другому розділі кваліфікаційної роботи обґрунтовано використання модульного патерну розробки з чітким розподілом зон відповідальності компонентів. Досліджено логічні та інформаційні потоки обробки даних і сформовано послідовний конвеєр попередньої лінгвістичної підготовки, що включає токенізацію, семантичну фільтрацію стоп-слів та морфологічну лематизацію флективних україномовних текстів. Подано логічну структуру реляційної бази даних SQLite, нормалізованої до третьої нормальної форми (3NF) та оптимізованої за допомогою B-Tree індексації часових полів для миттєвої вибірки історичних масивів. В третьому розділі кваліфікаційної роботи описано створення стабільних програмних модулів автоматизованого збору інформації (Data Harvester), аналітичного ядра класифікації тональності та декларативного рендерингу елементів інтерфейсу. Проаналізовано інженерні рішення безпечної взаємодії з СКБД через параметризовані SQL-запити для захисту від ін'єкцій та впровадження механізмів кешування оперативної пам'яті. Проведено комплексне експериментальне тестування створеного програмного продукту за методом «чорної скриньки», яке підтвердило його стовідсоткову відмовостійкість при мережевих затримках та зафіксувало високу швидкодію обробки великих масивів інформації. Об’єкт дослідження: процес автоматизованого збору, обробки та семантичного аналізу масивів неструктурованої текстової інформації з інтернет-ресурсів. Предмет дослідження: математичні моделі, алгоритми машинного навчання та програмні засоби визначення емоційного забарвлення (тональності) україномовних текстів.

The qualification work is dedicated to the automated collection, processing, and semantic analysis of unstructured text information arrays from internet resources. The goal of the work is to improve the quality of automated media space monitoring services by developing a local software system (PC Dashboard) for collecting news feeds and classifying their sentiment. The first section of the qualification paper considers the modern information space problems, reviews existing commercial analogues like YouScan and Semantrum, highlights the mathematical apparatus of the Multinomial Naive Bayes classifier, and justifies the choice of the Python-based technological stack. The second section considers the modular architecture design with a clear separation of concerns, the development of an NLP pipeline for Ukrainian text preprocessing (tokenization, stop-words filtration, lemmatization), and the conceptual design of a 3NF relational SQLite database optimized with B-Tree indexes. The third section describes the programmatic implementation of the Data Harvester module, the sentiment analysis core, the Streamlit and Plotly-based UI dashboard, and the results of black-box experimental testing that confirmed high system performance and fault tolerance. Object of research: the process of automated collection, processing, and semantic analysis of unstructured text information arrays from internet resources. Subject of research: mathematical models, machine learning algorithms, and software tools for determining the emotional coloring (sentiment) of Ukrainian texts.