Людино-машинна взаємодія на основі байєсівського моделювання для інтеграції експертних знань та даних

Abstract

Кваліфікаційна робота присвячена систематичному викладу концепцій та практичних методів роботи з байєсівськими мережами і причинно-наслідковим моделюванням засобами мови програмування Python із використанням відкритої бібліотеки bnlearn. Робота охоплює повний методологічний цикл: від формалізації якісних знань предметного експерта до автоматичного навчання структури й параметрів мережі з даних та здійснення логічного висновку (інференсу). У теоретичній частині розмежовано поняття кореляції, асоціації та причинності, описано математичний апарат спрямованих ациклічних графів (DAG) і теорему Байєса. Розкрито підхід до трактування знань людини як повноцінного виду даних та продемонстровано їх формалізацію у вигляді змінних, зв'язків та умовно-ймовірнісних таблиць (CPT). На прикладі системи зрошення (Sprinkler) показано повний цикл побудови знання-керованої моделі, а на розширеному прикладі з галузі передбачувального технічного обслуговування – застосування байєсівських мереж за відсутності фізичних датчиків, включно з генерацією синтетичних даних. Окремо розглянуто методи причинно-наслідкового структурного навчання (на основі оцінок та на основі обмежень) і навчання параметрів (метод максимальної правдоподібності та байєсівська оцінка). Особливістю роботи є порівняльний аналіз результатів інференсу на моделі, побудованій зі знань експерта, та на моделі, навченій з емпіричних даних, що ілюструє природу суб'єктивних ймовірностей. Узагальнено функціональні можливості бібліотеки bnlearn, проаналізовано обмеження підходу (експоненційне зростання розмірності CPT, обчислювальна складність пошуку оптимальної структури) та сформульовано практичні рекомендації.

The qualification work is devoted to a systematic presentation of concepts and practical methods of working with Bayesian networks and causal modeling using the Python programming language using the open library bnlearn. The work covers the full methodological cycle: from formalization of qualitative knowledge of a subject matter expert to automatic learning of the structure and parameters of the network from data and implementation of logical conclusion (inference). The theoretical part distinguishes the concepts of correlation, association and causality, describes the mathematical apparatus of directed acyclic graphs (DAG) and Bayes' theorem. An approach to treating human knowledge as a full-fledged type of data is disclosed and their formalization in the form of variables, relations and conditional probability tables (CPT) is demonstrated. The full cycle of knowledge-driven model construction is shown on the example of an irrigation system (Sprinkler), and the application of Bayesian networks in the absence of physical sensors, including the generation of synthetic data, is shown on an extended example from the field of predictive maintenance. The methods of causal structural learning (based on estimates and based on constraints) and parameter learning (maximum likelihood method and Bayesian estimation) are considered separately. A feature of the work is a comparative analysis of the results of inference on a model built from expert knowledge and a model trained from empirical data, which illustrates the nature of subjective probabilities. The functional capabilities of the bnlearn library are summarized, the limitations of the approach are analyzed (exponential growth of the CPT dimension, computational complexity of finding the optimal structure) and practical recommendations are formulated.