Методи та програмні засоби мультимодального аналізу когнітивно-моторних сигналів

Abstract

Методи та програмні засоби мультимодального аналізу когнітивно-моторних сигналів. – Кваліфікаційна наукова праця на правах рукопису. Дисертація на здобуття ступеня доктора філософії в галузі знань 12 – Інформаційні технології за спеціальністю 121 – Інженерія програмного забезпечення. – Тернопільський національний технічний університет імені Івана Пулюя, Тернопіль, 2026. Дисертаційна робота присвячена вирішенню актуального науково- прикладного завдання – розробленню методів та програмних засобів мультимодального аналізу когнітивно-моторних сигналів для об’єктивної оцінки та класифікації моторних порушень, зокрема тремору, на основі інтегрованої обробки електроенцефалографічних (ЕЕГ) та графомоторних даних. У вступі обґрунтовано актуальність дослідження, наведено зв’язок роботи з науковими програмами та тематикою кафедри програмної інженерії, визначено мету й завдання дослідження, об’єкт і предмет дослідження, наведено перелік методів дослідження, що застосовувалися для досягнення поставленої мети. Сформульовано наукову новизну, практичне значення отриманих результатів та особистий внесок здобувача. Подано відомості щодо апробації та опублікування результатів дослідження. У першому розділі «Аналіз вимог та існуючих програмних систем мультимодального аналізу когнітивно-моторних сигналів» розглянуто особливості когнітивних і моторних сигналів у задачах аналізу моторних порушень, зокрема тремору при хворобі Паркінсона. Розглянуто сучасні програмно-апаратні засоби реєстрації графомоторної активності та ЕЕГ, а також вимоги до синхронізації, уніфікації форматів даних та попередньої обробки мультимодальних сигналів. На основі проведеного аналізу узагальнено проблеми мультимодальної обробки сигналів і сформульовано наукове завдання Методи та програмні засоби мультимодального аналізу когнітивно-моторних сигналів. – Кваліфікаційна наукова праця на правах рукопису. Дисертація на здобуття ступеня доктора філософії в галузі знань 12 – Інформаційні технології за спеціальністю 121 – Інженерія програмного забезпечення. – Тернопільський національний технічний університет імені Івана Пулюя, Тернопіль, 2026. Дисертаційна робота присвячена вирішенню актуального науково- прикладного завдання – розробленню методів та програмних засобів мультимодального аналізу когнітивно-моторних сигналів для об’єктивної оцінки та класифікації моторних порушень, зокрема тремору, на основі інтегрованої обробки електроенцефалографічних (ЕЕГ) та графомоторних даних. У вступі обґрунтовано актуальність дослідження, наведено зв’язок роботи з науковими програмами та тематикою кафедри програмної інженерії, визначено мету й завдання дослідження, об’єкт і предмет дослідження, наведено перелік методів дослідження, що застосовувалися для досягнення поставленої мети. Сформульовано наукову новизну, практичне значення отриманих результатів та особистий внесок здобувача. Подано відомості щодо апробації та опублікування результатів дослідження. У першому розділі «Аналіз вимог та існуючих програмних систем мультимодального аналізу когнітивно-моторних сигналів» розглянуто особливості когнітивних і моторних сигналів у задачах аналізу моторних порушень, зокрема тремору при хворобі Паркінсона. Розглянуто сучасні програмно-апаратні засоби реєстрації графомоторної активності та ЕЕГ, а також вимоги до синхронізації, уніфікації форматів даних та попередньої обробки мультимодальних сигналів. На основі проведеного аналізу узагальнено проблеми мультимодальної обробки сигналів і сформульовано наукове завдання дослідження, що полягає у створенні методів та програмних засобів інтегрованого аналізу когнітивно-моторних даних на основі синхронізованої обробки ЕЕГ та графомоторних сигналів, а також розробленні модульної програмної архітектури їх мультимодальної обробки, що забезпечує відтворюваність, масштабованість та інтеграцію через API. У другому розділі «Математичні моделі та методи аналізу мультимодальних сигналів та даних» формалізовано використання показника ΔR як кількісної характеристики моторного порушення, досліджено частотні та просторово- часові характеристики тремору. Розроблено методи крос-кореляційного аналізу між сигналами ЕЕГ і графомоторної активності, на основі яких виведено нову діагностичну метрику – індекс синусоїдальності (Sinusoidality Index, SI). Вона дозволяє кількісно оцінювати рівень синхронізації ЕЕГ-сигналів, асоційованих із треморною активністю. Обґрунтовано вибір діагностично значущих ознак та методів їх обчислення з позицій точності, обчислювальної ефективності та можливості реалізації у програмних системах аналізу сигналів. У третьому розділі «Архітектура програмної платформи та фреймворку мультимодального аналізу когнітивно-моторних сигналів» запропоновано архітектуру програмної системи повного циклу обробки даних, сформовану на основі вимог: від збору та узгодженої часової синхронізації мультимодальних сигналів до обробки, формування та інтеграції ознак, візуалізації і збереження результатів. Архітектура реалізована у вигляді модульного Python-фреймворку як програмної реалізації запропонованого підходу з доступом до функцій аналізу через API та можливістю локального або хмарного розгортання і реалізує аналітичний конвеєр обробки сигналів. Реалізовано програмні модулі формування ΔR, спектрального аналізу (ΔR/EEG), крос-кореляційного аналізу EEG–ΔR та обчислення індексу синусоїдальності. Модульна організація забезпечує масштабованість обробки, повторне використання компонентів та інтеграцію у прикладні інформаційні системи. Запропонована архітектура забезпечує трасованість даних, відтворюваність обчислень та розширюваність без модифікації базових компонентів. Сформовано пояснюваний протокол типізації тремору на основі мультимодальних ознак; підходи машинного навчання розглянуто як перспективне розширення за умови забезпечення міжсесійної стабільності. Формалізовано ітеративний цикл роботи користувача, що описує процес аналізу як послідовність збору даних, обробки, візуалізації та прийняття рішень із можливістю зміни конфігураційних параметрів. У четвертому розділі «Експериментальна перевірка методів і програмних засобів мультимодального аналізу» наведено методику валідації методів та програмних засобів на реальних анонімізованих мультимодальних записах синхронної реєстрації графомоторних сигналів та ЕЕГ. Проведено порівняльний аналіз функціональних станів до та після фармакологічної модуляції, досліджено кореляційні залежності між ЕЕГ і ΔR з урахуванням часових зсувів у різних функціональних станах. Здійснено валідацію запропонованих моделей і програмних засобів, а також порівняння отриманих результатів із існуючими підходами до аналізу тремору. Показано, що використання крос-кореляційного аналізу та індексу синусоїдальності забезпечує підвищення точності класифікації тремору та формування кількісного профілю треморної активності. Основні наукові результати дисертації опубліковано у 10 наукових працях, з них 6 статей у наукових фахових виданнях України (1 – категорії «А», 5 – категорії «Б») та 4 публікації у матеріалах міжнародних наукових конференцій. дослідження, що полягає у створенні методів та програмних засобів інтегрованого аналізу когнітивно-моторних даних на основі синхронізованої обробки ЕЕГ та графомоторних сигналів, а також розробленні модульної програмної архітектури їх мультимодальної обробки, що забезпечує відтворюваність, масштабованість та інтеграцію через API. У другому розділі «Математичні моделі та методи аналізу мультимодальних сигналів та даних» формалізовано використання показника ΔR як кількісної характеристики моторного порушення, досліджено частотні та просторово- часові характеристики тремору. Розроблено методи крос-кореляційного аналізу між сигналами ЕЕГ і графомоторної активності, на основі яких виведено нову діагностичну метрику – індекс синусоїдальності (Sinusoidality Index, SI). Вона дозволяє кількісно оцінювати рівень синхронізації ЕЕГ-сигналів, асоційованих із треморною активністю. Обґрунтовано вибір діагностично значущих ознак та методів їх обчислення з позицій точності, обчислювальної ефективності та можливості реалізації у програмних системах аналізу сигналів. У третьому розділі «Архітектура програмної платформи та фреймворку мультимодального аналізу когнітивно-моторних сигналів» запропоновано архітектуру програмної системи повного циклу обробки даних, сформовану на основі вимог: від збору та узгодженої часової синхронізації мультимодальних сигналів до обробки, формування та інтеграції ознак, візуалізації і збереження результатів. Архітектура реалізована у вигляді модульного Python-фреймворку як програмної реалізації запропонованого підходу з доступом до функцій аналізу через API та можливістю локального або хмарного розгортання і реалізує аналітичний конвеєр обробки сигналів. Реалізовано програмні модулі формування ΔR, спектрального аналізу (ΔR/EEG), крос-кореляційного аналізу EEG–ΔR та обчислення індексу синусоїдальності. Модульна організація забезпечує масштабованість обробки, повторне використання компонентів та інтеграцію у прикладні інформаційні системи. Запропонована архітектура забезпечує трасованість даних, відтворюваність обчислень та розширюваність без модифікації базових компонентів. Сформовано пояснюваний протокол типізації тремору на основі мультимодальних ознак; підходи машинного навчання розглянуто як перспективне розширення за умови забезпечення міжсесійної стабільності. Формалізовано ітеративний цикл роботи користувача, що описує процес аналізу як послідовність збору даних, обробки, візуалізації та прийняття рішень із можливістю зміни конфігураційних параметрів. У четвертому розділі «Експериментальна перевірка методів і програмних засобів мультимодального аналізу» наведено методику валідації методів та програмних засобів на реальних анонімізованих мультимодальних записах синхронної реєстрації графомоторних сигналів та ЕЕГ. Проведено порівняльний аналіз функціональних станів до та після фармакологічної модуляції, досліджено кореляційні залежності між ЕЕГ і ΔR з урахуванням часових зсувів у різних функціональних станах. Здійснено валідацію запропонованих моделей і програмних засобів, а також порівняння отриманих результатів із існуючими підходами до аналізу тремору. Показано, що використання крос-кореляційного аналізу та індексу синусоїдальності забезпечує підвищення точності класифікації тремору та формування кількісного профілю треморної активності. Основні наукові результати дисертації опубліковано у 10 наукових працях, з них 6 статей у наукових фахових виданнях України (1 – категорії «А», 5 – категорії «Б») та 4 публікації у матеріалах міжнародних наукових конференцій.

Bishchak D.S. Methods and software tools for multimodal analysis of cognitive- motor signals. – A qualification scientific work submitted as a manuscript. Dissertation for the degree of Doctor of Philosophy in specialty 121 – Software Engineering and 12 – Information Technology. – Ternopil Ivan Puluj National Technical University, Ternopil, 2026. The dissertation is devoted to solving a relevant scientific and applied problem – the development of methods and software tools for multimodal analysis of cognitive- motor signals for objective assessment and classification of motor disorders, in particular tremor, based on integrated processing of electroencephalographic (EEG) and graphomotor data. The introduction substantiates the relevance of the research, describes its relation to scientific programs and research directions of the Department of Software Engineering, defines the purpose and objectives of the study, the object and subject of research, and outlines the research methods used to achieve the stated goal. The scientific novelty, practical significance of the obtained results, and the personal contribution of the author are formulated. Information about the approbation and publication of research results is also provided. The first chapter, “Analysis of Requirements and Existing Software Systems for Multimodal Analysis of Cognitive-Motor Signals,” examines the characteristics of cognitive and motor signals in tasks of motor disorder analysis, particularly tremor associated with Parkinson’s disease. Modern software and hardware tools for recording graphomotor activity and EEG signals are reviewed, as well as requirements for synchronization, data format unification, and preprocessing of multimodal signals. Based on this analysis, the challenges of multimodal signal processing are summarized and the scientific problem of the research is formulated, which consists in the development of methods and software tools for integrated analysis of cognitive-motor data based on synchronized processing of EEG and graphomotor signals, as well as in the development of a modular software architecture for their multimodal processing, ensuring reproducibility, scalability, and API-based integration. The second chapter, “Mathematical Models and Methods for Multimodal Signal and Data Analysis,” formalizes the use of the ΔR indicator as a quantitative characteristic of motor impairment and investigates the frequency and spatiotemporal characteristics of tremor. Methods of cross-correlation analysis between EEG signals and graphomotor activity are developed, on the basis of which a new diagnostic metric – the Sinusoidality Index (SI) – is proposed. This metric enables quantitative evaluation of the level of synchronization of EEG signals associated with tremor activity. The selection of diagnostically significant features and methods for their computation is justified from the perspective of accuracy, computational efficiency, and feasibility of implementation in signal analysis software systems. The third chapter, “Architecture of the Software Platform and Framework for Multimodal Analysis of Cognitive-Motor Signals,” proposes an architecture of a software system implementing a full data processing cycle, formed based on the defined requirements: from data acquisition and synchronized temporal alignment of multimodal signals to processing, feature extraction and integration, visualization, and storage of results. The architecture is implemented as a modular Python framework as a software realization of the proposed approach, with access to analytical functions through an application programming interface (API) and the possibility of local or cloud deployment, and provides an analytical signal processing pipeline. Software modules for ΔR formation, spectral analysis (ΔR/EEG), EEG–ΔR cross- correlation analysis, and Sinusoidality Index computation are implemented. The modular organization ensures scalability of processing, reuse of components, and integration into applied information systems. The proposed architecture ensures data traceability, reproducibility of computations, and extensibility without modification of core components. An explainable protocol for tremor classification based on multimodal features is developed; machine learning approaches are considered as a prospective extension under the condition of ensuring inter-session stability. An iterative user interaction cycle is formalized, describing the analysis process as a sequence of data acquisition, processing, visualization, and decision-making steps with the possibility of adapting scenarios through configuration parameters. The fourth chapter, “Experimental Verification of Methods and Software Tools for Multimodal Analysis,” presents a validation methodology for methods and software tools based on real anonymized multimodal recordings of synchronized graphomotor and EEG signals. A comparative analysis of functional states before and after pharmacological modulation is performed, and correlation relationships between EEG and ΔR are investigated taking into account time lags in different functional states. The proposed models and software tools are validated, and the obtained results are compared with existing approaches to tremor analysis. It is shown that the use of cross- correlation analysis and the Sinusoidality Index improves tremor classification accuracy and enables the formation of a quantitative tremor activity profile. The main scientific results of the dissertation have been published in 10 scientific works, including 6 articles in peer-reviewed journals in Ukraine (1 in category A and 5 in category B) and 4 papers in the proceedings of international scientific conferences.