Ezzel az azonosítóval hivatkozhat erre a dokumentumra forrásmegjelölésben vagy hiperhivatkozás esetén:
http://elartu.tntu.edu.ua/handle/lib/45703
Title: | Програмно-алгоритмічні засоби формування шаблонів опрацювання частково структурованих файлів даних |
Other Titles: | Software and Algorithmic Means of Templates Forming for Processing of Semi-Structured Data Files |
Authors: | Гашинський, Роман Ігорович Gashynskyi, Roman Ihorovych |
Affiliation: | ТНТУ ім. І. Пулюя, Факультет комп’ютерно-інформаційних систем і програмної інженерії, Кафедра комп’ютерних наук, м. Тернопіль, Україна |
Bibliographic description (Ukraine): | Гашинський Р. І. Програмно-алгоритмічні засоби формування шаблонів опрацювання частково структурованих файлів даних : робота на здобуття кваліфікаційного ступеня бакалавра : спец. 122 - комп'ютерні науки / наук. кер. Г. Б. Кравчук. Тернопіль : Тернопільський національний технічний університет імені Івана Пулюя, 2024. 59 с. |
Issue Date: | 25-jún-2024 |
Submitted date: | 11-jún-2024 |
Date of entry: | 1-júl-2024 |
Country (code): | UA |
Place of the edition/event: | ТНТУ ім. І.Пулюя, ФІС, м. Тернопіль, Україна |
Supervisor: | Кравчук, Галина Богданівна |
Committee members: | Загородна, Наталія Володимирівна |
UDC: | 004.67 |
Keywords: | дані data метадані metadata аналіз analysis опрацювання processing менеджмент даних data management контейнеризація containerization машинне навчання machine learning |
Abstract: | Кваліфікаційна робота присвячена розробці програмно-алгоритмічних засобів формування шаблонів опрацювання частково структурованих файлів даних. В першому розділі кваліфікаційної роботи описано актуальність теми та основні цілі дослідження. Висвітлено основні методи та підходи до обробки частково структурованих даних. Розглянуто сучасні інструменти та технології для автоматизації обробки даних. Проаналізовано вимоги до програмно-алгоритмічних засобів. В другому розділі кваліфікаційної роботи наведено проєктування архітектури програмно-алгоритмічних засобів. Досліджено алгоритми для автоматизованого формування шаблонів обробки даних. В третьому розділі кваліфікаційної роботи описано реалізацію програмно-алгоритмічних засобів для автоматизації обробки даних. Проаналізовано результати тестування та ефективність розроблених засобів. Проведено аналіз точності та надійності роботи програмно-алгоритмічних засобів. Об’єкт дослідження: програмно-алгоритмічні засоби формування шаблонів обробки даних. Предмет дослідження: процес обробки частково структурованих файлів даних. The qualification work is dedicated to the development of software and algorithmic means of templates forming for processing of semi-structured data files. The goal of the work is to ensure effective and accurate processing of data with minimal manual intervention. The first section of the qualification paper considers the relevance of the topic and the main objectives of the research. It highlights the primary methods and approaches for processing partially structured data. It reviews modern tools and technologies for data processing automation. The requirements for the software and algorithmic means are analyzed. In the second section of the qualification work, the architecture of the software and algorithmic means is considered. The algorithms for automatic template creation for data processing are investigated. A detailed description of the containerization infrastructure using Docker is provided. In the third section of the qualification work, the implementation of the software and algorithmic means for data processing automation is described. The results of testing and the efficiency of the developed tools are analyzed. A detailed analysis of the accuracy and reliability of the software-algorithmic tools is conducted. |
Content: | ВСТУП 8 РОЗДІЛ 1. АНАЛІЗ ПРЕДМЕТНОЇ ОБЛАСТІ ТА ПОСТАНОВКА ЗАВДАННЯ ДО ПРОГРАМНО-АЛГОРИТМІЧНИХ ЗАСОБІВ ФОРМУВАННЯ ШАБЛОНІВ ОПРАЦЮВАННЯ ЧАСТКОВО СТРУКТУРОВАНИХ ФАЙЛІВ ДАНИХ 10 1.1 Аналіз предметної області програмно-алгоритмічний засобів 10 1.2 Формування списку обмежень до програмно-алгоритмічних засобів 13 1.3 Актанти та варіанти використання програмно-алгоритмічних засобів 15 1.4 Визначення переліку вимог до програмно-алгоритмічних засобів формування шаблонів опрацювання частково структурованих файлів даних 16 1.5 Висновок до першого розділу 17 РОЗДІЛ 2. ПРОЄКТНА ЧАСТИНА РОЗРОБКИ ПРОГРАМНО-АЛГОРИТМІЧНИХ ЗАСОБІВ ФОРМУВАННЯ ШАБЛОНІВ ОПРАЦЮВАННЯ ЧАСТКОВО СТРУКТУРОВАНИХ ДАНИХ 19 2.1 Проєктування структури потоків даних для програмно-алгоритмічних засобів 19 2.2 Проєктування отримання файлів даних програмно-алгоритмічними засобами 20 2.3 Проєктування аналізу файлів даних програмно-алгоритмічними засобами 23 2.4 Проєктування класифікації стовпців програмно-алгоритмічними засобами 27 2.5 Проєктування формування шаблону опрацювання частково структурованого файлу даних 30 2.6 Проєктування інфраструктури контейнеризації для програмно-алгоритмічних засобів 31 2.7 Висновок до другого розділу 33 РОЗДІЛ 3. ПРАКТИЧНА ЧАСТИНА РОЗРОБКИ ПРОГРАМНО-АЛГОРИТМІЧНИХ ЗАСОБІВ ФОРМУВАННЯ ШАБЛОНІВ ОПРАЦЮВАННЯ ЧАСТКОВО СТРУКТУРОВАНИХ ФАЙЛІВ ДАНИХ 35 3.1 Реалізація механізму отримання даних в програмно-алгоритмічних засобах 35 3.2 Реалізація аналізу файлу програмно-алгоритмічними засобами 37 3.3 Реалізація класифікації стовпців програмно-алгоритмічними засобами 38 3.4 Реалізація генерації шаблону опрацювання частково структурованого файлу даних 41 3.5 Реалізація інфраструктури контейнеризації для програмно-алгоритмічних засобів 43 3.6 Аналіз результатів роботи програмно-алгоритмічних засобів 44 3.7 Висновок до третього розділу 46 РОЗДІЛ 4. БЕЗПЕКА ЖИТТЄДІЯЛЬНОСТІ, ОСНОВИ ОХОРОНИ ПРАЦІ 47 4.1 Принципи ергономіки робочого місця 47 4.2 Правила електробезпеки при роботі з електронними пристроями 51 ВИСНОВКИ 54 ПЕРЕЛІК ДЖЕРЕЛ 55 ДОДАТКИ |
URI: | http://elartu.tntu.edu.ua/handle/lib/45703 |
Copyright owner: | © Гашинський Роман Ігорович, 2024 |
References (Ukraine): | 1. Henderson D. DAMA International. DAMA-DMBOK: Data Management Body of Knowledge (2nd ed.). / D. Henderson, S. Earley, L. Sebastian-Coleman., 2017.- 612 с. 2. Матеріали VІI Міжнародної студентської науково - технічної конференції / Тернопіль: Тернопільський національний технічний університет ім. І.Пулюя (м. Тернопіль, 25-26 квітня 2024 р.), 2024.- 365 с. 3. ISO 3166-1:2020(en) Codes for the representation of names of countries and their subdivisions – Part 1: Country code [Електронний ресурс]. – 2020. – Режим доступу до ресурсу: https://www.iso.org/obp/ui/en/#iso:std:72482:en. 4. E.123: Notation for national and international telephone numbers, e-mail addresses and web addresses [Електронний ресурс]. – 2001. – Режим доступу до ресурсу: https://www.itu.int/rec/T-REC-E.123-200102-I/en. 5. Функціональні та нефункціональні вимоги [Електронний ресурс]. – 2023. – Режим доступу до ресурсу: https://www.guru99.com/uk/functional-vs-non-functional-requirements.html?gpp&gpp_sid 6. Діаграми потоків даних [Електронний ресурс]. – 2023. – Режим доступу до ресурсу: https://www.maxzosim.com/data-flow-diagrams/ 7. Sharma G. Rest API: Data retrieval and applications / G. Sharma, G. Lavania, D. Goyal., 2023.- 128 c. 8. Документація FastAPI [Електронний ресурс]. – 2024. – Режим доступу до ресурсу: https://fastapi.tiangolo.com/ 9. Web Framework Benchmarks [Електронний ресурс]. – 2023. – Режим доступу до ресурсу: https://www.techempower.com/benchmarks/#section=data-r22&hw=ph&test=query&l=zijzen-6 10. FastAPI First Steps [Електронний ресурс]. – 2020. – Режим доступу до ресурсу: https://fastapi.tiangolo.com/tutorial/first-steps/ 11. What Is OpenAPI? [Електронний ресурс]. – 2024. – Режим доступу до ресурсу: https://swagger.io/docs/specification/about/. 12. Lathkar M. High-Performance Web Apps with FastAPI: The Asynchronous Web Framework Based on Modern Python / Malhar Lathkar., 2023.- 253c. 13. Fielding R. HTTP Semantics [Електронний ресурс] / R. Fielding, M. Nottingham, J. Reschke. – 2022. – Режим доступу до ресурсу: https://httpwg.org/specs/rfc9110.html#status.422 14. What Is Neural Network Architecture? [Електронний ресурс]. – 2024. – Режим доступу до ресурсу: https://h2o.ai/wiki/neural-network-architectures/ 15. Функції активації: ступінчаста, лінійна, сигмоїда, ReLU та Tanh [Електронний ресурс]. – 2024. – Режим доступу до ресурсу: https://robotdreams.cc/uk/blog/327-funkciji-aktivaciji-stupinchasta-liniyna-sigmojida-relu-ta-tanh 16. Dropout Regularization in Deep Learning Models with Keras [Електронний ресурс]. – 2022. – Режим доступу до ресурсу: https://machinelearningmastery.com/dropout-regularization-deep-learning-models-keras/. 17. A Simple Introduction to Softmax [Електронний ресурс]. – 2023. – Режим доступу до ресурсу: https://medium.com/@hunter-j-phillips/a-simple-introduction-to-softmax-287712d69bac 18. DevOps. Посібник: Як домогтися гнучкості, надійності й безпеки світового рівня в технологічних компаніях / Д.Кім, Д. Хамбл, П. Дебуа, Д. Вілліс. – Харків: Фабула, 2023. – 384 с. 19. Shah A. FastAPI Handbook [Електронний ресурс] / Atharva Shah. – 2023. – Режим доступу до ресурсу: https://www.freecodecamp.org/news/fastapi-quickstart/ 20. ASGI (Asynchronous Server Gateway Interface) Specification [Електронний ресурс]. – 2019. – Режим доступу до ресурсу: https://asgi.readthedocs.io/en/latest/specs/main.html 21. Документація Uvicorn [Електронний ресурс]. – 2024. – Режим доступу до ресурсу: https://www.uvicorn.org/ 22. Understanding the Levenshtein Distance Equation for Beginners [Електронний ресурс]. – 2019. – Режим доступу до ресурсу: https://medium.com/@ethannam/understanding-the-levenshtein-distance-equation-for-beginners-c4285a5604f0 23. Pandas User Guide [Електронний ресурс]. – 2024. – Режим доступу до ресурсу: https://pandas.pydata.org/docs/user_guide/basics.html 24. Документація TensorFlow [Електронний ресурс]. – 2024. – Режим доступу до ресурсу: https://www.tensorflow.org/ 25. Machine Learning – Evaluating classification models [Електронний ресурс]. – 2023. – Режим до ресурсу: https://medium.com/@brandon93.w/machine-learning-evaluating-classification-models-18713af3d764 26. How to Use Python Data Classes [Електронний ресурс]. – 2022. – Режим доступу до ресурсу: https://www.dataquest.io/blog/how-to-use-python-data-classes/ 27. Python dataclasses [Електронний ресурс]. – 2024. – Режим доступу до ресурсу: https://docs.python.org/3/library/dataclasses.html 28. Evaluating Multi-Class Classification Model using Confusion Matrix in Python [Електронний ресурс]. – 2024. – Режим доступу до ресурсу: https://medium.com/@gubrani.sanya2/evaluating-multi-class-classification-model-using-confusion-matrix-in-python-4d9344084dfa 29. V. Kozlovskyi, Y. Balanyuk, H. Martyniuk, O. Nazarevych, L. Scherbak and G. Shymchuk, «Information Technology for Estimating City Gas Consumption During the Year,» 2022 International Conference on Smart Information Systems and Technologies (SIST), Nur-Sultan, Kazakhstan, 2022, pp. 1-4, doi: 10.1109/SIST54437.2022.9945786 30. Approach to gas consumption process forecasting on the basis of a mathematical model in the form of a random cyclic process / Serhii Lupenko, Iaroslav Lytvynenko, Oleg Nazarevych, Grigorii Shymchuk, Volodymyr Hotovych // ICAAEIT 2021, 15-17 December 2021. – Tern. : TNTU, Zhytomyr «Publishing house „Book-Druk“» LLC, 2021. – P. 213–219. – (Mathematical modeling in power engineering and information technologies) 31. Lytvynenko, S. Lupenko, O. Nazarevych, G. Shymchuk and V. Hotovych, «Mathematical model of gas consumption process in the form of cyclic random process,» 2021 IEEE 16th International Conference on Computer Sciences and Information Technologies (CSIT), LVIV, Ukraine, 2021, pp. 232-235, doi: 10.1109/CSIT52700.2021.9648621 32. Additive mathematical model of gas consumption process / Iaroslav Lytvynenko, Serhii Lupenko, Oleh Nazarevych, Hryhorii Shymchuk, Volodymyr Hotovych // Scientific Journal of TNTU. – Tern. : TNTU, 2021. – Vol 104. – No 4. – P. 87–97. 33. O. Nazarevych, Y. Leshchyshyn, S. Lupenko, V. Hotovych, G. Shymchuk and N. Shabliy, «Method of Gas Consumption Change-point Detection Based on Seasonally Multicomponent Model,» 2020 10th International Conference on Advanced Computer Information Technologies (ACIT), Deggendorf, Germany, 2020, pp. 152-155, doi: 10.1109/ACIT49673.2020.9208924 34. Y. Leshchyshyn, L. Scherbak, O. Nazarevych, V. Gotovych, P. Tymkiv and G. Shymchuk, «Multicomponent Model of the Heart Rate Variability Change-point,» 2019 IEEE XVth International Conference on the Perspective Technologies and Methods in MEMS Design (MEMSTECH), Polyana, Ukraine, 2019, pp. 110-113, doi: 10.1109/MEMSTECH.2019.8817379 35. Лапін В. М. Безпека життєдіяльності людини / В. М. Лапін., 2007. – 332 с. – (6-те вид., перероб. і доп.) 36. Голобородько В. М. Вибрані глави проективної ергономіки. Антропометричний фактор: навчальний посібник / В. М. Голобородько., 2004. – 216 с. 37. ДСТУ 8604:2015. Дизайн і ергономіка. Робоче місце для виконання робіт у положенні сидячи. Загальні ергономічні вимоги [Текст]. - Чинний від 2017-07-01. - Київ : УкрНДНЦ, 2016. 7 с. (Національний стандарт України) 38. ДСТУ 7299:2013. Дизайн і ергономіка. Робоче місце оператора. Взаємне розташування елементів робочого місця. Загальні вимоги ергономіки [Текст]. - Чинний від 2014-01-01. - Київ : УкрНДНЦ, 2014. 4 с. (Національний стандарт України) 39. ДСТУ 7234:2011. Дизайн і ергономіка. Обладнання виробниче. Загальні вимоги дизайну та ергономіки. [Текст]. - Чинний від 2011-08-01. - Київ : УкрНДНЦ, 2011. 7 с. (Національний стандарт України) 40. НПАОП 0.00-7.15-18. Вимоги щодо безпеки та захисту здоров`я працівників під час роботи з екранними пристроями [Текст]. - Чинний від 2011-08-01. - Київ : УкрНДНЦ, 2018. 5 с. (Національний стандарт України) 41. ДСанПІН 3.3.2.007-98. Державні санітарні правила і норми роботи з візуальними дисплейними терміналами електронно-обчислювальних машин [Текст]. - Чинний від 1998-12-10. - Київ : УкрНДНЦ, 1998. 20 с. (Національний стандарт України) 42. Репозиторій GitHub [Електронний ресурс]. – 2024. – Режим доступу до ресурсу: https://github.com/TNTU-122-Computer-Science/FIS-CS-SN-41-RGashynskyi-2023-2024-Thesis_paper |
Content type: | Bachelor Thesis |
Ebben a gyűjteményben: | 122 — Компʼютерні науки (бакалаври) |
Fájlok a dokumentumban:
Fájl | Leírás | Méret | Formátum | |
---|---|---|---|---|
2024_KRB_SN-41_Gashynskyi_RI.pdf | 1,95 MB | Adobe PDF | Megtekintés/Megnyitás |
Minden dokumentum, ami a DSpace rendszerben szerepel, szerzői jogokkal védett. Minden jog fenntartva!
Admin Tools