1. ELARTU — Інституційний репозитарій ТНТУ імені Івана Пулюя
  2. Роботи студентів
  3. Бакалавр
  4. 122 — Компʼютерні науки (бакалаври)
Använd denna länk för att citera eller länka till detta dokument: http://elartu.tntu.edu.ua/handle/lib/45703
Titel: Програмно-алгоритмічні засоби формування шаблонів опрацювання частково структурованих файлів даних
Övriga titlar: Software and Algorithmic Means of Templates Forming for Processing of Semi-Structured Data Files
Författare: Гашинський, Роман Ігорович
Gashynskyi, Roman Ihorovych
Affiliation: ТНТУ ім. І. Пулюя, Факультет комп’ютерно-інформаційних систем і програмної інженерії, Кафедра комп’ютерних наук, м. Тернопіль, Україна
Bibliographic description (Ukraine): Гашинський Р. І. Програмно-алгоритмічні засоби формування шаблонів опрацювання частково структурованих файлів даних : робота на здобуття кваліфікаційного ступеня бакалавра : спец. 122 - комп'ютерні науки / наук. кер. Г. Б. Кравчук. Тернопіль : Тернопільський національний технічний університет імені Івана Пулюя, 2024. 59 с.
Utgivningsdatum: 25-jun-2024
Submitted date: 11-jun-2024
Date of entry: 1-jul-2024
Country (code): UA
Place of the edition/event: ТНТУ ім. І.Пулюя, ФІС, м. Тернопіль, Україна
Supervisor: Кравчук, Галина Богданівна
Committee members: Загородна, Наталія Володимирівна
UDC: 004.67
Nyckelord: дані
data
метадані
metadata
аналіз
analysis
опрацювання
processing
менеджмент даних
data management
контейнеризація
containerization
машинне навчання
machine learning
Sammanfattning: Кваліфікаційна робота присвячена розробці програмно-алгоритмічних засобів формування шаблонів опрацювання частково структурованих файлів даних. В першому розділі кваліфікаційної роботи описано актуальність теми та основні цілі дослідження. Висвітлено основні методи та підходи до обробки частково структурованих даних. Розглянуто сучасні інструменти та технології для автоматизації обробки даних. Проаналізовано вимоги до програмно-алгоритмічних засобів. В другому розділі кваліфікаційної роботи наведено проєктування архітектури програмно-алгоритмічних засобів. Досліджено алгоритми для автоматизованого формування шаблонів обробки даних. В третьому розділі кваліфікаційної роботи описано реалізацію програмно-алгоритмічних засобів для автоматизації обробки даних. Проаналізовано результати тестування та ефективність розроблених засобів. Проведено аналіз точності та надійності роботи програмно-алгоритмічних засобів. Об’єкт дослідження: програмно-алгоритмічні засоби формування шаблонів обробки даних. Предмет дослідження: процес обробки частково структурованих файлів даних. The qualification work is dedicated to the development of software and algorithmic means of templates forming for processing of semi-structured data files. The goal of the work is to ensure effective and accurate processing of data with minimal manual intervention. The first section of the qualification paper considers the relevance of the topic and the main objectives of the research. It highlights the primary methods and approaches for processing partially structured data. It reviews modern tools and technologies for data processing automation. The requirements for the software and algorithmic means are analyzed. In the second section of the qualification work, the architecture of the software and algorithmic means is considered. The algorithms for automatic template creation for data processing are investigated. A detailed description of the containerization infrastructure using Docker is provided. In the third section of the qualification work, the implementation of the software and algorithmic means for data processing automation is described. The results of testing and the efficiency of the developed tools are analyzed. A detailed analysis of the accuracy and reliability of the software-algorithmic tools is conducted.
Content: ВСТУП 8 РОЗДІЛ 1. АНАЛІЗ ПРЕДМЕТНОЇ ОБЛАСТІ ТА ПОСТАНОВКА ЗАВДАННЯ ДО ПРОГРАМНО-АЛГОРИТМІЧНИХ ЗАСОБІВ ФОРМУВАННЯ ШАБЛОНІВ ОПРАЦЮВАННЯ ЧАСТКОВО СТРУКТУРОВАНИХ ФАЙЛІВ ДАНИХ 10 1.1 Аналіз предметної області програмно-алгоритмічний засобів 10 1.2 Формування списку обмежень до програмно-алгоритмічних засобів 13 1.3 Актанти та варіанти використання програмно-алгоритмічних засобів 15 1.4 Визначення переліку вимог до програмно-алгоритмічних засобів формування шаблонів опрацювання частково структурованих файлів даних 16 1.5 Висновок до першого розділу 17 РОЗДІЛ 2. ПРОЄКТНА ЧАСТИНА РОЗРОБКИ ПРОГРАМНО-АЛГОРИТМІЧНИХ ЗАСОБІВ ФОРМУВАННЯ ШАБЛОНІВ ОПРАЦЮВАННЯ ЧАСТКОВО СТРУКТУРОВАНИХ ДАНИХ 19 2.1 Проєктування структури потоків даних для програмно-алгоритмічних засобів 19 2.2 Проєктування отримання файлів даних програмно-алгоритмічними засобами 20 2.3 Проєктування аналізу файлів даних програмно-алгоритмічними засобами 23 2.4 Проєктування класифікації стовпців програмно-алгоритмічними засобами 27 2.5 Проєктування формування шаблону опрацювання частково структурованого файлу даних 30 2.6 Проєктування інфраструктури контейнеризації для програмно-алгоритмічних засобів 31 2.7 Висновок до другого розділу 33 РОЗДІЛ 3. ПРАКТИЧНА ЧАСТИНА РОЗРОБКИ ПРОГРАМНО-АЛГОРИТМІЧНИХ ЗАСОБІВ ФОРМУВАННЯ ШАБЛОНІВ ОПРАЦЮВАННЯ ЧАСТКОВО СТРУКТУРОВАНИХ ФАЙЛІВ ДАНИХ 35 3.1 Реалізація механізму отримання даних в програмно-алгоритмічних засобах 35 3.2 Реалізація аналізу файлу програмно-алгоритмічними засобами 37 3.3 Реалізація класифікації стовпців програмно-алгоритмічними засобами 38 3.4 Реалізація генерації шаблону опрацювання частково структурованого файлу даних 41 3.5 Реалізація інфраструктури контейнеризації для програмно-алгоритмічних засобів 43 3.6 Аналіз результатів роботи програмно-алгоритмічних засобів 44 3.7 Висновок до третього розділу 46 РОЗДІЛ 4. БЕЗПЕКА ЖИТТЄДІЯЛЬНОСТІ, ОСНОВИ ОХОРОНИ ПРАЦІ 47 4.1 Принципи ергономіки робочого місця 47 4.2 Правила електробезпеки при роботі з електронними пристроями 51 ВИСНОВКИ 54 ПЕРЕЛІК ДЖЕРЕЛ 55 ДОДАТКИ
URI: http://elartu.tntu.edu.ua/handle/lib/45703
Copyright owner: © Гашинський Роман Ігорович, 2024
References (Ukraine): 1. Henderson D. DAMA International. DAMA-DMBOK: Data Management Body of Knowledge (2nd ed.). / D. Henderson, S. Earley, L. Sebastian-Coleman., 2017.- 612 с.
2. Матеріали VІI Міжнародної студентської науково - технічної конференції / Тернопіль: Тернопільський національний технічний університет ім. І.Пулюя (м. Тернопіль, 25-26 квітня 2024 р.), 2024.- 365 с.
3. ISO 3166-1:2020(en) Codes for the representation of names of countries and their subdivisions – Part 1: Country code [Електронний ресурс]. – 2020. – Режим доступу до ресурсу: https://www.iso.org/obp/ui/en/#iso:std:72482:en.
4. E.123: Notation for national and international telephone numbers, e-mail addresses and web addresses [Електронний ресурс]. – 2001. – Режим доступу до ресурсу: https://www.itu.int/rec/T-REC-E.123-200102-I/en.
5. Функціональні та нефункціональні вимоги [Електронний ресурс]. – 2023. – Режим доступу до ресурсу: https://www.guru99.com/uk/functional-vs-non-functional-requirements.html?gpp&gpp_sid
6. Діаграми потоків даних [Електронний ресурс]. – 2023. – Режим доступу до ресурсу: https://www.maxzosim.com/data-flow-diagrams/
7. Sharma G. Rest API: Data retrieval and applications / G. Sharma, G. Lavania, D. Goyal., 2023.- 128 c.
8. Документація FastAPI [Електронний ресурс]. – 2024. – Режим доступу до ресурсу: https://fastapi.tiangolo.com/
9. Web Framework Benchmarks [Електронний ресурс]. – 2023. – Режим доступу до ресурсу: https://www.techempower.com/benchmarks/#section=data-r22&hw=ph&test=query&l=zijzen-6
10. FastAPI First Steps [Електронний ресурс]. – 2020. – Режим доступу до ресурсу: https://fastapi.tiangolo.com/tutorial/first-steps/
11. What Is OpenAPI? [Електронний ресурс]. – 2024. – Режим доступу до ресурсу: https://swagger.io/docs/specification/about/.
12. Lathkar M. High-Performance Web Apps with FastAPI: The Asynchronous Web Framework Based on Modern Python / Malhar Lathkar., 2023.- 253c.
13. Fielding R. HTTP Semantics [Електронний ресурс] / R. Fielding, M. Nottingham, J. Reschke. – 2022. – Режим доступу до ресурсу: https://httpwg.org/specs/rfc9110.html#status.422
14. What Is Neural Network Architecture? [Електронний ресурс]. – 2024. – Режим доступу до ресурсу: https://h2o.ai/wiki/neural-network-architectures/
15. Функції активації: ступінчаста, лінійна, сигмоїда, ReLU та Tanh [Електронний ресурс]. – 2024. – Режим доступу до ресурсу: https://robotdreams.cc/uk/blog/327-funkciji-aktivaciji-stupinchasta-liniyna-sigmojida-relu-ta-tanh
16. Dropout Regularization in Deep Learning Models with Keras [Електронний ресурс]. – 2022. – Режим доступу до ресурсу: https://machinelearningmastery.com/dropout-regularization-deep-learning-models-keras/.
17. A Simple Introduction to Softmax [Електронний ресурс]. – 2023. – Режим доступу до ресурсу: https://medium.com/@hunter-j-phillips/a-simple-introduction-to-softmax-287712d69bac
18. DevOps. Посібник: Як домогтися гнучкості, надійності й безпеки світового рівня в технологічних компаніях / Д.Кім, Д. Хамбл, П. Дебуа, Д. Вілліс. – Харків: Фабула, 2023. – 384 с.
19. Shah A. FastAPI Handbook [Електронний ресурс] / Atharva Shah. – 2023. – Режим доступу до ресурсу: https://www.freecodecamp.org/news/fastapi-quickstart/
20. ASGI (Asynchronous Server Gateway Interface) Specification [Електронний ресурс]. – 2019. – Режим доступу до ресурсу: https://asgi.readthedocs.io/en/latest/specs/main.html
21. Документація Uvicorn [Електронний ресурс]. – 2024. – Режим доступу до ресурсу: https://www.uvicorn.org/
22. Understanding the Levenshtein Distance Equation for Beginners [Електронний ресурс]. – 2019. – Режим доступу до ресурсу: https://medium.com/@ethannam/understanding-the-levenshtein-distance-equation-for-beginners-c4285a5604f0
23. Pandas User Guide [Електронний ресурс]. – 2024. – Режим доступу до ресурсу: https://pandas.pydata.org/docs/user_guide/basics.html
24. Документація TensorFlow [Електронний ресурс]. – 2024. – Режим доступу до ресурсу: https://www.tensorflow.org/
25. Machine Learning – Evaluating classification models [Електронний ресурс]. – 2023. – Режим до ресурсу: https://medium.com/@brandon93.w/machine-learning-evaluating-classification-models-18713af3d764
26. How to Use Python Data Classes [Електронний ресурс]. – 2022. – Режим доступу до ресурсу: https://www.dataquest.io/blog/how-to-use-python-data-classes/
27. Python dataclasses [Електронний ресурс]. – 2024. – Режим доступу до ресурсу: https://docs.python.org/3/library/dataclasses.html
28. Evaluating Multi-Class Classification Model using Confusion Matrix in Python [Електронний ресурс]. – 2024. – Режим доступу до ресурсу: https://medium.com/@gubrani.sanya2/evaluating-multi-class-classification-model-using-confusion-matrix-in-python-4d9344084dfa
29. V. Kozlovskyi, Y. Balanyuk, H. Martyniuk, O. Nazarevych, L. Scherbak and G. Shymchuk, «Information Technology for Estimating City Gas Consumption During the Year,» 2022 International Conference on Smart Information Systems and Technologies (SIST), Nur-Sultan, Kazakhstan, 2022, pp. 1-4, doi: 10.1109/SIST54437.2022.9945786
30. Approach to gas consumption process forecasting on the basis of a mathematical model in the form of a random cyclic process / Serhii Lupenko, Iaroslav Lytvynenko, Oleg Nazarevych, Grigorii Shymchuk, Volodymyr Hotovych // ICAAEIT 2021, 15-17 December 2021. – Tern. : TNTU, Zhytomyr «Publishing house „Book-Druk“» LLC, 2021. – P. 213–219. – (Mathematical modeling in power engineering and information technologies)
31. Lytvynenko, S. Lupenko, O. Nazarevych, G. Shymchuk and V. Hotovych, «Mathematical model of gas consumption process in the form of cyclic random process,» 2021 IEEE 16th International Conference on Computer Sciences and Information Technologies (CSIT), LVIV, Ukraine, 2021, pp. 232-235, doi: 10.1109/CSIT52700.2021.9648621
32. Additive mathematical model of gas consumption process / Iaroslav Lytvynenko, Serhii Lupenko, Oleh Nazarevych, Hryhorii Shymchuk, Volodymyr Hotovych // Scientific Journal of TNTU. – Tern. : TNTU, 2021. – Vol 104. – No 4. – P. 87–97.
33. O. Nazarevych, Y. Leshchyshyn, S. Lupenko, V. Hotovych, G. Shymchuk and N. Shabliy, «Method of Gas Consumption Change-point Detection Based on Seasonally Multicomponent Model,» 2020 10th International Conference on Advanced Computer Information Technologies (ACIT), Deggendorf, Germany, 2020, pp. 152-155, doi: 10.1109/ACIT49673.2020.9208924
34. Y. Leshchyshyn, L. Scherbak, O. Nazarevych, V. Gotovych, P. Tymkiv and G. Shymchuk, «Multicomponent Model of the Heart Rate Variability Change-point,» 2019 IEEE XVth International Conference on the Perspective Technologies and Methods in MEMS Design (MEMSTECH), Polyana, Ukraine, 2019, pp. 110-113, doi: 10.1109/MEMSTECH.2019.8817379
35. Лапін В. М. Безпека життєдіяльності людини / В. М. Лапін., 2007. – 332 с. – (6-те вид., перероб. і доп.)
36. Голобородько В. М. Вибрані глави проективної ергономіки. Антропометричний фактор: навчальний посібник / В. М. Голобородько., 2004. – 216 с.
37. ДСТУ 8604:2015. Дизайн і ергономіка. Робоче місце для виконання робіт у положенні сидячи. Загальні ергономічні вимоги [Текст]. - Чинний від 2017-07-01. - Київ : УкрНДНЦ, 2016. 7 с. (Національний стандарт України)
38. ДСТУ 7299:2013. Дизайн і ергономіка. Робоче місце оператора. Взаємне розташування елементів робочого місця. Загальні вимоги ергономіки [Текст]. - Чинний від 2014-01-01. - Київ : УкрНДНЦ, 2014. 4 с. (Національний стандарт України)
39. ДСТУ 7234:2011. Дизайн і ергономіка. Обладнання виробниче. Загальні вимоги дизайну та ергономіки. [Текст]. - Чинний від 2011-08-01. - Київ : УкрНДНЦ, 2011. 7 с. (Національний стандарт України)
40. НПАОП 0.00-7.15-18. Вимоги щодо безпеки та захисту здоров`я працівників під час роботи з екранними пристроями [Текст]. - Чинний від 2011-08-01. - Київ : УкрНДНЦ, 2018. 5 с. (Національний стандарт України)
41. ДСанПІН 3.3.2.007-98. Державні санітарні правила і норми роботи з візуальними дисплейними терміналами електронно-обчислювальних машин [Текст]. - Чинний від 1998-12-10. - Київ : УкрНДНЦ, 1998. 20 с. (Національний стандарт України)
42. Репозиторій GitHub [Електронний ресурс]. – 2024. – Режим доступу до ресурсу: https://github.com/TNTU-122-Computer-Science/FIS-CS-SN-41-RGashynskyi-2023-2024-Thesis_paper
Content type: Bachelor Thesis
Samling:122 — Компʼютерні науки (бакалаври)

Fulltext och övriga filer i denna post:
Fil Beskrivning StorlekFormat 
2024_KRB_SN-41_Gashynskyi_RI.pdf1,95 MBAdobe PDFVisa/Öppna
Visa fullständig post


Materialet i DSpace är upphovsrättsligt skyddat och får ej användas i kommersiellt syfte!

Administrativa verktyg