1. ELARTU — Інституційний репозитарій ТНТУ імені Івана Пулюя
  2. Роботи студентів
  3. Магістр
  4. 124 — системний аналіз
Veuillez utiliser cette adresse pour citer ce document : http://elartu.tntu.edu.ua/handle/lib/51437
Pealkiri: Технологія проєктування архітектури трансформера для класифікації багатовимірних часових рядів
Teised pealkirjad: Transformer architecture design technology for multidimensional time series classification
Autor: Лісовий, Володимир Григорович
Lisovyi, Volodymyr
Affiliation: Тернопільський національний технічний університет імені Івана Пулюя, факультет комп’ютерно-інформаційних систем та програмної інженерії, кафедра систем штучного інтелекту та аналізу даних, м. Тернопіль, Україна
Bibliographic description (Ukraine): Лісовий В. Г. Технологія проєктування архітектури трансформера для класифікації багатовимірних часових рядів : робота на здобуття кваліфікаційного ступеня магістра : спец. 124 – cистемний аналіз / наук. кер. Яцишин Василь Володимирович. Тернопіль : Тернопільський національний технічний університет імені Івана Пулюя, 2025. 71 с.
Ilmumisaasta: 23-det-2025
Submitted date: 16-jaa-2025
Date of entry: 27-jaa-2026
Kirjastaja: Тернопільський національний технічний університет імені Івана Пулюя
Country (code): UA
Place of the edition/event: ТНТУ ім. І.Пулюя, ФІС, м. Тернопіль, Україна
Supervisor: Яцишин, Василь Володимирович
Märksõnad: багатовимірний часовий ряд
multidimensional time series
гіперпараметри
hyperparameters
енкодер
encoder
патч
patch
трансформер
transformer
Number of pages: 71
Kokkuvõte: Кваліфікаційна робота спрямована на створення архітектури трансформера для класифікації багатовимірних часових рядів, яка дає змогу враховувати взаємозв'язки між усіма вимірами, а також і вздовж кожного виміру часового ряду. Архітектура дозволить виявляти закономірності багатовимірних часових рядів та покращити результати класифікації для різних завдань. У першій частині наведено особливості проведення аналізу часових рядів із використанням методів машинного навчання та трансформерів для їх класифікації. Описані основні підходи до вирішення задачі класифікації багатовимірних часових рядів. Також у цій частині виявляються основні недоліки існуючих методів. У другій частині наведена архітектура розроблюваної моделі. Докладно описано дані з тестового набору для оцінки розробленої моделі. У третій частині виявляються основні характеристики використовуваних даних, описується розроблений інструмент автоматичного підбору гіперпараметрів моделі. Докладно розкриваються кроки тестування та його результати. Розділ закінчується виявленням впливу особливостей розробленої архітектури на результати тестування
Thesis is aimed at creating a transformer architecture for classifying multidimensional time series, which allows taking into account the relationships between all dimensions, as well as along each dimension of the time series. The architecture will allow identifying patterns in multidimensional time series and improving classification results for various tasks. The first part presents the features of time series analysis using machine learning methods and transformers for their classification. The main approaches to solving the problem of classifying multidimensional time series are described. This part also reveals the main shortcomings of existing methods. The second part presents the architecture of the developed model. The data from the test set for evaluating the developed model is described in detail. The third part reveals the main characteristics of the data used, describes the developed tool for automatic selection of model hyperparameters. The testing steps and its results are disclosed in detail. The section ends with identifying the influence of the features of the developed architecture on the testing results.
Content: Вступ ... 9 1 Аналіз предметної області ...11 1.1 Проведення аналізу часових рядів із використанням методів машинного навчання ...11 1.2 Застосування моделей трансформерів для класифікації багатовимірних часових рядів ...14 1.3 Стратегії токенізації ...17 1.3.1 TPT ...18 1.3.2 TVT ... 18 1.3.3 Patching ...18 1.4 Недоліки застосування існуючих моделей трансформерів для класифікації багатовимірних часових рядів...19 1.5 Висновки до першого розділу ....21 2 Теоретична частина ...22 2.1 Архітектура розроблюваної моделі ...22 2.2 Опис даних для оцінки розробленої моделі ...24 2.3 Висновки до другого розділу ...40 3 Практична частина ... 41 3.1 Інструмент автоматичного підбору гіперпараметрів ... 41 3.1.1 Алгоритм роботи інструменту ... 41 3.1.2 Інтерфейс інструменту ...43 3.1.3 Алгоритм використання інструменту ...46 3.2 Тестування розробленої моделі ... 47 3.3 Вплив особливостей розробленої моделі ...50 3.3.1 Вплив розміру патчу...50 3.3.2 Вплив кількості енкодерів ...53 3.4 Висновки до третього розділу...55 4 Охорона праці та безпека в надзвичайних ситуаціях...56 4.1 Закордонний досвід організації охорони праці в ІТ-компаніях...56 4.2 Оцінка дії електромагнітного імпульсу на елементи комп’ютерної системи...60 4.3 Висновки до четвертого розділу ... 63 Висновки ...64 Перелік джерел ...66 Додатки
URI: http://elartu.tntu.edu.ua/handle/lib/51437
Copyright owner: © Лісовий Володимир Григорович, 2025
References (Ukraine): 1. Christopher Chatfield. The Analysis of Time Series: Theory and Practice / Christopher Chatfield. New York: Springer-Science+Business Media, B.V., 2013. 263 с.
2. Abdullayeva F., Imamverdiyev Y. Development of oil production forecasting method based on deep learning //Statistics, Optimization & Information Computing. 2019. V. 7. №. 4. P. 826-839.
3. Liu X. et al. Deep learning in ECG diagnosis: A review //Knowledge-Based Systems. 2021. V. 227. P. 107187.
4. Assaad R. H., Fayek S. Predicting the price of crude oil and its fluctuations using computational econometrics: deep learning, LSTM, and convolutional neural networks //Econometric Research in Finance. 2021. V. 6. №. 2. P. 119-137.
5. Ozbayoglu A. M., Gudelek M. U., Sezer O. B. Deep learning for financial applications: A survey //Applied Soft Computing. 2020. V. 93. P. 106384.
6. Jansen S. Machine Learning for Algorithmic Trading: 2020. [Електронний ресурс] – Режим доступу: https://www.amazon.com/Machine-Learning-Algorithmic-Tradingalternative/dp/1839217715 (дата звернення: 18.11.2025).
7. Leveraging XGBoost for Time-Series Forecasting. [Електронний ресурс] – Режим доступу https://www.kdnuggets.com/2023/08/leveraging-xgboost-timeseries-forecasting.html (дата звернення: 19.11.2025).
8. Берзлев О. Ю. Сучасний стан інформаційних систем прогнозування часових рядів / О. Ю. Берзлев // ДВНЗ «Ужгородський національний університет». 2013. №13. С. 78–82.
9. Кащєєва В. Ю. Інформаційна технологія аналізу багатокомпонентних процесів за часовими рядами на основі інтервальних прогнозних моделей : автореф. дис. ... канд. техн. наук : 05.13.06. Харків, 2014.
10. Roy, Y., Banville, H., Albuquerque, I., Gramfort, A., Falk, T. H., & Faubert, J. (2019). Deep learning-based electroencephalography analysis: a systematic review. Journal of Neural Engineering, 16(5), 051001.
11. Lai R. K. et al. Evolving and clustering fuzzy decision tree for financial time series data forecasting //Expert Systems with Applications. 2009. V. 36. №. 2. P. 3761-3773.
12. Chen Y. et al. Dtw-d: time series semi-supervised learning from a single example //Proceedings of the 19th ACM SIGKDD international conference on Knowledge discovery and data mining. 2013. P. 383-391.
13. Siami-Namini S., Tavakoli N., Namin A. S. The performance of LSTM and BiLSTM in forecasting time series //2019 IEEE International conference on big data (Big Data). IEEE, 2019. P. 3285-3292.
14. Wang Z., Yan W., Oates T. Time series classification from scratch with deep neural networks: A strong baseline //2017 International joint conference on neural networks (IJCNN). EEE, 2017. P. 1578-1585.
15. Yue Z. et al. Ts2vec: Towards universal representation of time series //Proceedings of the AAAI Conference on Artificial Intelligence. 2022. V. 36. №. 8. P. 8980-8987.
16. Vaswani, A., et al. Attention Is All You Need. Proceedings of the 31st International Conference on Neural Information Processing Systems, Long Beach, 4-9 December 2017, pp. 6000-6010
17. Yun C. et al. Are transformers universal approximators of sequence-tosequence functions? //arXiv preprint arXiv:1912.10077. 2019.
18. Zhou H. et al. Informer: Beyond efficient transformer for long sequence timeseries forecasting //Proceedings of the AAAI conference on artificial intelligence. 2021. V. 35. №. 12. P. 11106-11115
19. Wu H. et al. Autoformer: Decomposition transformers with auto-correlation for long-term series forecasting //Advances in Neural Information Processing Systems. 2021. V. 34. P. 22419-22430.
20. Zhou T. et al. Fedformer: Frequency enhanced decomposed transformer for long-term series forecasting //International Conference on Machine Learning. – PMLR, 2022. P. 27268-27286
21. Zeng A. et al. Are transformers effective for time series forecasting? //Proceedings of the AAAI conference on artificial intelligence. 2023. V. 37. №. 9. P. 11121-11128.
22. Nie Y. et al. A time series is worth 64 words: Long-term forecasting with transformers //arXiv preprint arXiv:2211.14730. 2022.
23. Yu C. et al. DSformer: a double sampling transformer for multivariate time series long-term prediction //Proceedings of the 32nd ACM International Conference on Information and Knowledge Management. 2023. P. 3062-3072
24. Wen Q. et al. Transformers in time series: A survey //arXiv preprint arXiv:2202.07125. 2022, V.5, P.19-27.
25. Zhou Z. et al. A K-variate Time Series Is Worth K Words: Evolution of the Vanilla Transformer Architecture for Long-term Multivariate Time Series Forecasting //arXiv preprint arXiv:2212.02789. 2022.
26. Bagnall A. et al. The UEA multivariate time series classification archive, //arXiv preprint arXiv:1811.00075. 2018
27. Zerveas G. et al. A transformer-based framework for multivariate time series representation learning //Proceedings of the 27th ACM SIGKDD conference on knowledge discovery & data mining. 2021. P. 2114-2124.
28. Devlin J. et al. Bert: Pre-training of deep bidirectional transformers for language understanding //arXiv preprint arXiv:1810.04805. 2018.
29. Liu M. et al. Gated transformer networks for multivariate time series classification //arXiv preprint arXiv:2103.14438. 2021.
30. Baydogan M. G., Runger G. Learning a symbolic representation for multivariate time series classification //Data Mining and Knowledge Discovery. 2015. V. 29. P. 400-422.
31. Chowdhury R. R. et al. Tarnet: Task-aware reconstruction for time-series transformer //Proceedings of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. 2022. P. 212-220.
32. Yang C. et al. Dyformer: A dynamic transformer-based architecture for multivariate time series classification //Information Sciences. 2024. V. 656.P. 119881.
33. Yang C. H. H., Tsai Y. Y., Chen P. Y. Voice2series: Reprogramming acoustic models for time series classification //International conference on machine learning. PMLR, 2021. P. 11808-11819.
34. Rußwurm M., Körner M. Self-attention for raw optical satellite time series classification //ISPRS journal of photogrammetry and remote sensing. 2020. V. 169. P. 421-435
35. Webster J. J., Kit C. Tokenization as the initial phase in NLP //COLING 1992 volume 4: The 14th international conference on computational linguistics. 1992.
36. Su L. et al. Beyond Two-Tower Matching: Learning Sparse Retrievable CrossInteractions for Recommendation //Proceedings of the 46th International ACM SIGIR Conference on Research and Development in Information Retrieval. 2023. p. 548-557.
37. Лісовий В.Г. Архітектура трансформера для класифікації багатовимірних часових рядів // XIV Міжнародна науково-практична конференція молодих учених та студентів «Актуальні задачі сучасних технологій», Тернопіль, 11-12. Грудня 2025 р. с. 289 - 291.
38. Лісовий В.Г., Семенишин Г.М. Алгоритм роботи програмного інструменту автоматичного підбору гіперпараметрів трансформера // Інформаційні моделі, системи та технології: Праці XІІІ наук.-техн. конф. Тернопіль, 17-18 грудня 2025 р. с. 56-57.
39. Python Documentation. [Електронний ресурс] – Режим доступу: https://www.python.org/ (дата звертання: 16.11.2025).
40. Gradio Documentation [Електронний ресурс] – Режим доступу: https://www.gradio.app/ (дата звертання: 17.11.2025).
41. Zhou T. et al. Fedformer: Frequency enhanced decomposed transformer for long-term series forecasting //International Conference on Machine Learning. PMLR, 2022. P. 27268-27286.
42. Yatsyshyn V., Pastukh O., Palamar A., Zharovskyy R. Technology of relational database management systems performance evaluation during computer systems design. Scientific Journal of TNTU, Ternopil, Ukraine, 2023. Vol. 109, No 1. P. 54–65.
43. Skorenkyy Y., Kozak R., Zagorodna N., Kramar O., Baran, I. Use of augmented reality-enabled prototyping of cyber-physical systems for improving cybersecurity education. Journal of Physics: Conference Series. 2021. Vol. 1840, No. 1. DOI: http://dx.doi.org/10.1088/1742-6596/1840/1/012026.
44. Микитишин А. Г., Митник М. М., Стухляк П. Д., Пасічник В. В. Комп’ютерні мережі. Книга 2. [навчальний посібник]. Львів : "Магнолія 2006", 2014. 312 с.
45. Микитишин А. Г., Митник М. М., Стухляк П. Д. Телекомунікаційні системи та мережі. Тернопіль: Тернопільський національний технічний університет імені Івана Пулюя, 2017. 384 с.
46. Сьогодні UA [Електронний ресурс] – Режим доступу: https://www.segodnya.ua/lifestyle/fun/pochti-kak-u-googlechemudivlyayut-ofisy-ukrainskih-it-kompaniy--764025.html (дата звертання 10.12.2025).
47. Як працюють в Google? Умови, в яких хочеться трудитися. [Електронний ресурс] – Режим доступу: http://www.clevers.com.ua/articles-cleveradvertising-agency/success-stories/245-google2 (дата звертання 10.12.2025).
48. Офіс мрії: Робота в компанії Google. [Електронний ресурс] – Режим доступу:http://bigpicture.ua/?p=187580 (дата звертання 11.12.2025).
49. Офіс Facebook: Репортаж із RMA SiliconTrip. [Електронний ресурс] – Режим доступу:https://habrahabr.ru/company/rma/blog/103800/ (дата звертання 11.12.2025).
50. Класифікатор професій ДК 003:2010. [Електронний ресурс] – Режим доступу: https://zakon.rada.gov.ua/rada/show/va327609-10 (дата звертання 11.12.2025).
51. Закон України «Про охорону праці». [Електронний ресурс] – Режим доступу: https://zakon.rada.gov.ua/laws/show/2694-12 (дата звертання 12.12.2025).
52. ДНАОП 0.00-8.20-99. Порядок проведення експертизи електроустановок споживачів/ [Електронний ресурс] – Режим доступу: https://dnaop.com/html/43255/doc-%D0%94%D0%9D%D0%90%D0%9E%D0 %9F _ 0.00-8.20-99 - (дата звертання 12.12.2025).
53. Безпека в надзвичайних ситуаціях. Методичний посібник для здобувачів освітнього ступеня «магістр» всіх спеціальностей денної та заочної (дистанційної) форм навчання / укл.: Стручок В. С. Тернопіль: ФОП Паляниця В. А., 2022. 156 с.
Content type: Master Thesis
Asub kollektsiooni(de)s:124 — системний аналіз

Failid selles objektis:
Fail Kirjeldus SuurusFormaat 
Mag_Lisovyi_V_G_2025.pdf2,88 MBAdobe PDFVaata/Ava
авторська довідка_Biblio_SAm-61_Lisovyi_2025.docx31,57 kBMicrosoft Word XMLVaata/Ava
Näita täiskirjet Vaata statistikat


Kõik teosed on Dspaces autoriõiguste kaitse all.

Outils d'administration