1. ELARTU — Інституційний репозитарій ТНТУ імені Івана Пулюя
  2. Роботи студентів
  3. Магістр
  4. 122 — комп’ютерні науки
Please use this identifier to cite or link to this item: http://elartu.tntu.edu.ua/handle/lib/47009
Title: Дослідження застосування методів штучного інтелекту для обробки природної мови засобами глибинного навчання
Other Titles: Research on the Use of Artificial Intelligence Methods for Natural Language Processing Using Deep Learning
Authors: Климко, Ігор Михайлович
Klymko, Ihor M.
Affiliation: Тернопільський національний технічний університет імені Івана Пулюя, факультет комп’ютерно-інформаційних систем і програмної інженерії, кафедра комп’ютерних наук, м. Тернопіль, Україна
Bibliographic description (Ukraine): Климко І. М. Дослідження застосування методів штучного інтелекту для обробки природної мови засобами глибинного навчання : робота на здобуття кваліфікаційного ступеня магістра : спец. 122 - комп’ютерні науки / наук. кер. Б. Б. Млинко. Тернопіль : Тернопільський національний технічний університет імені Івана Пулюя, 2024. 95 с.
Issue Date: 26-Dec-2024
Submitted date: 12-Dec-2024
Date of entry: 2-Jan-2025
Publisher: Тернопільський національний технічний університет імені Івана Пулюя
Country (code): UA
Place of the edition/event: ТНТУ ім. І.Пулюя, ФІС, м. Тернопіль, Україна
Supervisor: Млинко, Богдана Богданівна
Mlynko, Bohdana B.
UDC: 004.08
Keywords: мовні моделі
комп’ютерні науки
штучний інтелект
обробка природньої мови
глибинне навчання
deep learning
language models
natural language processing
artificial intelligence
Page range: 95
Abstract: У даній кваліфікаційній роботі досліджується область застосування методів глибинного навчання в обробці природної мови. Основний акцент роботи спрямований на розробку моделі глибинного навчання, яка буде генерувати текстові дані на основі навчальних. У роботі аналізуються сучасні тенденції в галузі обробки природної мови та проводиться детальне вивчення методів, які застосовуються в даній області. Реалізована модель виконує поставлене завдання і здатна генерувати текст, схожий на людський.
This qualification work explores the application of deep learning methods in natural language processing. The main focus of the work is on developing a deep learning model that will generate text data based on training. The work analyzes current trends in the field of vernacular language processing and a detailed study of the methods used in this area. The implemented model fulfills the task and is able to generate human-like text.
Description: Роботу виконано на кафедрі комп'ютерних наук Тернопільського національного технічного університету імені Івана Пулюя. Захист відбудеться 26.12.2024 р. о 13 год. на засіданні екзаменаційної комісії №35 у Тернопільському національному технічному університеті імені Івана Пулюя
Content: ПЕРЕЛІК УМОВНИХ СКОРОЧЕНЬ І ТЕРМІНІВ 5 ВСТУП 8 1 АНАЛІТИЧНА ЧАСТИНА 11 1.1 Поточний стан в галузі обробки природньої мови 11 1.2 Порівняння різних архітектур нейронних мереж для обробки природньої мови 13 1.2.1 Recurrent Neural Networks 13 1.2.2 Long Short-Term Memory 14 1.2.3 Трансформери 14 1.3 Порівняння мовних моделей для генерації і обробки тексту 16 1.3.1 GPT 16 1.3.2 BERT 17 1.3.3 T5 (Text-to-Text Transfer Transformer) 17 1.4 Функціональність розробленої мережі 19 1.5 Висновок до першого розділу 20 2 ТЕОРЕТИЧНА ЧАСТИНА 21 2.1 Загальний опис напряму роботи 21 2.2 Навчання моделей 25 2.3 Рекурентні нейронні мережі 28 2.4 Архітектура LSTM 30 2.5 Обробка природньої мови 32 2.6 Роль статистики у задачах NLP 35 2.7 Висновок до другого розділу 36 3 ПРАКТИЧНА ЧАСТИНА 37 3.1 Огляд інструментів, використаних в роботі 37 3.1.1 Мова програмування Python 37 3.1.2 Бібліотека Numpy 38 3.1.3 Середовище розробки Jupyter Notebook 40 3.2 Фреймворк глибинного навчання 41 3.3 Реалізація мережі 47 3.4 Висновок до третього розділу 52 4 ОХОРОНА ПРАЦІ ТА БЕЗПЕКА В НАДЗВИЧАЙНИХ СИТУАЦІЯХ 53 4.1 Проведення інструктажів з охорони праці 53 4.2 Загальні вимоги безпеки з охорони праці для користувачів ПК 55 4.3 Фактори, що впливають на функціональний стан користувачів комп’ютера 58 4.4 Висновок до четвертого розділу 63 ВИСНОВКИ 64 ДЖЕРЕЛА 65 ДОДАТКИ
URI: http://elartu.tntu.edu.ua/handle/lib/47009
Copyright owner: © Климко Ігор Михайлович, 2024
References (Ukraine): 1. Що таке обробка природної мови (NLP) та як вона може використовуватися у бізнесі [Електронний ресурс] – Режим доступу до ресурсу: https://metinvest.digital/ua/page/1052
2. NLP: Current Trends and Future Directions [Електронний ресурс] – Режим доступу до ресурсу: https://www.linkedin.com/checkpoint/challengesV2/AQF7R6iFmfrWYAAAAZPd-Onm2gybFNvlYli4-NZ59nOxdq3r0prC8s9p2LVml4MbhPG8AHAuFHd6PBKN_NP7Gy0t3AtOW5cdgA?ut=3YkehjQqJH8rA1
3. Word Embedding using Word2Vec [Електронний ресурс] – Режим доступу до ресурсу: https://www.geeksforgeeks.org/python-word-embedding-using-word2vec/
4. What is GPT-3? [Електронний ресурс] – Режим доступу до ресурсу: https://www.techtarget.com/searchenterpriseai/definition/GPT-3
5. Ethical concerns mount as AI takes bigger decision-making role in more industries [Електронний ресурс] – Режим доступу до ресурсу: https://news.harvard.edu/gazette/story/2020/10/ethical-concerns-mount-as-ai-takes-bigger-decision-making-role/
6. The biggest problem with GPT-4 is philosophical: What is truth? And do we trust AI to tell us? [Електронний ресурс] – Режим доступу до ресурсу: https://bigthink.com/the-future/biggest-problem-gpt-4-philosophical-what-is-truth/
7. What is RNN (Recurrent Neural Network)? [Електронний ресурс] – Режим доступу до ресурсу: https://aws.amazon.com/what-is/recurrent-neural-network/
8. What is LSTM – Long Short Term Memory? [Електронний ресурс] – Режим доступу до ресурсу: https://www.geeksforgeeks.org/deep-learning-introduction-to-long-short-term-memory/
9. What Is a Transformer Model? [Електронний ресурс] – Режим доступу до ресурсу: https://blogs.nvidia.com/blog/what-is-a-transformer-model/
10. What is GPT? [Електронний ресурс] – Режим доступу до ресурсу: https://aws.amazon.com/what-is/gpt/
11. BERT language model [Електронний ресурс] – Режим доступу до ресурсу: https://www.techtarget.com/searchenterpriseai/definition/BERT-language-model
12. T5 [Електронний ресурс] – Режим доступу до ресурсу: https://huggingface.co/docs/transformers/model_doc/t5
13. The Ultimate Guide to Building Your Own LSTM Models [Електронний ресурс] – Режим доступу до ресурсу: https://www.projectpro.io/article/lstm-model/832
14. Make your own neural network / Tarik Rashid, 2019. – 272 с
15. Luis Serrano. Grokking Machine Learning, 2023. – 512 c
16. Fryz M., Mlynko B. Property Analysis of Conditional Linear Random Process as a Mathematical Model of Cyclostationary Signal. 2nd International Workshop on Information Technologies: Theoretical and Applied Problems (ITTAP 2022). Ternopil, Ukraine: CEUR Workshop Proceedings, 2022. Vol. 3309. P. 77–82
17. Alexey Grigorev. Machine Learning Bookcamp. Build a portfolio of real-life projects, 2021. – 496 c
18. Як ми вчимося. Чому мозок навчається краще, ніж машина… Поки що / пер. з англ. Юлія Костюк. – 3-тє вид. – К. :Лабораторія, 2023. – 288 с
19. Natural and Artificial Intelligence: A brief introduction to the interplay between AI and neuroscience research [Електронний ресурс] – Режим доступу до ресурсу: https://www.sciencedirect.com/science/article/pii/S0893608021003683
20. Multi-Layer Neural Network [Електронний ресурс] – Режим доступу до ресурсу: http://deeplearning.stanford.edu/tutorial/supervised/MultiLayerNeuralNetworks/
21. What is gradient descent? [Електронний ресурс] – Режим доступу до ресурсу: https://www.ibm.com/think/topics/gradient-descent
22. Introduction to Recurrent Neural Networks [Електронний ресурс] – Режим доступу до ресурсу: https://www.geeksforgeeks.org/introduction-to-recurrent-neural-network/
23. Difference between Jordan, Elman and normal RNN [Електронний ресурс] – Режим доступу до ресурсу: https://datascience.stackexchange.com/questions/82416/difference-between-jordan-elman-and-normal-rnn
24. https://www.geeksforgeeks.org/gated-recurrent-unit-networks/ [Електронний ресурс] – Режим доступу до ресурсу: https://www.geeksforgeeks.org/gated-recurrent-unit-networks/
25. Fryz M., Scherbak L., Mlynko B., Mykhailovych T. Linear Random Process Model-Based EEG Classification Using Machine Learning Techniques. Proceedings of the 1st International Workshop on Computer Information Technologies in Industry 4.0 (CITI 2023). Ternopil, Ukraine: CEUR Workshop Proceedings, 2023. Vol. 3468. P. 126–132
26. M. Fryz, B. Mlynko, Property analysis of multivariate conditional linear random processes in the problems of mathematical modelling of signals, Technology Audit and Production Reserves, 3/2(65), 2022, pp. 29–32
27. AI In Finance: Time Series Forecasting with Recurrent Neural Networks [Електронний ресурс] – Режим доступу до ресурсу: https://www.signitysolutions.com/tech-insights/time-series-forecasting-with-rnn
28. Recurrent neural network for motion trajectory prediction in human-robot collaborative assembly [Електронний ресурс] – Режим доступу до ресурсу: https://www.sciencedirect.com/science/article/abs/pii/S0007850620300998
29. Understanding Architecture of LSTM [Електронний ресурс] – Режим доступу до ресурсу: https://www.analyticsvidhya.com/blog/2021/01/understanding-architecture-of-lstm/
30. An Intuitive Explanation of LSTM [Електронний ресурс] – Режим доступу до ресурсу: https://medium.com/@ottaviocalzone/an-intuitive-explanation-of-lstm-a035eb6ab42c
31. Natural Language Processing (NLP) – Overview [Електронний ресурс] – Режим доступу до ресурсу: https://www.geeksforgeeks.org/natural-language-processing-overview/
32. A Brief History of Natural Language Processing [Електронний ресурс] – Режим доступу до ресурсу: https://www.dataversity.net/a-brief-history-of-natural-language-processing-nlp/
33. Словник NLP [Електронний ресурс] – Режим доступу до ресурсу: https://medium.com/stinopys/%D1%81%D0%BB%D0%BE%D0%B2%D0%BD%D0%B8%D0%BA-nlp-b0fab1027551
34. Exploring Natural Language Processing (NLP) in Translation [Електронний ресурс] – Режим доступу до ресурсу: https://www.shaip.com/blog/nlp-in-translation/
35. What are NLP chatbots and how do they work? [Електронний ресурс] – Режим доступу до ресурсу: https://www.zendesk.com/blog/nlp-chatbot/
36. Text Generation NLP – Everything You Need To Know / Python Code To Get Started [Електронний ресурс] – Режим доступу до ресурсу: https://spotintelligence.com/2022/12/19/text-generation-nlp/
37. Fundamentals of Statistical Natural Language Processing [Електронний ресурс] – Режим доступу до ресурсу: https://www.proxet.com/blog/fundamentals-of-statistical-natural-language-processing
38. Бабак В. П., Марченко М. Є., Фриз. Б. Г. Теорія ймовірностей, випадкові процеси та математична статистика. К.: Техніка, 2004. 288 с
39. M. Fryz, B. Mlynko, Determination of the characteristic function of discrete-time conditional linear random process and its application, Scientific Journal of TNTU. — Tern.: TNTU, 2023. — Vol 109. — No 1. — P. 16–23
40. NLP — Word Embedding & GloVe [Електронний ресурс] – Режим доступу до ресурсу: https://jonathan-hui.medium.com/nlp-word-embedding-glove-5e7f523999f6
41. Transformer Attention Mechanism in NLP [Електронний ресурс] – Режим доступу до ресурсу: https://www.geeksforgeeks.org/transformer-attention-mechanism-in-nlp/
42. Neural networks and statistical techniques: A review of applications [Електронний ресурс] – Режим доступу до ресурсу: https://www.sciencedirect.com/science/article/abs/pii/S0957417407004952?__cf_chl_tk=nhhMjiamBzsEVB5EwXrkCHoUKIFsLCmLjsR6OU_WZD0-1734599769-1.0.1.1-OvKUGdsIHDUcx3Qujo9P.nL0wOl5J9yuylTXZkZ1RQQ
43. Ерік Маттес. Пришвидшений курс Python / Ерік Маттес. – Львів: Видавництво Старого Лева, 2021. – 600 с
44. Python for Machine Learning [Електронний ресурс] – Режим доступу до ресурсу: https://www.geeksforgeeks.org/python-for-machine-learning/
45. Python for Mathematicians [Електронний ресурс] – Режим доступу до ресурсу: https://www.math.purdue.edu/~bradfor3/ProgrammingFundamentals/Python/
46. Python Numpy [Електронний ресурс] – Режим доступу до ресурсу: https://www.geeksforgeeks.org/python-numpy/
47. NumPy Tutorial: Your First Steps Into Data Science in Python [Електронний ресурс] – Режим доступу до ресурсу: https://realpython.com/numpy-tutorial/
48. JupyterLab: A Next-Generation Notebook Interface [Електронний ресурс] – Режим доступу до ресурсу: https://jupyter.org/
49. Jupyter for Data Science [Електронний ресурс] – Режим доступу до ресурсу: https://docs.jupyter.org/en/latest/use/use-cases/data_science.html
50. Andrew W. Trask. Grokking Deep Learning, 2019. – 336 c
51. Text Generation Using LSTM [Електронний ресурс] – Режим доступу до ресурсу: https://bansalh944.medium.com/text-generation-using-lstm-b6ced8629b03
52. Методичні вказівки для написання розділу «Безпека життєдіяльності, основи охорони праці» в кваліфікаційних роботах здобувачів освітнього рівня ,,бакалавр”. Для студентів всіх форм навчання рівень вищої освіти перший ( бакалаврський ) / укл. : О. Я. Гурик , І. Б. Окіпний. – Тернопіль : ТНТУ імені Івана Пулюя, 2021. - 20 с
53. Методичні вказівки до лабораторної роботи № 8 з дисципліни „Основи охорони праці” Дослідження факторів, які впливають на освітленість робочих місць у приміщенні / укл. : О.Я. Гурик, О.І. Король, В.С. Сенчишин. - Тернопіль : ТНТУ імені Івана Пулюя, 2013. - 24 с
54. Вовк Ю. Я. Охорона праці в галузі. Навчальний посібник / Ю. Я. Вовк, І. П. Вовк – Тернопіль: ФОП Паляниця В.А. – 2015. – 172 с
Content type: Master Thesis
Appears in Collections:122 — комп’ютерні науки

Files in This Item:
File Description SizeFormat 
Mag_2024_SNm_61_Klymko_I_M.pdfДипломна робота1,59 MBAdobe PDFView/Open
Show full item record


Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.

Admin Tools