Använd denna länk för att citera eller länka till detta dokument:
http://elartu.tntu.edu.ua/handle/lib/41908| Titel: | Дослідження інструментів та ресурсів для аналізу великих даних |
| Övriga titlar: | Tools and Resources Research to Big Data Analysis |
| Författare: | Микитенко, Максим Юрійович Mykytenko, Maksym |
| Affiliation: | ТНТУ ім. І. Пулюя, Факультет комп’ютерно-інформаційних систем і програмної інженерії, Кафедра комп’ютерних наук, м. Тернопіль, Україна |
| Bibliographic description (Ukraine): | Микитенко М. Ю. Дослідження інструментів та ресурсів для аналізу великих даних : кваліфікаційна робота бакалавра за спеціальністю 122 «Комп’ютерні науки» / М. Ю. Микитенко. – Тернопіль: ТНТУ, 2023. – 56 с. |
| Utgivningsdatum: | 22-jun-2023 |
| Submitted date: | 8-jun-2023 |
| Date of entry: | 27-jun-2023 |
| Country (code): | UA |
| Place of the edition/event: | ТНТУ ім. І.Пулюя, ФІС, м. Тернопіль, Україна |
| Supervisor: | Мацюк, Олександр Васильович |
| Committee members: | Семенишин, Галина Мирославівна |
| UDC: | 004.6 |
| Nyckelord: | аналіз даних data analysis база даних database медицина medicine прогнозування forecasting big data python AWS |
| Sammanfattning: | Кваліфікаційна робота присвячена дослідженню програмних інструментів та спеціалізованих ресурсів для аналізу великих даних. Описано особливості проведення аналізу даних, визначені головні поняття. Наведено види задач, котрі розв’язуються методами аналізу даних. Особлива увага приділена відносно новому напрямку - Big data, який може бути використаний для опрацювання «даних» у багатьох сферах: медицина, бізнес, політика, виробництво тощо. Проаналізовано основні програмні засоби (мова програмування Python з спеціалізованими бібліотеками та надбудовами) та ресурси для аналізу даних (платформа хмарних сервісів Amazon та онлайн ресурс Kaggle). Описано їх основні характеристики і можливості. Також значна увага приділена аналізу даних із застосуванням штучних нейронних мереж. У роботі було реалізовано практичне завдання аналізу даних в медицині, а саме в офтальмології. Проект створено на основі згорткової нейронної мережі, навченої на спеціалізованому наборі даних. Головними завданнями створеного програмного забезпечення є визначення кількості очних залоз на спеціально підготовлених фото. Було підібрано дані, проведено навчання нейронної мережі та написано необхідні скрипти для виконання аналізу даних. Thesis deals with the study of software tools and specialized resources for the analysis of big data. Features of data analysis are described, main concepts are defined. Types of problems solved by data analysis methods are given. Special attention is paid to a relatively new direction - Big data, which can be used to process "data" in many areas: medicine, business, politics, production, etc. The main software tools (Python programming language with specialized libraries and add-ons) and data analysis resources (Amazon cloud services platform and Kaggle online resource) were analyzed. Their main characteristics and capabilities are described. Considerable attention is also paid to data analysis using artificial neural networks. The paper implemented a practical task of data analysis in medicine, namely in ophthalmology. The project is based on a convolutional neural network trained on a specialized data set. The main tasks of the created software are to determine the number of eye glands in specially prepared photos. The data was collected, the neural network was trained and the necessary scripts were written to perform the data analysis. |
| Content: | ВСТУП 8 РОЗДІЛ 1. АНАЛІЗ ПРЕДМЕТНОЇ ОБЛАСТІ 10 1.1 Вступ до аналізу даних 10 1.2 Big data як новий рівень розвитку аналізу даних 12 1.3 Застосування Big data у реальному житті 15 РОЗДІЛ 2. ІНСТРУМЕНТИ ТА РЕСУРСИ ДЛЯ АНАЛІЗУ ДАНИХ 22 2.1 Мова програмування Python та її бібліотеки 22 2.2 Онлайн ресурси для аналізу даних 29 2.2.1 Amazon Web Servises 29 2.2.2 Kaggle 31 2.3 Аналіз даних із застосуванням штучних нейромереж 33 РОЗДІЛ 3. ПРАКТИЧНА ЧАСТИНА 37 3.1 Реалізація аналізу даних в офтальмології 37 3.2 Налаштування проекту 38 3.3 Розмітка зображення 39 3.4 Навчання та конфігурація мережі 40 РОЗДІЛ 4. БЕЗПЕКА ЖИТТЄДІЯЛЬНОСТІ, ОСНОВИ ОХОРОНИ ПРАЦІ 46 4.1 Класифікація шкідливих та небезпечних виробничих факторів 45 4.2 Вплив вібрації на людину. 48 ВИСНОВКИ 52 ПЕРЕЛІК ДЖЕРЕЛ 53 ДОДАТКИ |
| URI: | http://elartu.tntu.edu.ua/handle/lib/41908 |
| Copyright owner: | © Микитенко Максим Юрійович, 2023 |
| References (Ukraine): | 1. John W. Tukey. The Future of Data Analysis // The Annals of Mathematical Statistics - Vol. 33, No. 1 (Mar., 1962), pp. 1-67. 2. Gregory Piatetsky-Shapiro. [Електронний ресурс]. – Режим доступу: https://en.wikipedia.org/ wiki/Gregory_Piatetsky-Shapiro (Дата звертання: 28.04.2023) 3. Черняк О.І. Інтелектуальний аналіз даних: підручник. – К: Знання, 2014. – 599 с. 4. Zgurovsky M.Z., Zaychenko Y.P. Big Data: Conceptual Analysis and Applications. Springer, 2020. – 298 p. 5. Данильченко О.М., Данильченко А.О. Інтелектуальний аналіз даних: Навч. посібник. – Житомир: ЖДТУ, 2009. – 405 с. 6. Задачі Data Mining та їх класифікація. Інформація та знання [Електронний ресурс]. – Режим доступу: https://moodle.znu.edu.ua/ pluginfile.php/486125/ mod_resource/content/1/Лекція%205.pdf (Дата звертання: 28.04.2023). 7. Ситник В. Ф., Краснюк М. Т. Інтелектуальний аналіз даних (дейтамайнінг): Навч. посібник. — К.: КН ЕУ, 2007. — 376 с. 8. Технології Big Data: ключові характеристики, особливості та переваги. [Електронний ресурс]. – Режим доступу: https://aiconference.com.ua/uk/news/ tehnologii-big-data-klyuchevie-harakteristiki-osobennosti-i-preimushchestva-97883 (Дата звертання: 28.04.2023). 9. Шумейко А. А. Интеллектуальный анализ данных (Введение в Data Mining): учеб. пособ. / А. А. Шумейко, С. Л. Сотник. – Днепропетровск: Белая Е.А., 2012. – 212 с. 10. Вайгенд А. BIG DATA. Вся технология в одной книге. М.: Эксмо, 2018. – 384 с. 11. Що таке Big Data: все що вам слід знати про великі дані? [Електронний ресурс]. – Режим доступу: https://futurenow.com.ua/shho-take-big-data-velyki-dani/ (Дата звертання: 28.04.2023). 12. Волкова С. Просто BIG DATA. СПб.: Страта, 2019. – 148 с. 13. Фрэнк Билл. Революция в аналитике. Как в эпоху Big Data улучшить ваш бизнес с помощью операционной аналитики М.: Альпина Паблишер, 2014. – 430 с. 14. Методи аналізу даних: навчальний посібник для студентів /. В.Є. Бахрушин. – Запоріжжя : КПУ, 2011. – 268 с. 15. Зміни клімату: як глобальне потепління вплине на Землю. [Електронний ресурс]. – Режим доступу: https://www.slovoidilo.ua/2021/10/04/ video/suspilstvo/zminy-klimatu-yak-hlobalne-poteplinnya-vplyne-zemlyu (Дата звертання: 28.04.2023). 16. Python – Object Oriented. [Електронний ресурс]. – Режим доступу: https://www.tutorialspoint.com/python/python_classes_objects.htm (Дата звертання: 28.04.2023). 17. Маккинни У. Python и анализ данных – М.: ДМК Пресс, 2015. 482 с. 18. Силен Д., Мейсман А., Али М. Основы Data Science и Big Data. Python и наука о данных. – СПб.: Питер, 2017. – 336 с. 19. Свейгарт Э. Автоматизация рутинных задач с помощью Python: практическое руководство для начинающих. – М.: Вильямс, 2017. – 573 с. 20. Плас Дж.В. Python для сложных задач. Наука о данных и машинное обучение. – СПб.: Питер, 2018. – 576 c. 21. Jupyter Notebook [Електронний ресурс]. – Режим доступу: https://jupyter.org/ (Дата звертання: 28.04.2023). 22. Рandas [Електронний ресурс]. – Режим доступу: https://github.com/ pandas-dev/pandas (Дата звертання: 28.04.2023). 23. Рandas [Електронний ресурс]. – Режим доступу: https://www.w3schools.com /python/pandas/pandas_intro.asp (Дата звертання: 28.04.2023). 24. NumPy Introduction. [Електронний ресурс]. – Режим доступу: https://www.w3schools.com/python/numpy/numpy_intro.asp (Дата звертання: 28.04.2023). 25. SciPy. Електронний ресурс]. – Режим доступу: https://scipy.org/ (Дата звертання: 28.04.2023). 26. Matplotlib: Visualization with Python. [Електронний ресурс]. – Режим доступу: https://matplotlib.org/ (Дата звертання: 28.04.2023). 27. An introduction to machine learning with scikit-learn [Електронний ресурс]. – Режим доступу: https://scikit-learn.org/stable/tutorial/basic/ tutorial.html (Дата звертання: 28.04.2023). 28. Theano. [Електронний ресурс]. – Режим доступу: https://theano-pymc.readthedocs.io/en/latest/ (Дата звертання: 28.04.2023). 29. TensorFlow. [Електронний ресурс]. – Режим доступу: https://www.tensorflow.org/ (Дата звертання: 28.04.2023). 30. Scrapy. [Електронний ресурс]. – Режим доступу: https://scrapy.org/ (Дата звертання: 28.04.2023). 31. AWS. [Електронний ресурс]. – Режим доступу: https://aws.amazon.com/?nc1=h_ls (Дата звертання: 28.04.2023). 32. Kaggle. [Електронний ресурс]. – Режим доступу: https://www.kaggle.com/ (Дата звертання: 28.04.2023). 33. Open Knowledge Foundation [Електронний ресурс]. – Режим доступу: https://okfn.org (Дата звертання: 28.04.2023). 34. Що таке нейронні мережі та як вони працюють? Класифікація штучних нейромереж [Електронний ресурс]. – Режим доступу: https://livingfo.com/shcho-take-nejronni-merezhi-ta-iak-vony-pratsiuiut/ (Дата звертання: 28.04.2023). 35. Нейронні мережі: їх застосування, робота. [Електронний ресурс]. – Режим доступу: https://www.poznavayka.org/uk/nauka-i-tehnika-2/neyronni-merezhi-yih-zastosuvannya-robota/ (Дата звертання: 28.04.2023). 36. Big Data: the 3 VS explained [Електронний ресурс]. – Режим доступу: https://bigdataldn.com/intelligence/big-data-the-3-vs-explained/ (Дата звертання: 28.04.2023). 37. Зеркалов Д.В. Безпека життєдіяльності та основи охорони праці. Навчальний посібник. К.: «Основа». 2016. – 267 с. 38. Яремко З. М. Безпека життєдіяльності: Навч. посіб. — Львів., 2005. – 301 с. 39. Желібо Є. П. Заверуха Н.М., Зацарний В.В. Безпека життєдіяльності. Навчальний посібник. – К.; Каравела, 2004. – 328 с. |
| Content type: | Bachelor Thesis |
| Samling: | 122 — Компʼютерні науки (бакалаври) |
Fulltext och övriga filer i denna post:
| Fil | Beskrivning | Storlek | Format | |
|---|---|---|---|---|
| КРБ_Микитенко.pdf | 1,38 MB | Adobe PDF | Visa/Öppna |
Materialet i DSpace är upphovsrättsligt skyddat och får ej användas i kommersiellt syfte!
Administrativa verktyg