Будь ласка, використовуйте цей ідентифікатор, щоб цитувати або посилатися на цей матеріал:
http://elartu.tntu.edu.ua/handle/lib/41908| Назва: | Дослідження інструментів та ресурсів для аналізу великих даних |
| Інші назви: | Tools and Resources Research to Big Data Analysis |
| Автори: | Микитенко, Максим Юрійович Mykytenko, Maksym |
| Приналежність: | ТНТУ ім. І. Пулюя, Факультет комп’ютерно-інформаційних систем і програмної інженерії, Кафедра комп’ютерних наук, м. Тернопіль, Україна |
| Бібліографічний опис: | Микитенко М. Ю. Дослідження інструментів та ресурсів для аналізу великих даних : кваліфікаційна робота бакалавра за спеціальністю 122 «Комп’ютерні науки» / М. Ю. Микитенко. – Тернопіль: ТНТУ, 2023. – 56 с. |
| Дата публікації: | 22-чер-2023 |
| Дата подання: | 8-чер-2023 |
| Дата внесення: | 27-чер-2023 |
| Країна (код): | UA |
| Місце видання, проведення: | ТНТУ ім. І.Пулюя, ФІС, м. Тернопіль, Україна |
| Науковий керівник: | Мацюк, Олександр Васильович |
| Члени комітету: | Семенишин, Галина Мирославівна |
| УДК: | 004.6 |
| Теми: | аналіз даних data analysis база даних database медицина medicine прогнозування forecasting big data python AWS |
| Короткий огляд (реферат): | Кваліфікаційна робота присвячена дослідженню програмних інструментів та спеціалізованих ресурсів для аналізу великих даних. Описано особливості проведення аналізу даних, визначені головні поняття. Наведено види задач, котрі розв’язуються методами аналізу даних. Особлива увага приділена відносно новому напрямку - Big data, який може бути використаний для опрацювання «даних» у багатьох сферах: медицина, бізнес, політика, виробництво тощо. Проаналізовано основні програмні засоби (мова програмування Python з спеціалізованими бібліотеками та надбудовами) та ресурси для аналізу даних (платформа хмарних сервісів Amazon та онлайн ресурс Kaggle). Описано їх основні характеристики і можливості. Також значна увага приділена аналізу даних із застосуванням штучних нейронних мереж. У роботі було реалізовано практичне завдання аналізу даних в медицині, а саме в офтальмології. Проект створено на основі згорткової нейронної мережі, навченої на спеціалізованому наборі даних. Головними завданнями створеного програмного забезпечення є визначення кількості очних залоз на спеціально підготовлених фото. Було підібрано дані, проведено навчання нейронної мережі та написано необхідні скрипти для виконання аналізу даних. Thesis deals with the study of software tools and specialized resources for the analysis of big data. Features of data analysis are described, main concepts are defined. Types of problems solved by data analysis methods are given. Special attention is paid to a relatively new direction - Big data, which can be used to process "data" in many areas: medicine, business, politics, production, etc. The main software tools (Python programming language with specialized libraries and add-ons) and data analysis resources (Amazon cloud services platform and Kaggle online resource) were analyzed. Their main characteristics and capabilities are described. Considerable attention is also paid to data analysis using artificial neural networks. The paper implemented a practical task of data analysis in medicine, namely in ophthalmology. The project is based on a convolutional neural network trained on a specialized data set. The main tasks of the created software are to determine the number of eye glands in specially prepared photos. The data was collected, the neural network was trained and the necessary scripts were written to perform the data analysis. |
| Зміст: | ВСТУП 8 РОЗДІЛ 1. АНАЛІЗ ПРЕДМЕТНОЇ ОБЛАСТІ 10 1.1 Вступ до аналізу даних 10 1.2 Big data як новий рівень розвитку аналізу даних 12 1.3 Застосування Big data у реальному житті 15 РОЗДІЛ 2. ІНСТРУМЕНТИ ТА РЕСУРСИ ДЛЯ АНАЛІЗУ ДАНИХ 22 2.1 Мова програмування Python та її бібліотеки 22 2.2 Онлайн ресурси для аналізу даних 29 2.2.1 Amazon Web Servises 29 2.2.2 Kaggle 31 2.3 Аналіз даних із застосуванням штучних нейромереж 33 РОЗДІЛ 3. ПРАКТИЧНА ЧАСТИНА 37 3.1 Реалізація аналізу даних в офтальмології 37 3.2 Налаштування проекту 38 3.3 Розмітка зображення 39 3.4 Навчання та конфігурація мережі 40 РОЗДІЛ 4. БЕЗПЕКА ЖИТТЄДІЯЛЬНОСТІ, ОСНОВИ ОХОРОНИ ПРАЦІ 46 4.1 Класифікація шкідливих та небезпечних виробничих факторів 45 4.2 Вплив вібрації на людину. 48 ВИСНОВКИ 52 ПЕРЕЛІК ДЖЕРЕЛ 53 ДОДАТКИ |
| URI (Уніфікований ідентифікатор ресурсу): | http://elartu.tntu.edu.ua/handle/lib/41908 |
| Власник авторського права: | © Микитенко Максим Юрійович, 2023 |
| Перелік літератури: | 1. John W. Tukey. The Future of Data Analysis // The Annals of Mathematical Statistics - Vol. 33, No. 1 (Mar., 1962), pp. 1-67. 2. Gregory Piatetsky-Shapiro. [Електронний ресурс]. – Режим доступу: https://en.wikipedia.org/ wiki/Gregory_Piatetsky-Shapiro (Дата звертання: 28.04.2023) 3. Черняк О.І. Інтелектуальний аналіз даних: підручник. – К: Знання, 2014. – 599 с. 4. Zgurovsky M.Z., Zaychenko Y.P. Big Data: Conceptual Analysis and Applications. Springer, 2020. – 298 p. 5. Данильченко О.М., Данильченко А.О. Інтелектуальний аналіз даних: Навч. посібник. – Житомир: ЖДТУ, 2009. – 405 с. 6. Задачі Data Mining та їх класифікація. Інформація та знання [Електронний ресурс]. – Режим доступу: https://moodle.znu.edu.ua/ pluginfile.php/486125/ mod_resource/content/1/Лекція%205.pdf (Дата звертання: 28.04.2023). 7. Ситник В. Ф., Краснюк М. Т. Інтелектуальний аналіз даних (дейтамайнінг): Навч. посібник. — К.: КН ЕУ, 2007. — 376 с. 8. Технології Big Data: ключові характеристики, особливості та переваги. [Електронний ресурс]. – Режим доступу: https://aiconference.com.ua/uk/news/ tehnologii-big-data-klyuchevie-harakteristiki-osobennosti-i-preimushchestva-97883 (Дата звертання: 28.04.2023). 9. Шумейко А. А. Интеллектуальный анализ данных (Введение в Data Mining): учеб. пособ. / А. А. Шумейко, С. Л. Сотник. – Днепропетровск: Белая Е.А., 2012. – 212 с. 10. Вайгенд А. BIG DATA. Вся технология в одной книге. М.: Эксмо, 2018. – 384 с. 11. Що таке Big Data: все що вам слід знати про великі дані? [Електронний ресурс]. – Режим доступу: https://futurenow.com.ua/shho-take-big-data-velyki-dani/ (Дата звертання: 28.04.2023). 12. Волкова С. Просто BIG DATA. СПб.: Страта, 2019. – 148 с. 13. Фрэнк Билл. Революция в аналитике. Как в эпоху Big Data улучшить ваш бизнес с помощью операционной аналитики М.: Альпина Паблишер, 2014. – 430 с. 14. Методи аналізу даних: навчальний посібник для студентів /. В.Є. Бахрушин. – Запоріжжя : КПУ, 2011. – 268 с. 15. Зміни клімату: як глобальне потепління вплине на Землю. [Електронний ресурс]. – Режим доступу: https://www.slovoidilo.ua/2021/10/04/ video/suspilstvo/zminy-klimatu-yak-hlobalne-poteplinnya-vplyne-zemlyu (Дата звертання: 28.04.2023). 16. Python – Object Oriented. [Електронний ресурс]. – Режим доступу: https://www.tutorialspoint.com/python/python_classes_objects.htm (Дата звертання: 28.04.2023). 17. Маккинни У. Python и анализ данных – М.: ДМК Пресс, 2015. 482 с. 18. Силен Д., Мейсман А., Али М. Основы Data Science и Big Data. Python и наука о данных. – СПб.: Питер, 2017. – 336 с. 19. Свейгарт Э. Автоматизация рутинных задач с помощью Python: практическое руководство для начинающих. – М.: Вильямс, 2017. – 573 с. 20. Плас Дж.В. Python для сложных задач. Наука о данных и машинное обучение. – СПб.: Питер, 2018. – 576 c. 21. Jupyter Notebook [Електронний ресурс]. – Режим доступу: https://jupyter.org/ (Дата звертання: 28.04.2023). 22. Рandas [Електронний ресурс]. – Режим доступу: https://github.com/ pandas-dev/pandas (Дата звертання: 28.04.2023). 23. Рandas [Електронний ресурс]. – Режим доступу: https://www.w3schools.com /python/pandas/pandas_intro.asp (Дата звертання: 28.04.2023). 24. NumPy Introduction. [Електронний ресурс]. – Режим доступу: https://www.w3schools.com/python/numpy/numpy_intro.asp (Дата звертання: 28.04.2023). 25. SciPy. Електронний ресурс]. – Режим доступу: https://scipy.org/ (Дата звертання: 28.04.2023). 26. Matplotlib: Visualization with Python. [Електронний ресурс]. – Режим доступу: https://matplotlib.org/ (Дата звертання: 28.04.2023). 27. An introduction to machine learning with scikit-learn [Електронний ресурс]. – Режим доступу: https://scikit-learn.org/stable/tutorial/basic/ tutorial.html (Дата звертання: 28.04.2023). 28. Theano. [Електронний ресурс]. – Режим доступу: https://theano-pymc.readthedocs.io/en/latest/ (Дата звертання: 28.04.2023). 29. TensorFlow. [Електронний ресурс]. – Режим доступу: https://www.tensorflow.org/ (Дата звертання: 28.04.2023). 30. Scrapy. [Електронний ресурс]. – Режим доступу: https://scrapy.org/ (Дата звертання: 28.04.2023). 31. AWS. [Електронний ресурс]. – Режим доступу: https://aws.amazon.com/?nc1=h_ls (Дата звертання: 28.04.2023). 32. Kaggle. [Електронний ресурс]. – Режим доступу: https://www.kaggle.com/ (Дата звертання: 28.04.2023). 33. Open Knowledge Foundation [Електронний ресурс]. – Режим доступу: https://okfn.org (Дата звертання: 28.04.2023). 34. Що таке нейронні мережі та як вони працюють? Класифікація штучних нейромереж [Електронний ресурс]. – Режим доступу: https://livingfo.com/shcho-take-nejronni-merezhi-ta-iak-vony-pratsiuiut/ (Дата звертання: 28.04.2023). 35. Нейронні мережі: їх застосування, робота. [Електронний ресурс]. – Режим доступу: https://www.poznavayka.org/uk/nauka-i-tehnika-2/neyronni-merezhi-yih-zastosuvannya-robota/ (Дата звертання: 28.04.2023). 36. Big Data: the 3 VS explained [Електронний ресурс]. – Режим доступу: https://bigdataldn.com/intelligence/big-data-the-3-vs-explained/ (Дата звертання: 28.04.2023). 37. Зеркалов Д.В. Безпека життєдіяльності та основи охорони праці. Навчальний посібник. К.: «Основа». 2016. – 267 с. 38. Яремко З. М. Безпека життєдіяльності: Навч. посіб. — Львів., 2005. – 301 с. 39. Желібо Є. П. Заверуха Н.М., Зацарний В.В. Безпека життєдіяльності. Навчальний посібник. – К.; Каравела, 2004. – 328 с. |
| Тип вмісту: | Bachelor Thesis |
| Розташовується у зібраннях: | 122 — Компʼютерні науки (бакалаври) |
Файли цього матеріалу:
| Файл | Опис | Розмір | Формат | |
|---|---|---|---|---|
| КРБ_Микитенко.pdf | 1,38 MB | Adobe PDF | Переглянути/відкрити |
Усі матеріали в архіві електронних ресурсів захищені авторським правом, всі права збережені.
Інструменти адміністратора