Будь ласка, використовуйте цей ідентифікатор, щоб цитувати або посилатися на цей матеріал: http://elartu.tntu.edu.ua/handle/lib/33439
Назва: Розробка математичного та програмного забезпечення для дослідження та виділення ключових слів у задачах виявлення екстремістської інформації в мережі інтернет
Інші назви: Development of mathematical and software support for the key words study and highlighting in the problems on extremist information identification in the Internet
Автори: Жаврук, Роман Андрійович
Zhavruk, Roman Andriiovych
Бібліографічний опис: Жаврук Р. А. Розробка математичного та програмного забезпечення для дослідження та виділення ключових слів у задачах виявлення екстремістської інформації в мережі інтернет : дипломна робота магістра за спеціальністю „125 — кібербезпека“ / Р. А. Жаврук. — Тернопіль : ТНТУ, 2020. — 66 с.
Дата публікації: гру-2020
Дата внесення: 24-гру-2020
Країна (код): UA
Місце видання, проведення: Тернопільський національний технічний університет імені Івана Пулюя
Науковий керівник: Карпінський, Микола Петрович
УДК: 004.056.3
Теми: карти Кохонена
кластеризація текстів
публічні тексти
мережа Інтернет
Kohonen maps
text clustering
public texts
Internet
Кількість сторінок: 66
Короткий огляд (реферат): Дана магістерська кваліфікаційна робота присвячена дослідженню методів пошуку та виділення ключових слів для виявлення екстремістської інформації в публічних текстах з мережі інтернет. Проведено дослідження методів та інструментів для кластеризації публічних текстів з метою виявлення текстів екстремістської напрвленості. Для визначення ключових слів з публічних текстів запропоновано виикористання карт Кохонена. В роботі запропоновано програмне забезпечення, яке дозволяє проводити частотний аналіз публічних текстів з мережі Інтернет з метою виявлення екстремістської інформації. У першому розділі наведено існуючі підходи до аналізу текстів. У другому розділі проведено порівняльний аналіз методів, які застосовуються для аналізу публічних текстів. Описано алгоритм використання карт Кохонена для виявлення ключових слів для аналізу екстремістської інформації. У третьому розділі наведено опис програмного забезпечення, яке імплементує Запропоновану методику. У підрозділі «Охорона праці» розглянуто правила охорони праці під час експлуатації електронно-обчислювальних машин. У підрозділі «Безпека життєдіяльності» описано окремі питання безпеки у виробничих приміщеннях
This master's thesis is devoted to the study of methods of search and selection of keywords to identify extremist information in public texts on the Internet. A study of methods and tools for clustering public texts in order to identify extremist texts. The use of Kohonen maps has been suggested to determine keywords from public texts. The paper proposes software that allows frequent analysis of public texts from the Internet in order to detect the detection of extremist information. The first chapter presents existing approaches to text analysis. The second chapter provides a comparative analysis of the methods used to analyze public texts. An algorithm for using Kohonen maps to identify keywords for analyzing extremist information is described. The third chapter describes the software that implements the proposed technique. In the subsection «Occupational safety» the rules of occupational safety during operation of electronic computers are considered. In the subsection «Safety of life» separate questions of safety in industrial premises are described.
Опис: Роботу виконано на кафедрі кібербезпеки Тернопільського національного технічного університету імені Івана Пулюя Міністерства освіти і науки України Керівник роботи: кд.т.н., проф. кафедри кібербезпеки Карпінський Микола Петрович, Тернопільський національний технічний університет імені Івана Пулюя Рецензент: к.т.н., професор кафедри комп’ютерних наук Приймак Микола Володимирович, Тернопільський національний технічний університет імені Івана Пулюя
Зміст: ВСТУП .. 8 1 ТЕОРЕТИЧНА ЧАСТИНА ..10 1.1 Огляд методів аналіз текстів...10 1.2 Огляд методів кластеризації текстової інформації ..12 1.3 Висновки до розділу 1 ... 18 2 ДОСЛІДЖЕННЯ АЛГОРИТМУ SOM ЗАСОБІВ ДЛЯ ВИЯВЛЕННЯ КЛЮЧОВИХ СЛІВ У ПУБЛІЧНИХ ТЕКСТАХ .. 20 2.1 Порівняльна характеристика алгоритмів кластеризації текстової інформації .. 20 2.2 Якісне введення в самоорганізовані карти ..21 2.3 Вихідний покроковий алгоритм SOM ... 23 2.4 Алгоритм SOM, заснований на скалярному добутку .. 26 2.5 Налаштування алгоритму... 27 2.5.1 Вибір початкового наближення ...27 2.5.2 Вибір швидкості навчання мережі ...28 2.5.3 Вибір функції сусідства між нейронами .. 28 2.5.4 Алгоритм роботи карти .... 29 2.6 Макроструктура алгоритму ....29 2.7 Самоорганізовані карти для символьних рядків ... 30 2.7.1 Ініціалізація SOM для рядків ...31 2.7.2 Пакетний варіант самоорганізуючої карти для рядків ... 32 2.7.3 Виявлення переможця в ситуації нерозрізненості порівнюваних рядків .... 33 2.8 Висновки до розділу 2 ...34 3 ПРАКТИЧНА ЧАСТИНА. проектування програмного забезпечення для аналізу публічних текстів ..... 35 3.1 Проектування програмного забезпечення для аналізу публічних текстів ... 35 3.1.1 Функціональні вимоги .. 35 3.1.2 Нефункціональні вимоги ... 36 3.2 Розробка системної програмної архітектури ... 37 3.2.1 Вибір цільового варіанту архітектури ПЗ ....38 3.3 Діаграма компонент .... 40 3.4 Вибір інструментальних програмних засобів та інформаційних технологій ...40 3.3 Висновки до розділу 3 ....44 4 приклад застосування розробленого програмного забезпечення ..46 4.1 Особливості реалізації програмного забезпечення .. 46 4.2 Аналіз результатів.. 50 4.3 Висновки до розділу 4 ...52 5 ОХОРОНА ПРАЦІ ТА БЕЗПЕКА В НАДЗВИЧАЙНИХ СИТУАЦІЯХ . 53 5.1 Охорона праці ..... 53 5.2 Безпека в надзвичайних ситуаціях ....56 5.2.1 Техніка безпеки ... 56 5.2.2 Пожежна безпека ... 58 ВИСНОВКИ .. 61 СПИСОК ЛІТЕРАТУРНИХ ДЖЕРЕЛ .....62 ДОДАТКИ
URI (Уніфікований ідентифікатор ресурсу): http://elartu.tntu.edu.ua/handle/lib/33439
Власник авторського права: „© Жаврук Роман Андрійович, 2020“
Перелік літератури: 1. О.В. Митина А.С Евдокименко Методы анализа текста: методологиче-ские основания и программная реализация. – Москва: «Вестник», 2017. 2. Alexa, М. Text Analysis Software: Commonalities, Differences and Limita-tions: The Results of a Review / M. Alexa, C. Zuell – Springer Netherlands, 2016. – P. 299-321. 3. Brown, G. Discourse analysis / G. Brown, G. Yule. – Cambridge, 2017. 4. Franzosi, R Quantitative Narrative Analysis (Quantitative Applications in the Social Sciences) / R. Franzosi. – Beverly Hills, CA: Sage, 2017. – 200 p. 5. Labov, W. Sociolinguistic patterns / W. Labov. — Pennsylvania: University of Pennsylvania, 2016. 6. Oren Eli Zamir. A Phrase-Based Method for Grouping Search Engine Re-sults. University of Washington, Department of Science & Engineering. – 2018. 7. L.A Soshnikova, V.N. Tamashevich, G. Uebe, M. Sheffer. Multidimension-al statistical analysis in economics – Uniti:Moscow, 2016. 8. А.М.Дубров, В.С.Мхитарян, Л.И.Трошин., Многомерные статистиче-ские методы. – Москва «Финансы и Статистика», 2016. 9. Michael W. Berry, Todd A. Letsche. Computational Methods for Intelligent Information Access. Department of Computer Science University of Tennessee Knoxville, TN 37996-13031 ./ Susan T. Dumains: Information science Research Group. Bellcore, 445 South Street Room 2L-371, Morristown, NJ 07962-1910. – 2018. 10. Susan T. Dumains, George W. Furnas, Thomas K.Landauer. Indexing by Latent Semantic Analysis. Bell Communications Research – 435 South St. Morris-town, NJ 07960. – Richard Rashman:University Of Western Ontario., 2017. 11. Esko Ukkonen. On-line construction of suffix trees. – Department of Com-puter Science, University of Helsinki, PO Box 26 (Teollisuuskatu 23), FIN-00014 HUT, – Finland., 2017. 63 12. Alan Griffiths, H. Claire Luckhurst, and Peter Willett. Using Interdocument Similarity Information in Document Retrieval Systems. – Department of Information Studies, University of Sheffield, Western Bank, Sheffield S10 2TN, United Kingdom, 2017 p.365-373. 13. Voorhees E.M. Implementing agglomerative hierarchical clustering algo-rithms for use in document retrieval. Information Processing and Management, 2016. 14. Douglass R.Cutting, David R.Karger, Jan O.Pedersen, John W.Turkey. Scatter/Gather: a Cluster-based Approach to Browsing Large Document Collections., 2016. 15. Dan Pelleg, Andrew Moore. X-means: Extending K-means with Efficient Estimation of the Number of Clusters. School of Computer Science, Carnegie Mellon University, – Pittsburgh, PA 15213 USA., 2017. 16. С.А. Айвазян, В.С. Мхитарян. Прикладная статистика и основы эконо-метрики 3-e издание. Издательское объединение “ЮНИТИ”, – Москва., 2017. 17. Eui-Hong (Sam) Han and George Kapyris. Concept Indexing. A Fast Di-mensionality Reduction Algorithm with Application to Document Retrieval & Cate-gorization. – University of Minnesota, Department of Computer Science. , 2017. 18. Teuvo Kohonen. Self-Organization of Very Large Document Collections: State of the Art. Helsinki University of Technology, – Neural Networks Research Center, PO Box 2200, FIN-02015 HUT,– Finland., 2017. 19. Jouko Lampinen and Erkki Oja. Clustering Properties of Self-Organizing Maps. – Lapperanta University of Technology, Department of Information Technolo-gy, PO box 20, SF-53851 Lapperanta, – Finland.,2017. 20. Т.Кохонен. Самоорганизующиеся карты.Адаптивные и интеллектуаль-ные системы. – Москва, 2017. 21. Програмні проекти .Функціональні вимоги // https://project.dovidnyk.info/38funkcional_nye_trebovaniya, 15.10.2019. 22. Нефункціональні вимоги // https://habr.com/ru/post/415773/, 15.10.2019. 23. ISO/IEC 9126-1:2001 // https://www.iso.org/standard/22749.html, 16.10.2019 64 24. Ткачук М.В., Шеховцов В.А., Кукленко Д.В., Сокол В.Є. «Архітекту-ри, моделі і технології програмного забезпечення інформаційно-керуючих си-стем» – Харків: НТУ «ХПІ», 2005. – 546 с. 25. Component diagram - діаграма компонентів // https://github.com/stankin/oop-2017/wiki/UML, 18.10.2019. 26. Python - короткий огляд мови // https://techrocks.ru/2019/01/21/about-python-briefly/, 19.10.2019. 27. PyCharm IDE // https://is42-2018.susu.ru/blog/2019/03/01/byil-zadan-vopros-chto-takoe-pycharm/, 19.10.2019. 28. Jquery //https://code.jquery.com/, 19.10.2019. 29. Бібліотеки та фреймфорки Python // https://proglib.io/p/50-python-projects/, 20.10.2019. 30. Apache – вільний веб сервер // https://habr.com/ru/hub/apache/, 19.10.2019. 31. Lenovo Y500 // https://ek.ua/LENOVO-Y500-59-359659.htm, 19.11.2019. 32. Маршрутизатор TP-LINK // https://secur.ua/marshrutizator-tp-link-tl-wr840n.htm, 19.11.2019. 33. Windows 10 Professional // https://soft.rozetka.com.ua/microsoft_fqc_10071_hav_00061/p4054370, 19.11.2019. 34. PyCharm Professional Edition // https://softlist.com.ua/catalog/product-jetbrains-pycharm/, 19.11.2019. 35. Керівник проекту// https://ua.trud.com/ua/salary/2.html?currency=UAH, 19.11.2019. 36. Програміст // https://tech.informator.ua/2019/07/24/skolko-poluchayut-programmisty-v-ukraine-i-gde-etomu-uchatsya/, 19.11.2019. 37. Тестувальник // https://www.work.ua/ru/salary-kharkiv, 19.11.2019 38. Інтернет-провайдер // http://triolan.com/articles.aspx?k=connections&lng=uk®=kh, 19.11.2019 39. «Хостинг Україна» // https://www.ukraine.com.ua/, 19.11.2019 40. Законодавство України // https://zakon.rada.gov.ua/laws/term/32604 , 13.11.2019. 65 41. Кібербезпека як важлива складова всієї системи захисту держави // http://www.mil.gov.ua/ukbs/kiberbezpeka-yak-vazhliva-skladova-vsiei-sistemi-zahistu-derzhavi.html, 13.11.2019. 42. Захист від кібератак // https://ucci.org.ua/press-center/expert-opinion/oleksandr-galushchenko-dlia-usvidomlennia-isnuiuchogo-stanu-it-skladovoyi-kompaniyi-neobkhidno-provesti-audit-informatsiinoyi-bezpeki, 13.11.2019. 43. Запорожець О.І., Михайлюк В.О., Халмурадов Б.Д. Цивільний захист. – Київ, 2017.
Тип вмісту: Master Thesis
Розташовується у зібраннях:125 — кібербезпека

Файли цього матеріалу:
Файл Опис РозмірФормат 
Dyp_Zhavruk_2020.pdfМагістерська робота1,01 MBAdobe PDFПереглянути/відкрити
avtorska Zhavruk.pdfАвторська довідка406,26 kBAdobe PDFПереглянути/відкрити


Усі матеріали в архіві електронних ресурсів захищені авторським правом, всі права збережені.

Інструменти адміністратора