1. ELARTU — Інституційний репозитарій ТНТУ імені Івана Пулюя
  2. Роботи студентів
  3. Магістр
  4. 122 — комп’ютерні науки
Please use this identifier to cite or link to this item: http://elartu.tntu.edu.ua/handle/lib/48656
Title: Інформаційні системи з використанням релевантного пошуку на основі Elasticsearch та Apache Solr
Other Titles: Information Systems Using Relevant Search Based on Elasticsearch and Apache Solr
Authors: Дзядик, Тарас Орестович
Dziadyk, Taras O
Affiliation: ТНТУ ім. І. Пулюя, Факультет комп'ютерно-інформаційних систем і програмної інженерії, Кафедра комп'ютерних наук, м. Тернопіль, Україна
Bibliographic description (Ukraine): Дзядик Т. О. Інформаційні системи з використанням релевантного пошуку на основі Elasticsearch та Apache Solr : робота на здобуття кваліфікаційного ступеня магістра : спец. 122 – комп’ютерні науки / наук. кер. М. Є. Фриз – Тернопіль : Тернопільський національний технічний університет імені Івана Пулюя, 2025. – 81 с.
Bibliographic reference (2015): Дзядик Т. О. Інформаційні системи з використанням релевантного пошуку на основі Elasticsearch та Apache Solr : робота на здобуття кваліфікаційного ступеня магістра, спец. 122 – комп’ютерні науки / Т. О. Дзядик ; наук. кер. М. Є. Фриз. – Тернопіль : Тернопільський національний технічний університет імені Івана Пулюя, 2025. – 81 с.
Issue Date: 26-May-2025
Submitted date: 12-May-2025
Date of entry: 31-May-2025
Publisher: ТНТУ ім. І.Пулюя, ФІС, м. Тернопіль, Україна
Country (code): UA
Place of the edition/event: Тернопіль,
Supervisor: Фриз, Михайло Євгенович
Fryz, Mykhailo
Committee members: Гащин, Надія Богданівна
Gashchyn, Nadiya
UDC: 004.9
Keywords: 122
комп’ютерні науки
пошук
інформаційна система
зображення
нейро-символічний
Elasticsearch
обробка природної мови
search
information system
image
neuro-symbolic
natural language processing
Apache Solr
Page range: 81
Abstract: Кваліфікаційна робота присв'ячена розробці інформаційної системи з використанням релевантного пошуку на основі «Elasticsearch» та «Apache Solr». В першому розділі кваліфікаційної роботи розглянуто контекст та актуальність розробки інформаційної системи з використанням релевантного пошуку. Проведено аналіз предметної області. Описано популярні пошукові системи зображень системи пошуку та індексації зображень. Проаналізовано процес пошуку зображень людиною. Досліджено ключові підходи та алгоритми в системах пошуку та індексації зображень. В другому розділі кваліфікаційної роботи описано провідні системи пошуку та індексації зображень. Описано існуючі інформаційні технології пошуку та індексації зображень, зокрема технології від Google. Розглянуто нейро-символьні підходи до пошуку інформації за зображеннями. Проведено огляд дата-пайплайнів. Також було провеено огляд принципів ключових принципів проєктування пайплайнів для обробки даних нового покоління. В третьому розділі кваліфікаційної роботи спроєктовано архітектуру інформаційної системи з використанням релевантного пошуку. Описано платформи та технологічний стек. Розглянуто інтеграцію та взаємодію інформаційної системи з використанням релевантного пошуку. Висвітлено безпекові аспекти використання інформаційної системи з використанням релевантного пошуку та відповідність вимогам. Подано особливості застосування інформаційної системи.
The qualification thesis is dedicated to the development of an information system utilizing relevant search based on \"Elasticsearch\" and \"Apache Solr\". The first chapter of the qualification work discusses the context and relevance of developing an information system with the use of relevant search. An analysis of the subject area is provided. Popular image search systems and image indexing systems are described. The process of image search by humans is analyzed. Key approaches and algorithms in image search and indexing systems are explored. The second chapter of the qualification work describes leading image search and indexing systems. Existing information technologies for image search and indexing, particularly those by Google, are outlined. Neuro-symbolic approaches to image-based information retrieval are discussed. An overview of data pipelines is provided. Additionally, an overview of the key principles of designing next-generation data processing pipelines is presented. The third chapter of the qualification work outlines the architecture of the information system using relevant search. The platforms and technological stack are described. The integration and interaction of the information system with the relevant search system are discussed. Security aspects of using the information system with relevant search and its compliance with requirements are highlighted. The specifics of applying the information system are presented.
Description: Роботу виконано на кафедрі комп'ютерних наук Тернопільського національного технічного університету імені Івана Пулюя. Захист відбудеться 26.05.2025 р. о 15 год. 30 хв. на засіданні екзаменаційної комісії №33 у Тернопільському національному технічному університеті імені Івана Пулюя.
Content: ВСТУП 8 1 АНАЛІЗ ПРЕДМЕТНОЇ ОБЛАСТІ, ПОШУКОВІ СИСТЕМИ, КЛЮЧОВІ ПІДХОДИ ТА АЛГОРИТМИ В ІНФОРМАЦІЙНИХ СИСТЕМАХ ПОШУКУ ТА ІНДЕКСАЦІЇ 11 1.1 Контекст та актуальність розробки інформаційної системи з використанням релевантного пошуку 11 1.2 Аналіз предметної області 12 1.3 Пошукові системи зображень системи пошуку та індексації зображень 15 1.4 Аналіз процесу пошуку зображень людиною 19 1.5 Дослідження ключових підходів та алгоритми в системах пошуку та індексації зображень 19 1.6 Висновок до першого розділу 23 2 ПРОВІДНІ СИСТЕМИ, ТЕХНОЛОГІЇ ПОШУКУ ТА НЕЙРО-СИМВОЛЬНІ ПІДХОДИ ДО ПОШУКУ ІНФОРМАЦІЇ 24 2.1 Провідні системи пошуку та індексації зображень 24 2.2 Існуючі інформаційні технології 27 2.3 Нейро-символьні підходи до пошуку інформації за зображеннями 29 2.4 Огляд дата-пайплайнів 32 2.5 Принципи проєктування пайплайнів для обробки даних нового покоління 33 2.6 Висновок до другого розділу 36 3 ІНФОРМАЦІЙНА СИСТЕМА З ВИКОРИСТАННЯМ РЕЛЕВАНТНОГО ПОШУКУ 37 3.1 Архітектура інформаційної системи з використанням релевантного пошуку 37 3.2 Платформи та технологічний стек 41 3.3 Інтеграція та взаємодія інформаційної системи з використанням релевантного пошуку 47 3.4 Безпека інформаційної системи з використанням релевантного пошуку та відповідність вимогам 48 3.5 Особливості застосування інформаційної системи з використанням релевантного пошуку 50 3.6 Перспективні напрямки розвитку інформаційна система з використанням релевантного пошуку 55 3.7 Потенційні напрямки досліджень 57 3.8 Висновок до третього розділу 62 4 ОХОРОНА ПРАЦІ ТА БЕЗПЕКА В НАДЗВИЧАЙНИХ СИТУАЦІЯХ 64 4.1 Контроль за станом охорони праці 64 4.2 Психологічні чинники небезпеки 68 4.3 Висновок до четвертого розділу 72 ВИСНОВКИ 73 ПЕРЕЛІК ДЖЕРЕЛ 75 ДОДАТКИ
URI: http://elartu.tntu.edu.ua/handle/lib/48656
Copyright owner: © Дзядик Тарас Орестович, 2025
References (Ukraine): 1. M. Maltz, New psycho-cybernetics. Penguin, 2002.
2. R. Fergus, P. Perona, and A. Zisserman, "A visual category filter for google images," in Computer Vision-ECCV 2004: 8th European Conference on Computer Vision, Prague, Czech Republic, May 11-14, 2004. Proceedings, Part I 8. Springer, 2004, pp. 242--256.
3. H. Hu, Y. Wang, L. Yang, P. Komlev, L. Huang, X. Chen, J. Huang, Y. Wu, M. Merchant, and A. Sacheti, "Web-scale responsive visual search at bing," in Proceedings of the 24th ACM SIGKDD international conference on knowledge discovery & data mining, 2018, pp. 359--367.
4. D. Shahi, Apache Solr: a practical approach to enterprise search. Springer, 2015.
5. B. Dixit, Elasticsearch essentials. Packt Publishing Ltd, 2016.
6. S. Santini and R. Jain, "Similarity measures," IEEE Transactions on pattern analysis and machine Intelligence, vol. 21, no. 9, pp. 871--883, 1999.
7. L. Wang, X. Zhao, Y. Si, L. Cao, and Y. Liu, "Context-associative hierarchical memory model for human activity recognition and prediction, " IEEE Transactions on Multimedia, vol. 19, no. 3, pp. 646--659, 2016.
8. D. M. McKeown, T. Bulwinkle, S. Cochran, W. Harvey, C. McGlone, and J. A. Shufelt, “Performance evaluation for automatic feature extraction,” International Archives of Photogrammetry and Remote Sensing, vol. 33, no. B2; PART 2, pp. 379–394, 2000.
9. S. M. Singh and K. Hemachandran, “Image retrieval based on the combination of color histogram and color moment,” International journal of computer applications, vol. 58, no. 3, 2012.
10. V. Babak, A. Zaporozhets, Y. Kuts, M. Fryz, L. Scherbak. Noise signals: Modelling and Analyses. Cham: Springer Nature Switzerland, 2025. 222 p. DOI: https://doi.org/10.1007/978-3-031-71093-3.
11. Y. Park and J.-M. Guldmann, “Measuring continuous landscape patterns with gray-level co-occurrence matrix (glcm) indices: An alternative to patch metrics?” Ecological Indicators, vol. 109, p. 105802, 2020.
12. J.-K. Kamarainen, V. Kyrki, and H. Kalviainen, “Invariance properties of gabor filter-based features-overview and applications,” IEEE Transactions on image processing, vol. 15, no. 5, pp. 1088–1099, 2006.
13. M. Pietika¨inen and G. Zhao, “Two decades of local binary patterns: A survey,” in Advances in independent component analysis and learning machines. Elsevier, 2015, pp. 175–210.
14. A. W. Busch, “Wavelet transform for texture analysis with application to document analysis,” Ph.D. dissertation, Queensland University of Technology, 2004.
15. J. Jing, S. Liu, G. Wang, W. Zhang, and C. Sun, “Recent advances on image edge detection: A comprehensive review,” Neurocomputing, vol. 503, pp. 259–271, 2022.
16. D. Yang, B. Peng, Z. Al-Huda, A. Malik, and D. Zhai, “An overview of edge and object contour detection,” Neurocomputing, vol. 488, pp. 470– 493, 2022.
17. S. Qi, Y. Zhang, C. Wang, J. Zhou, and X. Cao, “A survey of orthogonal moments for image representation: Theory, implementation, and evaluation,” ACM Computing Surveys (CSUR), vol. 55, no. 1, pp. 1–35, 2021.
18. S. Gkelios, A. Sophokleous, S. Plakias, Y. Boutalis, and S. A. Chatzichristofis, “Deep convolutional features for image retrieval,” Expert Systems with Applications, vol. 177, p. 114940, 2021.
19. I. Melekhov, J. Kannala, and E. Rahtu, “Siamese network features for image matching,” in 2016 23rd international conference on pattern recognition (ICPR). IEEE, 2016, pp. 378–383.
20. M. Li, H. Wang, H. Dai, M. Li, C. Chai, R. Gu, F. Chen, Z. Chen, S. Li, Q. Liu et al., “A survey of multi-dimensional indexes: past and future trends,” IEEE Transactions on Knowledge and Data Engineering, vol. 36, no. 8, pp. 3635–3655, 2024.
21. L. Chen, Y. Gao, X. Song, Z. Li, Y. Zhu, X. Miao, and C. S. Jensen, “Indexing metric spaces for exact similarity search,” ACM Computing Surveys, vol. 55, no. 6, pp. 1–39, 2022.
22. N. Ukey, Z. Yang, B. Li, G. Zhang, Y. Hu, and W. Zhang, “Survey on exact knn queries over high-dimensional data space,” Sensors, vol. 23, no. 2, p. 629, 2023.
23. L. Han, M. E. Paoletti, X. Tao, Z. Wu, J. M. Haut, P. Li, R. PastorVargas, and A. Plaza, “Hash-based remote sensing image retrieval,” IEEE Transactions on Geoscience and Remote Sensing, 2024.
24. L. Zhang, L. Zhang, X. Mou, and D. Zhang, “Fsim: A feature similarity index for image quality assessment,” IEEE transactions on Image Processing, vol. 20, no. 8, pp. 2378–2386, 2011.
25. Y. Tang, L. H. U, Y. Cai, N. Mamoulis, and R. Cheng, “Earth mover’s distance based similarity search at scale,” Proceedings of the VLDB Endowment, vol. 7, no. 4, pp. 313–324, 2013.
26. M. Ionescu and A. Ralescu, “Fuzzy hamming distance in a content-based image retrieval system,” in 2004 IEEE International Conference on Fuzzy Systems (IEEE Cat. No. 04CH37542), vol. 3. IEEE, 2004, pp. 1721–1726.
27. E. Akyilmaz and U. M. Leloglu, “Similarity ratio based adaptive mahalanobis distance algorithm to generate sar superpixels,” Canadian Journal of Remote Sensing, vol. 43, no. 6, pp. 569–581, 2017.
28. I. M. Hameed, S. H. Abdulhussain, and B. M. Mahmmod, “Content-based image retrieval: A review of recent trends,” Cogent Engineering, vol. 8, no. 1, p. 1927469, 2021.
29. T. Mei, Y. Rui, S. Li, and Q. Tian, “Multimedia search reranking: A literature survey,” ACM Computing Surveys (CSUR), vol. 46, no. 3, pp. 1–38, 2014.
30. Q. Cheng, Y. Zhou, P. Fu, Y. Xu, and L. Zhang, “A deep semantic alignment network for the cross-modal image-text retrieval in remote sensing,” IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, vol. 14, pp. 4284–4297, 2021.
31. Z. Tu, W. Yang, Z. Fu, Y. Xie, L. Tan, K. Xiong, M. Li, and J. Lin, “Approximate nearest neighbor search and lightweight dense vector reranking in multi-stage retrieval architectures,” in Proceedings of the 2020 ACM SIGIR on International Conference on Theory of Information Retrieval, 2020, pp. 97–100.
32. M. Rahman, S. M. E. Rabbi, and M. M. Rashid, “Optimizing domainspecific image retrieval: A benchmark of faiss and annoy with fine-tuned features,” arXiv preprint arXiv:2412.01555, 2024.
33. A. Moffat, “Computing maximized effectiveness distance for recall-based metrics,” IEEE Transactions on Knowledge and Data Engineering, vol. 30, no. 1, pp. 198–203, 2017.
34. H. Xie, Y. Zhang, J. Tan, L. Guo, and J. Li, “Contextual query expansion for image retrieval,” IEEE Transactions on Multimedia, vol. 16, no. 4, pp. 1104–1114, 2014.
35. M. Ferna´ndez, I. Cantador, V. Lo´pez, D. Vallet, P. Castells, and E. Motta, “Semantically enhanced information retrieval: An ontology-based approach,” Journal of Web Semantics, vol. 9, no. 4, pp. 434–452, 2011.
36. Бабак В.П., Куц Ю.В., Мислович М.В., Фриз М.Є., Щербак Л.М. Об’єктно-орієнтована ідентифікація стохастичних шумових сигналів. Київ: Наукова думка, 2024. 240 с. https://doi.org/10.15407/978-966-00-1883-9.
37. W. Zhou, H. Li, Y. Lu, and Q. Tian, “Sift match verification by geometric coding for large-scale partial-duplicate web image search,” ACM Transactions on Multimedia Computing, Communications, and Applications (TOMM), vol. 9, no. 1, pp. 1–18, 2013.
38. Y. Shi, X. Yu, D. Campbell, and H. Li, “Where am i looking at? joint location and orientation estimation by cross-view matching,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020, pp. 4064–4072.
39. S. Kan, Y. Cen, Y. Cen, M. Vladimir, Y. Li, and Z. He, “Zero-shot learning to index on semantic trees for scalable image retrieval,” IEEE Transactions on Image Processing, vol. 30, pp. 501–516, 2020.
40. R. Yang, S. Wang, H. Zhang, S. Xu, Y. Guo, X. Ye, B. Hou, and L. Jiao, “Knowledge decomposition and replay: A novel cross-modal image-text retrieval continual learning method,” in Proceedings of the 31st ACM International Conference on Multimedia, 2023, pp. 6510–6519.
41. G. Amato, P. Bolettieri, F. Carrara, F. Falchi, and C. Gennaro, “Largescale image retrieval with elasticsearch,” in The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval, 2018, pp. 925–928.
42. V. Sharma, “Object detection and recognition using amazon rekognition with boto3,” in 2022 6th International Conference on Trends in Electronics and Informatics (ICOEI). IEEE, 2022, pp. 727–732.
43. Y. Zhong, P. J. Garrigues, and J. P. Bigham, “Real time object scanning using a mobile phone and cloud-based visual search engine,” in Proceedings of the 15th International ACM SIGACCESS Conference on Computers and Accessibility, 2013, pp. 1–8.
44. M. Meena, A. R. Singh, and V. A. Bharadi, “Architecture for software as a service (saas) model of cbir on hybrid cloud of microsoft azure,” Procedia Computer Science, vol. 79, pp. 569–578, 2016.
45. P. Dasic, J. Dasic, and J. Crvenkovic, “Applications of the search as a service (saas),” Bulletin of the Transilvania University of Brasov. Series I-Engineering Sciences, pp. 91–98, 2016.
46. J. Wang, X. Yi, R. Guo, H. Jin, P. Xu, S. Li, X. Wang, X. Guo, C. Li, X. Xu et al., “Milvus: A purpose-built vector data management system,” in Proceedings of the 2021 International Conference on Management of Data, 2021, pp. 2614–2627.
47. D. Danopoulos, C. Kachris, and D. Soudris, “Approximate similarity search with faiss framework using fpgas on the cloud,” in International Conference on Embedded Computer Systems. Springer, 2019, pp. 373–386.
48. P. N. Singh, S. Talasila, and S. V. Banakar, “Analyzing embedding models for embedding vectors in vector databases,” in 2023 IEEE International Conference on ICT in Business Industry & Government (ICTBIG). IEEE, 2023, pp. 1–7.
49. C. Sun, L. Bin Song, and L. Ying, “Product re-identification system in fully automated defect detection,” in International Conference on Smart Multimedia. Springer, 2022, pp. 144–156.
50. I. G. S. M. Diyasa, A. D. Alhajir, A. M. Hakim, and M. F. Rohman, “Reverse image search analysis based on pre-trained convolutional neural network model,” in 2020 6th Information Technology International Seminar (ITIS). IEEE, 2020, pp. 1–6.
51. M. Lux, “Lire: Open source image retrieval in java,” in Proceedings of the 21st ACM international conference on Multimedia, 2013, pp. 843–846.
52. P. Gao, S. Geng, R. Zhang, T. Ma, R. Fang, Y. Zhang, H. Li, and Y. Qiao, “Clip-adapter: Better vision-language models with feature adapters,” International Journal of Computer Vision, vol. 132, no. 2, pp. 581–595, 2024.
53. Fryz M., Scherbak L., Mlynko B., Mykhailovych T. Linear Random Process Model-Based EEG Classification Using Machine Learning Techniques. Proceedings of the 1st International Workshop on Computer Information Technologies in Industry 4.0 (CITI 2023). Ternopil, Ukraine: CEUR Workshop Proceedings, 2023. Vol. 3468. P. 126–132.
54. Y. Zhang, S. Qiao, S. Ji, and Y. Li, “Deepsite: bidirectional lstm and cnn models for predicting dna–protein binding,” International Journal of Machine Learning and Cybernetics, vol. 11, pp. 841–851, 2020.
55. H. Al-Lohibi, T. Alkhamisi, M. Assagran, A. Aljohani, and A. O. Aljahdali, “Awjedni: a reverse-image-search application,” ADCAIJ: Advances in Distributed Computing and Artificial Intelligence Journal, vol. 9, no. 3, p. 49, 2020.
56. A. Maurya, A. Kumar, and D. Alimohammadi, “Application of google lens to promote information services beyond the traditional techniques,” Qualitative and Quantitative Methods in Libraries, vol. 12, no. 1, pp. 111–136, 2023.
57. E. Bisong, “Google automl: cloud vision,” in Building Machine Learning and Deep Learning Models on Google Cloud Platform: A Comprehensive Guide for Beginners. Springer, 2019, pp. 581–598.
58. A. KC and S. Aravind, “Integrating google ai: Enhancing library services for the digital age,” 2024.
59. Y. Xu, L. Pan, C. Du, J. Li, N. Jing, and J. Wu, “Vision-based uavs aerial image localization: A survey,” in Proceedings of the 2nd ACM SIGSPATIAL International Workshop on AI for Geographic Knowledge Discovery, 2018, pp. 9–18.
60. H. Noh, A. Araujo, J. Sim, T. Weyand, and B. Han, “Large-scale image retrieval with attentive deep local features,” in Proceedings of the IEEE international conference on computer vision, 2017, pp. 3456–3465.
61. A. Jaiswal, A. R. Babu, M. Z. Zadeh, D. Banerjee, and F. Makedon, “A survey on contrastive self-supervised learning,” Technologies, vol. 9, no. 1, p. 2, 2020.
62. N. Fei, H. Jiang, H. Lu, J. Long, Y. Dai, T. Fan, Z. Cao, and Z. Lu, “Vemo: A versatile elastic multi-modal model for search-oriented multi-task learning,” in European Conference on Information Retrieval. Springer, 2024, pp. 56–72.
63 L. Dietz, H. Bast, S. Chatterjee, J. Dalton, J.-Y. Nie, and R. Nogueira, “Neuro-symbolic representations for information retrieval,” in Proceedings of the 46th International ACM SIGIR Conference on Research and Development in Information Retrieval, 2023, pp. 3436–3439.
64. D. Bouneffouf and C. C. Aggarwal, “Survey on applications of neurosymbolic artificial intelligence,” arXiv preprint arXiv:2209.12618, 2022.
65. A. I. Weinberg, “Neurosymbolic ai and mechanistic interpretability: Can they align in the artificial general intelligence era?” 2025.
66. I. C. S. d. Silva, “Visualization of intensional and extensional levels of ontologies,” 2014.
67. Бабак В. П., Марченко М. Є., Фриз. Б. Г. Теорія ймовірностей, випадкові процеси та математична статистика. К.: Техніка, 2004. 288 с.
68. S. Alford, “A neurosymbolic approach to abstraction and reasoning,” Ph.D. dissertation, Massachusetts Institute of Technology, 2021.
69. M. J. Khan, F. Ilievski, J. G. Breslin, and E. Curry, “A survey of neurosymbolic visual reasoning with scene graphs and common sense knowledge,” Neurosymbolic Artificial Intelligence, vol. 1, pp. NAI–240719, 2025.
70. Стручок В.С. Безпека в надзвичайних ситуаціях. Методичний посібник для здобувачів освітнього ступеня «магістр» всіх спеціальностей денної та заочної (дистанційної) форм навчання / В.С.Стручок. — Тернопіль: ФОП Паляниця В. А., 2022. — 156 с.
71. Ткачук, К. Н., Зацарний, В. В., Зеркалов, Д. В., Полукаров, О. І., Коз'яков, В. С., Мітюк, Л. О., ... & Луц, Т. Є. (2014). Основи охорони праці.
72. Левченко, О. Г. (2024). Охорона праці та цивільний захист.
Content type: Master Thesis
Appears in Collections:122 — комп’ютерні науки

Files in This Item:
File Description SizeFormat 
Mag_2025_SNnm_61_Dziadyk_T0.pdfДипломна робота1,49 MBAdobe PDFView/Open
Show full item record


Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.

Admin Tools