Bu öğeden alıntı yapmak, öğeye bağlanmak için bu tanımlayıcıyı kullanınız: http://elartu.tntu.edu.ua/handle/lib/49010
Başlık: Розробка рішення для аналізу тендерної документації на платформі Smarttender
Diğer Başlıklar: Development of a solution for Analyzing Tender Documentation based on Smarttender
Yazarlar: Вихрущ, Дмитро Сергійович
Vykhrushch, Dmytro
Affiliation: ТНТУ ім. І. Пулюя, Факультет комп’ютерно-інформаційних систем і програмної інженерії, Кафедра програмної інженерії, м. Тернопіль, Україна
Bibliographic description (Ukraine): Вихрущ Д.С. Розробка рішення для аналізу тендерної документації на платформі Smarttender: спец. 121 - інженерія програмного забезпечення / наук. кер. Цебрій О. Р. Тернопіль: – Тернопільський національний технічний університет імені Івана Пулюя, 2025. 71 с.
Yayın Tarihi: 23-Haz-2025
Submitted date: 9-Haz-2025
Date of entry: 23-Haz-2025
Yayıncı: Тернопільський національний технічний університет імені Івана Пулюя
Country (code): UA
Place of the edition/event: ТНТУ ім. І.Пулюя, ФІС, м. Тернопіль, Україна
Supervisor: Цебрій, Олексій Романович
Committee members: Готович, Володимир Анатолійович
UDC: 004.9
Anahtar kelimeler: аналіз
analysis
великі мовні моделі
Large Language Models
веб-скрейпинг
web-scraping
структуризація промптів
prompt engineering
векторизація тексту
embeddings
мікросервіс
FastAPI
докеризація
Docker
тендер
Tender
Number of pages: 71
Özet: Кваліфікаційна робота бакалавра, виконана Вихрущ Дмитром Сергійовичем, студентом групи СП-41 Тернопільського національного технічного університету, присвячена розробці програмного рішення для автоматизованого аналізу тендерної документації з використанням технологій веб-скрапінгу. Обсяг роботи становить 71 сторінки, містить 8 рисунків, 4 додатки та список використаних джерел з 19 позицій. Метою дослідження є створення інструменту для збору та аналізу даних з публічних тендерних платформ за допомогою технологій веб-скрапінгу. У роботі реалізовано систему автоматизованого парсингу тендерної документації, яка дозволяє витягувати ключові параметри: предмет закупівлі, бюджет, строки, кваліфікаційні вимоги. Для обробки отриманих даних застосовано методи машинного навчання та NLP (обробки природної мови), що дає змогу класифікувати тендери та виявляти критичні умови участі. Розроблений інструмент демонструє високу ефективність у порівнянні з ручним аналізом, скорочуючи час обробки на 70–80%. Особливу увагу приділено обходженню анти-скрапінгових захистів та легальності отримання даних. Практична цінність роботи полягає у можливості масштабування рішення для різних тендерних майданчиків та інтеграції з CRM-системами. Результати дослідження можуть бути корисні для учасників закупівель, аналітиків ринку та розробників бізнес-рішень. Отримані результати засвідчують доцільність подальшого розвитку створеної системи як окремого програмного продукту.
The Bachelor's qualification thesis completed by Dmytro Vykhrushch, a student of group SP-41 at Ternopil Ivan Puluj National Technical University, is dedicated to the development of a software solution for automated analysis of tender documentation using web scraping technologies. The thesis consists of 71 pages, includes 8 figures, 4 appendices, and a list of references comprising 19 sources. The aim of the research is to create a tool for collecting and analyzing data from public tender platforms through web scraping techniques. The work presents an automated system for parsing tender documents, which extracts key parameters such as procurement subject, budget, deadlines, and qualification requirements. For processing the extracted data, methods of machine learning and natural language processing (NLP) are applied, enabling the classification of tenders and the identification of critical participation conditions. The developed tool demonstrates high efficiency compared to manual analysis, reducing processing time by 70–80%. Special attention is given to bypassing anti-scraping mechanisms and ensuring the legal compliance of data acquisition. The practical value of the project lies in the potential scalability of the solution to various tender platforms and its integration with CRM systems. The research results may be useful for procurement participants, market analysts, and business solution developers. The results confirm the feasibility of further developing the system as a standalone software product.
Content: ЗМІСТ 6 ПЕРЕЛІК СКОРОЧЕНЬ 9 ВСТУП 10 1 АНАЛІЗ ПРЕДМЕТНОЇ ОБЛАСТІ 12 1.1 Електронні тендерні платформи та особливості документації 12 1.1.1 Огляд систем Smarttender, Prozorro, їх структура і призначення 14 1.1.2 Формат та типові елементи тендерної документації 15 1.1.3 Основні проблеми ручного аналізу: витрати часу, помилки, ризики 17 1.2 Технології веб скрапінгу та автоматизованого збору даних 18 1.2.1 Інструменти для парсингу HTML-сторінок і API (Selenium, BeautifulSoup, Playwright) 19 1.2.2 Взаємодія з обмеженими платформами: CAPTCHA, throttling, legal aspects 20 1.3 NLP та машинне навчання в аналізі тендерів 21 1.3.1 Великі мовні моделі (LLM) у задачах витягу інформації 22 1.3.2 Виявлення вимог до документів у тендерному тексті 24 1.3.3 Побудова інструкцій (prompts) до LLM і приклади взаємодії 25 1.3.4 Обмеження та виклики у застосуванні LLM 26 1.4 Вимоги до системи аналізу тендерної документації 27 2 РОЗРОБКА ПРОГРАМНОГО РІШЕННЯ 29 2.1 Вибір технологій і загальна архітектура системи 29 2.2 Модуль збору даних (web scraping) 30 2.2.1 Загальна логіка роботи модуля 31 2.2.2 Вхідні параметри 31 2.2.3 Внутрішня структура класу 31 2.2.4 Формат отриманих даних 32 2.2.5 Обробка вкладених документів 33 2.2.6 Приклад згенерованого результату 34 2.3 Модуль попередньої обробки тексту 34 2.3.1 Конвертація та уніфікація форматів документів 35 2.3.2 Витяг і попереднє очищення тексту 36 2.3.3 Розбиття тексту на фрагменти для аналізу 37 2.3.4 Вибір релевантних фрагментів за допомогою embedding-порівняння 38 2.4 Аналіз тексту за допомогою великої мовної моделі 39 2.4.1 Побудова запиту до мовної моделі 39 2.4.2 Вибір моделі та формат відповіді 40 2.4.3 Вибір моделі 41 2.5 Створення веб-інтерфейсу та тестування 42 2.5.1 Створення REST-ендпойнту 43 2.5.2 Приклад використання 44 2.5.3 Розгортання сервісу у Docker 44 3 БЕЗПЕКА ЖИТТЄДІЯЛЬНОСТІ, ОСНОВИ ОХОРОНИ ПРАЦІ 46 3.1 Вплив діяльності людини на довкілля. 46 3.2 Заходи захисту обладнання від статичної електрики 47 ВИСНОВКИ 50 СПИСОК ВИКОРИСТАНИХ ДЖЕРЕЛ 51 Додаток А 54 Додаток Б 55 Додаток В 57 Додаток Г 61 Додаток Д 71
URI: http://elartu.tntu.edu.ua/handle/lib/49010
Copyright owner: © Вихрущ Дмитро Сергійович, 2025
References (Ukraine): Chollet F. Deep Learning with Python. – 2nd ed. – Manning Publications, 2021. – 504 p.
Udofia E. Webscrapping: BeautifulSoup or Selenium? // Medium. – 2023. – URL: https://medium.com/@udofiaetietop/webscrapping-beautifulsoup-or-selenium-3467edb3c0d9
Jalammar J. The Illustrated Transformer – URL: https://jalammar.github.io/illustrated-transformer/
Smarttender.biz – URL: https://smarttender.biz/
OpenAI API Documentation – URL: https://platform.openai.com/docs/
LangChain Documentation – URL: https://docs.langchain.com/
FastAPI Documentation – URL: https://fastapi.tiangolo.com/
PyMuPDF (fitz) Documentation – URL: https://pymupdf.readthedocs.io/
Spire.Doc for Python – URL: https://github.com/eiceblue/Spire.Doc-for-Python
Eden AI. GPT-4o vs DeepSeek R1: Which is the best open-weight model? // Eden AI Blog. – 2024. – URL: https://www.edenai.co/post/gpt-4o-vs-deepseek-r1
Requests: HTTP for Humans – URL: https://docs.python-requests.org/
Березюк О. В., Лемешев М. С. Безпека життєдіяльності: навчальний посібник. Вінниця: ВНТУ, 2011. 204 с.
Скобло Ю. С., Соколовська Т. Б., Мазоренко Д. І., Тіщенко Л. М., Троянов М. М. Безпека життєдіяльності: навчальний посібник. Київ: Кондор, 2003. 424 с. ISBN 966-7982-10-6
Грибан В. Г., Негодченко О. В. Охорона праці: навчальний посібник. Київ: Центр учбової літератури, 2009. 280 с. ISBN 978-966-364-832-3
ДСН 3.3.6.042-99. Державні санітарні норми і правила «Захист від електростатичних зарядів». Затверджено МОЗ України 01.12.1999. URL: https://zakon.rada.gov.ua/rada/show/v0042282-99
Закон України «Про охорону навколишнього природного середовища» від 25.06.1991 № 1264-XII. URL: https://zakon.rada.gov.ua/laws/show/1264-12
ДСТУ ISO 14001:2015. Системи екологічного управління. Вимоги та настанови щодо застосування. URL: https://online.budstandart.com/ua/catalog/doc-page?id_doc=65284
ТЕМА 17. Електробезпека. Методи захисту в електроустановках // Безпека життєдіяльності та основи охорони праці. ТНТУ ім. І. Пулюя. URL: https://dl.tntu.edu.ua/content.php?cid=289205
Методичні вказівки до виконання дипломної роботи освітнього рівня - бакалавр студентами усіх форм навчання для напряму підготовки 121 – Інженерія програмного забезпечення/ Укладачі : Петрик М.Р.,Михалик Д.М., Кінах Я.І., Гладьо С.В., Цуприк Г.Б. – Тернопіль : Вид-во ТНТУ імені Івана Пулюя, 2016 – 28 с.
Content type: Bachelor Thesis
Koleksiyonlarda Görünür:121 — Інженерія програмного забезпечення (бакалаври)

Bu öğenin dosyaları:
Dosya Açıklama BoyutBiçim 
dyplom_Vykhrushch_2025.pdf726,65 kBAdobe PDFGöster/Aç


DSpace'deki bütün öğeler, aksi belirtilmedikçe, tüm hakları saklı tutulmak şartıyla telif hakkı ile korunmaktadır.

Yönetim Araçları