Розробка інформаційної системи надання наукових сервісів за домомогою Scrapy та ORM для взаємодії з базою даних

Abstract

Тема: Розробка інформаційної системи надання наукових сервісів з використанням бібліотеки Scrapy та ORM для взаємодії з базою даних. Об’єкт дослідження – процеси автоматизованого збору, структурування та надання доступу до наукової інформації через веб-інтерфейс Предмет дослідження –методи та технології створення веб-орієнтованих інформаційних систем з використанням фреймворку Scrapy для збору даних та Django ORM для управління базою даних. Мета роботи – створити повнофункціональну інформаційну систему для автоматизованого збору наукових публікацій з Semantic Scholar API, їх зберігання та надання зручного веб-інтерфейсу для пошуку й аналізу. Методи дослідження: системний аналіз предметної області, об’єктно-орієнтоване проєктування, методи веб-скрейпінгу, реляційне моделювання даних, REST API архітектура, функціональне тестування. Наукова новизна роботи полягає в комплексному підході до створення системи збору наукових сервісів, що інтегрує сучасні технології вебзбирання, асинхронної обробки та ефективного управління даними в єдиній архітектурі. Практичне значення – розроблена система може використовуватися науковими установами та дослідниками для ефективного пошуку та аналізу наукових публікацій.

Topic: Development of an information system for providing scientific services using Scrapy library and ORM for database interaction. Research object – processes of automated collection, structuring and providing access to scientific information through web interface. Research subject – methods and technologies for creating web-oriented information systems using Scrapy framework for data collection and Django ORM for database management. Purpose of work – to create a fully functional information system for automated collection of scientific publications from Semantic Scholar API, their structured storage and providing convenient web interface for search and analysis. Research methods: systematic analysis of the subject area, object-oriented design, web scraping methods, relational data modeling, REST API architecture, functional testing. Scientific novelty of the work lies in the comprehensive approach to creating a scientific services collection system that integrates modern web scraping technologies, asynchronous processing and efficient data in a unified architecture. Practical value – the developed system can be used by scientific institutions and researchers for efficient search and analysis of scientific publications.