Впровадження векторного пошуку у системі документообігу

Abstract

Метою наукової роботи є створення програмного комплексу для автоматизованого управління документами з використанням векторного пошуку, чанкування та ембедінгу. Рішення дозволяє оптимізувати процеси обробки та зберігання великих обсягів даних, автоматизуючи керування документами, зокрема їх класифікацію, пошук та фільтрацію. Програма використовує інноваційні підходи до обробки текстових даних, такі як векторизація, що забезпечує ефективний пошук за змістом. Чанкування, в свою чергу, дає змогу розділяти великі документи на менші частини, що полегшує обробку та покращує швидкість пошукових запитів. Водночас ембедінг допомагає відображати зміст документів у вигляді векторів, що дозволяє забезпечити точні результати пошуку за допомогою математичних моделей. Апаратно-програмний комплекс працює з такими даними, як інформація про клієнтів, документи та мітки. Використовуються сучасні технології, такі як NestJS для серверної логіки, TypeORM для роботи з базою даних та MongoDB для зберігання даних. Цей комплекс дозволяє не лише ефективно зберігати та управляти даними, але й здійснювати швидкий та точний пошук по документах, що містять важливу інформацію для користувачів. Рішення також дозволяє автоматично оновлювати та організовувати дані, забезпечуючи зручний доступ до необхідної інформації в будь-який час

The aim of this scientific work is to create a software complex for automated document management using vector search, chunking, and embedding. The solution optimizes data processing and storage processes by automating document management, including classification, search, and filtering. The program utilizes innovative approaches to text data processing, such as vectorization, which enables efficient content-based search. Chunking, in turn, allows for splitting large documents into smaller parts, facilitating processing and improving the speed of search queries. Embedding, at the same time, helps to represent the content of documents as vectors, ensuring accurate search results through mathematical models. The hardware-software complex works with data such as client information, documents, and labels. Modern technologies are used, such as NestJS for server-side logic, TypeORM for database operations, and MongoDB for data storage. This complex not only allows for efficient data storage and management but also provides fast and precise search across documents containing important information for users. The solution also enables automatic updating and organization of data, ensuring convenient access to necessary information at any time