Методи та засоби створення і розгортання інфраструктури комп'ютерних систем за допомогою генеративних алгоритмів машинного навчання

Abstract

У кваліфікаційній роботі магістра проаналізовано життєвий цикл великих даних та визначено особливості етапів і процесів, характерних при опрацюванні великих даних. Визначено базові концепції великих мовних моделей з реалізацією генеративних алгоритмів і встановлено, що вони які дають змогу досліджувати статистичні шаблони, граматику та семантику людської мови та використовують потужні набори даних і відповідно значні апаратно-програмні ресурси. Запропоновано критерії продуктивності у процесі попереднього опрацювання запитів до моделей з генеративними алгоритмами: час формування першого токену, час генерації вихідного токену для кожного користувача, прихована затримка формування відповіді користувачам та пропускної здатності моделі. Розроблено метод та показники оптимізації використання ресурсів пам’яті та графічних процесорних ядер при формуванні висновків (відповідей) великими мовними моделями. Програмно імплементовано механізми прямого доступу до моделей з генеративними алгоритмами машинного навчання та експериментально доведено їх ефективність.

The Master's thesis analyzed the life cycle of big data and identified the features of the stages and processes characteristic of big data processing. The basic concepts of large language models with the implementation of generative algorithms are defined and it is established that they enable the study of statistical patterns, grammar and semantics of human language and use powerful data sets and, accordingly, significant hardware and software resources. Performance criteria in the process of pre-processing requests to models with generative algorithms are proposed: the time of generating the first token, the time of generating the initial token for each user, the hidden delay of generating a response to users and the bandwidth of the model. The method and indicators for optimizing the use of memory resources and graphic processor cores when forming conclusions (answers) using large language models have been developed. Mechanisms of direct access to models with generative machine learning algorithms were implemented in software and their effectiveness was experimentally proven.