Розробка та дослідження системи віртуального забезпечення безпеки працівників виробництва на базі засобів віртуальної реальності та штучного інтелекту

Abstract

У даній кваліфікаційній роботі запропоновано імерсивну (віртуальну) AR в рамках системи навчання персоналу правилам безпеки з використанням візуального та тактильного моделювання. Контент запропонованої технології включає візуальну, рендерингову, тактильну AR, на основі кластерного розширеного динамічного алгоритму на основі позицій фізичного моделювання виробничих процесів. Крім того, ми запропоновано систему тактильного рендерингу AR, архітектура моделі якої складається з точок взаємодії, включаючи кінестетичні точки та точки чутливі до тиску. Нарешті, на основі вищезгаданого теоретичного дослідження запропоновано інтерактивну платформу для технологічного навчання. З системою Harpy впроваджується система безпеки AR зі штучним інтелектом. Система попереджає користувача про потенційні небезпеки та нещасних випадків, тим самим запобігаючи нещасним випадкам та покращуючи безпеку на робочому місці. Записи з камер, встановлених на окулярах AR і камер відеоспостереження на заводі, надсилаються в центральну систему, яка порівнює поточну заводську ситуацію з 3D-моделями заводу і за допомогою штучного інтелекту виявляє небезпечні ситуації. Потім система передає цю інформацію на скло AR Оператора і попереджає його про потенційну загрозу його безпеці. На додаток до функцій безпеки, система також може бути використана для підвищення ефективності та навчання працівників.

This qualification work proposes immersive (virtual) AR within the system of personnel training in safety rules using visual and tactile modeling. The content of the proposed technology includes visual, rendering, tactile AR, based on a clustered advanced dynamic algorithm based on the positions of physical modeling of production processes. In addition, we have proposed the AR tactile rendering system, whose model architecture consists of points of interaction, including kinesthetic points and pressure-sensitive points. Finally, based on the above-mentioned theoretical study, an interactive platform for technological learning is proposed. The Harpy system implements an AR security system with artificial intelligence. The system warns the user of potential dangers and accidents, thus preventing accidents and improving safety in the workplace. Recordings from cameras mounted on AR glasses and CCTV cameras at the factory are sent to a central system that compares the current factory situation with 3D models of the factory and uses artificial intelligence to detect dangerous situations. The system then transmits this information to the Operator's AR glass and warns him of a potential security threat. In addition to safety features, the system can also be used to increase efficiency and train employees.