Методи та програмно-апаратні засоби біометричної аутентифікації у реальному часі користувачів комп’ютерної системи

Abstract

У роботі визначено структурні компоненти апаратної та програмної частини комплексу біометричної мультимодальної аутентифікації користувачів комп’ютерної системи, а також встановлено вимоги до їх сумісності, що дало змогу побудувати узагальнену архітектуру системи та забезпечити обробку зображення обличчя і голосового сигналу в режимі реального часу. Розроблено формалізований опис процесу мультимодальної аутентифікації, який включає визначення простору вхідних даних, моделей відображення для кожної модальності, метрик подібності та критеріїв прийняття рішень. Розроблено архітектуру апаратного забезпечення апаратно-програмного комплексу мультимодальної біометричної аутентифікації на базі одноплатного комп’ютера Raspberry Pi 4 Model B із використанням модуля камери, USB-мікрофона та дисплейного інтерфейсу. Реалізовано нейронні мережі для розпізнавання обличчя та голосу, зокрема MTCNN для детекції та вирівнювання облич, MobileFaceNet для формування векторів ознак обличчя та ECAPA-TDNN для отримання векторів ознак голосу для досягнення високої точності аутентифікації при обмежених апаратних ресурсах одноплатного комп’ютера.

In this work, the structural components of the hardware and software parts of a multimodal biometric user authentication system for a computer system are identified, and the requirements for their compatibility are established. This made it possible to develop a generalized system architecture and to ensure real-time processing of facial images and voice signals. A formalized description of the multimodal authentication process is developed, including the definition of the input data space, mapping models for each modality, similarity metrics, and decision-making criteria. The hardware architecture of the multimodal biometric authentication system is developed based on the Raspberry Pi 4 Model B single-board computer, using a camera module, a USB microphone, and a display interface. Neural networks for face and voice recognition are implemented, including MTCNN for face detection and alignment, MobileFaceNet for generating facial feature vectors, and ECAPA-TDNN for extracting voice feature embeddings, which makes it possible to achieve high authentication accuracy under limited computational resources of the single-board computer.