Алгоритмічне та програмне забезпечення побудови корпусів мов CAT-засобів

Abstract

В дипломній роботі магістра виконано дослідження алгоритмічного та програмного забезпечення побудови корпусів мов CAT-засобів. В роботі розглянуто метод латентно-семантичного аналізу для дослідження релевантних зв’язків термів і документів. Розглянуто сфери застосування, компанії світового рівня що вже розглядають цю технологію. Було описано створення матриці «терм-на-документ», застосування методу латентно-семантичного аналізу (LSA) для аналізу корпусу, що складається із повного набору статей англомовної Вікіпедії. Розглянуто використання Spark для попередньої обробки даних: читання, очищення та приведення в числову форму. Показано, як вираховується сингулярний розклад матриці (SVD), пояснено, як його інтерпретувати і використовувати. Проведено вирахування вагових коефіцієнтів за допомогою показника TF-IDF. Показано варіанти запитів простого пошуку по вихідній матриці, та щодо релевантності терма до терма, документа до документа, терма до документа, та багатьох термів одночасно.