Методи обробки природної мови із використанням інформаційної технології Spark MLlib

Abstract

Дипломна робота присвячена дослідженню методів обробки природної мови із використанням інформаційної технології Spark MLlib. Метою роботи є розробка і дослідження нового підходу до визначення фішингових електронних листів на основі обробки природної мови із використанням інформаційної технології Spark MLlib. Об’єктом дослідження є процес обробки природної мови через розробку моделі класифікації електронних листів на фішингові та нейтральні. Предметом дослідження є методи обробки природної мови, класифікатори та інформаційна технологія Spark MLlib, які можуть бути запроваджені задля забезпечення максимальної ефективності визначення фішингових електронних листів. Основні результати: досліджено існуючі методи класифікації електронних листів, проведено тестування і визначення оптимальності використання уже існуючих методів, розроблено та досліджено новий підхід у класифікації фішингових електронних листів із використанням комплексної моделі на основі трьох класифікаторів, досліджено коректність роботи даної моделі, порівняно результати із іншими методами.