Захист персональної інформації в задачах аналізу та обробки великих даних

Abstract

Метою роботи – систематичне порівняння трьох відомих алгоритмів k-анонімізації для вимірювання їх продуктивності (з точки зору використання ресурсів) та їх ефективності (з точки зору корисності даних). Основні результати роботи: в роботі досліджено поняття анонімізації, описано її моделі, обрано для дослідження алгоритми k-анонімізації, як однієї з базових моделей, запропоновано критерії якості алгоритмів k-анонімізації для подальшого прийняття рішення щодо вибору алгоритму, проведено порівняння трьох основних алгоритмів Datafly, Incognito, Modrian для двох наборів даних (реального та синтетичного) та для різних початкових налаштувань параметрів алгоритмів, сформовано рекомендації щодо застосування алггоритмів. У першому розділі описується, що таке анонімізація, моделі конфідеційності та на прикладах розглядаються деякі атаки конфідеційності. У другому розділі розглядаються методи анонімізації, три найбільш поширені алгоритми анонімізації та описується методологія порівняння цих алгоритмів. Третій розділ експерементальний. У ньому порівнюются три алгоритими анонімізації за такими критеріями як – час анонімізації, узагальнена втрата інформації, метрика чутливості та середній розмір класу еквівалентності. У четвертому розділі описується генератор реальних синтетичних даних та принцип його роботи. У розділі “Обґрунтування економічної ефективності” підраховується вартість роботи та термін її окупності. У розділі “Охорона праці та безпека в надзвичайних ситуаціях” зазначено, що дослідження відбувалося зі збереженням правил пожежної безпеки та всіх норм охорони праці. У розділі “Екологія” описуються методи узагальнення екологічної інформації та зазначаються вимоги до мікроклімату приміщень. У результаті підготовки дипломної роботи проведено серію експериментів та всебічний аналіз для виявлення факторів, що впливають на ефективність загальнодоступних реалізації алгоритмів анонімізації. Представлено за допомогою експериментальної оцінки умови, в яких один алгоритм перевершує інші за певним показником, залежно від вхідних даних та вимог конфіденційності.

Project purpose: systematic comparison of three well-known k-anonymization algorithms to measure their efficiency (in terms of resources usage) and their effectiveness (in terms of data utility). Main results: The concept of anonymization is investigated, its models are described, k-anonymization algorithms are selected as one of the basic models, k-anonymization quality criteria are proposed for further decision making, algorithm selection is performed for three basic algorithms, Datafly Incognito, Modrian two sets of data (real and synthetic) and different initial adjustments of algorithm parameters, recommendations for the application of algorithms were formed. The first section describes anonymization, privacy models, and some examples of privacy attacks. The second section discusses anonymization methods, the three most common anonymization algorithms, and describes a methodology for comparing these algorithms. The third section is experimental. It compares three anonymization algorithms against such criteria as anonymization time, generalized information loss, sensitivity metric, and average equivalence class size. The fourth section describes the real synthetic data generator and how it works. In the economic section the cost of the work and its payback period are calculated. The section "Occupational Health and Safety" states that the study was conducted in compliance with fire safety rules and all occupational safety standards. The section "Ecology" describes the methods of generalizing environmental information and specifies the requirements for the microclimate of the premises. As a result of the preparation of the thesis, a series of experiments and a comprehensive analysis were conducted to identify the factors that influence the effectiveness of publicly available anonymization algorithms. Provided by an experimental evaluation of the conditions in which one algorithm outperforms the others by a certain measure, depending on the input and privacy requirements.