Алгоритмічне, програмне та апаратне забезпечення комп’ютерних систем паралельного опрацювання великих даних на платформі Java

Abstract

В дипломній роботі магістра виконано дослідження алгоритмічного, програмного та апаратного забезпечення комп’ютерних систем паралельного опрацювання великих даних на платформі Java. Аналізувались шляхи оптимізації Java-програм при опрацюванні великих даних з точки зору ефективності використання алгоритмів та структур даних на апаратному забезпеченні. Запропоновано методику оцінювання ефективності (тестування) створеного коду без JIT-оптимізацій. У роботі використовується архітектура паралельної та розподіленої комп'ютерної системи на базі доступних компонентів: багатоядерних x86_64 процесорів, типової пам’яті та комунікаційних інтерфейсів. Обчислювальні системи об’єднані комунікаційним каналом GigabitEthernet. Проаналізовано особливості створення багатопотокових програм на мові Java, зокрема з використанням бібліотеки java.util.concurrent. На основі аналізу бібліотек програм, фреймворків та різноманітних літературних джерел, узагальнено рекомендації яких варто дотримуватись при створенні Java-програм. У роботі наведені результати оцінювання ефективності використання відповідних технологій. Застосування технології Java дало змогу використати усі конкурентні переваги даної мови програмування, зокрема простоту, надійність та високу ефективність. Використано Java 8 фреймворк Fork-Join.

Master's degree thesis deals with the algorithms, software and hardware of computer systems for the parallel processing of large data on the Java platform. The ways of optimization of Java-programs in the processing of large data in terms of the efficiency of the algorithms use and data structures on the hardware were analyzed. The method of estimating the effectiveness (testing) of the generated code without JIT optimizations is proposed. The work uses the architecture of a parallel and distributed computer system based on the available components: multi-core x86_64 processors, typical memory and communication interfaces. The computing systems are connected by a communication channel GigabitEthernet. The peculiarities of multithreaded programs development in Java, including using the java.util.concurrent library are analyzed. Based on the analysis of program’s libraries, frameworks and various information resources, recommendations for Java-program developers are suggested. The results of the relevant technologies effectiveness evaluation are presented in the work. The use of Java technology has made it possible to take advantage of all the competitive advantages of this programming language, including simplicity, reliability and high efficiency. Used Java 8 Framework Fork-Join.