Technologies for designing and programming big data in e-learning

Abstract

Останнім часом електронна освіта в усьому світі стрімко розвивається. Основною проблемою стає своєчасне забезпечення студентів якісною навчальною інформацією. Значним поштовхом для цього є глобальна епідемія covid-19. Завдання впровадження електронної освіти неможливо вирішити без аналізу великого потоку інформації, що надходить в інформаційне середовище електронної освіти від учасників освітнього процесу – студентів, викладачів, адміністрації і т.д. У цьому середовищі існує велика кількість різних типів даних як структурованих, так і неструктурованих, опрацювання яких важко здійснити традиційними статистичними методами. Мета дослідження – показати, що для розроблення і упровадження успішних систем електронного навчання необхідно використовувати нові технології, які б дозволили зберігати й опрацьовувати великі потоки даних. Для зберігання великих даних потрібен великий обсяг дискової пам'яті. Показано, що для вирішення цієї проблеми доцільно використовувати кластерну технологію NAS (Network Area Storage), що дозволяє зберігати інформацію навчальних закладів на NAS – серверах і мати до них загальний доступ з Інтернету. Для опрацювання і персоналізації великих даних у середовищі електронної освіти запропоновано використовувати технології MapReduce, Hadoop, NoSQL та інші. Ннаводяться приклади використання цих технологій у хмарному середовищі. Ці технології в електронній освіті дозволяють досягти гнучкості, масштабованості, доступності, безпеки, конфіденційності та простоти використання навчальної інформації.Показано, що на сьогодні розроблено безліч програмних додатків для інтелектуального аналізу великих даних. Ці програмні продукти можна використати для класифікації, кластеризації регресійного й мережевого аналізу навчальної інформації. Застосування цих методів в електронній освіті дозволить педагогам своєчасно отримувати інформацію про учнів, оперативно реагувати на будь-які зміни процесу навчання, своєчасно вносити зміни в навчальний контент. Отримані результати дослідження запропоновано використовувати для вироблення рекомендацій при створенні електронних курсів у вищих і середніх навчальних закладах України.

Recently, e-education around the world is developing rapidly and the main problem is the timely provision of students with quality educational information. A significant impetus for this is the global epidemic of covid-19. The problem of implementing e-education cannot be solved without analysing the large flow of information coming into the information environment of e-education from participants in the educational process – students, teachers, administration, etc. In this environment, there are a large number of different types of data, both structured and unstructured, which are difficult to process by traditional statistical methods. The aim of the study is to show that the development and implementation of successful e-learning systems requires the use of new technologies that would allow the storage and processing of large data streams. Large amounts of disk space are required to store large data. It is shown that to solve this problem it is expedient to use cluster technology NAS (Network Area Storage), which allows to store information of educational institutions on NAS - servers and to have access to them from the Internet. To process and personalize Big Data in the e-learning environment, it is proposed to use technologies MapReduce, Hadoop, NoSQL and others. The article provides examples of the use of these technologies in the cloud environment. These technologies in e-learning make it possible to achieve flexibility, scalability, accessibility, security, confidentiality and ease of use of educational information. Another important problem of e-learning is the discovery of new, sometimes hidden, relationships in big data, new knowledge (data mining), which can be used to improve the educational process and increase the efficiency of its management. To classify electronic educational resources, identify patterns (patterns) of students with similar psychological, behavioural and intellectual characteristics, the development of individualized curricula in the article it is proposed to use methods of big data analysis. The article shows that to date, many software applications have been developed for big data mining. These software products can be used for classification, clustering, regression and network analysis of educational information. The application of these methods in e-education will allow teachers to receive timely information about students, to respond quickly to any changes in the learning process, to make timely changes to educational content. The obtained results of the research are offered to be used for development of recommendations at creation of electronic courses in higher and secondary educational institutions of Ukraine.