Some methodological conclusions about the generative AI model Data Analyst

Abstract

Це дослідження присвячене вивченню можливостей генеративної моделі ШІ (GenAI) ChatGPT-5 Data Analyst (інтегрована в Chat GPT у серпні 2025 року), яка має спеціалізацію в галузі аналізу даних. Наразі використання великих мовних моделей (LLM) для виконання різноманітних завдань є вже досить поширеним явищем. Фахівці з аналізу даних тестують можливості цих технологій у своїй сфері. Наявні публікації та власний досвід авторів показали, що генеративні моделі загального призначення, такі, як ChatGPT, у деяких випадках забезпечують корисний зворотний зв’язок, а в інших – ні. Їхні спільні висновки включають як позитивний досвід застосування цих технологій для низки типових завдань, так і спостереження щодо суттєвих недоліків у певних випадках. Ці публікації надихнули нас провести власне дослідження. Оскільки ці технології розвиваються надзвичайно швидко (з одного боку, алгоритми вдосконалюються, з іншого, – збільшується база та час навчання), було б цікаво з’ясувати поточний стан справ. Мета цього дослідження протестувати можливості моделі Data Analyst, спеціалізованої на виконанні статистичних методів, методів машинного навчання та інших обчислювальних алгоритмів. Також розглянуто питання щодо доцільності залучення цього інструменту до навчання відповідних дисциплін. Проаналізовано придатність моделі ChatGPT-5 Data Analyst для навчання статистичним методам на прикладі застосування цього ресурсу для задачі кластеризації даних. Розглянуто можливості Data Analyst для трьох наборів даних із різним ступенем відокремленості кластерів та із застосуванням різних методів кластеризації, зокрема k-means, ієрархічної кластеризації (single linkage) і нечіткого методу c-means. Також оцінено можливості візуалізації, створення коду мовою R та інтерпретації результатів. Визначено можливості та обмеження цього програмного інструмента для навчання за відповідною тематикою. Було встановлено, що найпростіші базові завдання Data Analyst виконав досить ефективно, тоді як завдання середньої складності наразі можуть бути йому не під силу. Для даних із добре відокремленими кластерами кластеризація ефективно виконана за допомогою методів k-means і single linkage, кластери візуалізовані та надано робочий код мовою R. Завдання для методу c-means не виконано. Щодо інтерпретації результатів та порівняння ефективності різних методів, отримані відповіді можна вважати прийнятними, якщо розглядати їх як консультативні, що підтримують ухвалення рішень людиною. Результатом дослідження є висновок про необхідність навчати студентів використовувати ШІ для аналізу даних разом із обговоренням його обмежень, наслідків, етичних аспектів та викликів для фахівців у цій галузі.

This work is devoted to studying the capabilities of the generative AI (GenAI) ChatGPT-4o model Data Analyst (integrated in Chat GPT in August 2025), which has a specialization in the field of data analysis. Currently, the use of large language models (LLM) for various tasks is already a widespread phenomenon. Data scientists are testing the capabilities of these technologies in their field. Available publications and the authors’ own experience have shown that general-purpose generative models, such as ChatGPT, provide useful feedback in some cases, and in others – not. Their common conclusions are both positive experience in applying these technologies for a number of typical tasks, and also observations about significant shortcomings for certain cases. These publications inspired us to do our own research. Since these technologies are developing extremely rapidly (on the one hand, algorithms are improving, on the other hand, the base and training time are increasing), it would be interesting to find out the current state of affairs. The purpose of this study was to test the capabilities of the Data Analyst model, specialized for performing statistical methods, machine learning methods and other computational algorithms. The question of whether this tool should be involved in teaching relevant disciplines was also studied. In this paper, we analyze the suitability of the ChatGPT-5 Data Analyst model for training in statistical methods using the example of applying this resource to the clustering problem. The capabilities of Data Analyst are considered for three data sets with different degrees of cluster separation and using different clustering methods, including k - means, single linkage, and the fuzzy clustering method c-means. The possibilities of visualization, code creation in the R program, and interpretation of results are also considered. The paper establishes the capabilities and limitations of this software tool for training in this topic. It was found that the simplest basic tasks Data Analyst has performed quite effectively, while tasks of medium complexity may not be within its power at the moment. For clustering well-separated data, clustering was effectively performed using the k- means and single linkage methods, clusters were visualized, and the working code in the R program was provided. The task was not performed for the c-means method. Regarding the interpretation of the results and comparison of the effectiveness of different methods, the obtained answers can be considered acceptable if we consider these answers as advisory, supporting human decision-making. The result of our study is the conclusion about the need to teach students to use AI for data analysis along with a discussion of its limitations, consequences, ethical aspects and challenges for professionals in this field.