Порівняння можливостей LLM-моделей у контексті їх застосування для макроекономічного прогнозування

Abstract

Проаналізовано можливості LLM-моделей (великих мовних моделей), які можуть бути корисні для макроекономічного прогнозування на сучасному етапі його розвитку. Порівнюються три мовні моделі – Grok, Google Gemini та ChatGPT, яким було задано один і той самий промпт, але отримані результати виявилися значно різними за структурою, деталізацією та обґрунтуванням висновків. Основну увагу приділено аналізу потенціалу великих мовних моделей та їх поведінки саме у контексті задач макропрогнозування економічного розвитку України, зокрема у визначенні ключових макроекономічних показників, таких, як темпи зростання ВВП, рівень інфляції, обсяги інвестицій та динаміка споживчого попиту. У межах дослідження було поставлено одну ідентичну задачу для всіх трьох LLM, проте кожна модель використала різні джерела даних, різну статистичну та математичну методологію, що призвело до формування унікальних результатів. Отримані прогнози порівнювалися з офіційними даними та національним прогнозом економіки України, який розробляється уповноваженими державними органами. Аналіз показав, що моделі демонструють різну здатність до інтеграції історичних даних, оцінювання ризиків та формування сценаріїв економічного розвитку, що дозволяє зробити висновок про їхню потенційну корисність у доповненні традиційних методів прогнозування. Дослідження також висвітлює проблемні аспекти застосування LLM у макроекономіці, серед яких відсутність стандартизованих підходів до вибору джерел даних, ризики появи систематичних помилок через упередженість моделей, а також труднощі у формулюванні точних економічних запитів, які забезпечують адекватний та надійний результат. Окремо підкреслено важливість критичного аналізу отриманих прогнозів, необхідність перевірки їхньої достовірності та узгодженості з офіційними економічними показниками, а також перспективи інтеграції LLM у комбіновані моделі прогнозування, де вони можуть слугувати інструментом для швидкого аналізу великих обсягів текстових та числових даних. Таким чином, проведене дослідження дозволяє окреслити практичні та методологічні перспективи використання великих мовних моделей у макроекономічному прогнозуванні, а також формує основу для подальших досліджень щодо підвищення точності прогнозів, оптимізації роботи з даними та підготовки комплексних рекомендацій для економічних аналітиків і державних структур. У підсумку робота демонструє, що LLM можуть стати ефективним доповненням до традиційних методів прогнозування, проте потребують ретельної адаптації під специфіку національної економіки та контрольованого впровадження у практику.

The article presents an analysis of the capabilities of large language models (LLMs), which may be useful for macroeconomic forecasting at the current stage of its development. Three language models – Grok, Google Gemini, and ChatGPT – are compared, all of which were given the same prompt, yet produced significantly different results in terms of structure, detail, and justification of conclusions. The focus is on evaluating the potential of large language models and their behavior specifically in the context of tasks related to forecasting the macroeconomic development of Ukraine, particularly in estimating key macroeconomic indicators such as GDP growth rates, inflation, investment volumes, and consumer demand dynamics. In this study, a single identical task was assigned to all three LLMs; however, each model utilized different data sources and applied distinct statistical and mathematical methodologies, resulting in unique outcomes. The forecasts generated were compared with official data and the national economic forecast of Ukraine, developed by the relevant government authorities. The analysis demonstrated that the models exhibit varying abilities to integrate historical data, assess risks, and generate scenarios of economic development, indicating their potential usefulness as a complement to traditional forecasting methods. The study also highlights the challenges of applying LLMs in macroeconomics, including the lack of standardized approaches to data selection, the risk of systematic errors due to model biases, and difficulties in formulating precise economic queries that yield reliable results. The article emphasizes the importance of critically analyzing generated forecasts, verifying their accuracy and consistency with official economic indicators, as well as the prospects for integrating LLMs into hybrid forecasting models, where they can serve as tools for rapid analysis of large volumes of textual and numerical data. Overall, the research outlines the practical and methodological prospects for using large language models in macroeconomic forecasting and provides a basis for further studies aimed at improving forecast accuracy, optimizing data processing, and preparing comprehensive recommendations for economic analysts and government institutions. The study demonstrates that LLMs can become an effective supplement to traditional forecasting methods, but require careful adaptation to the specifics of the national economy and controlled implementation in practice.