Дослідження застосування великих мовних моделей для автоматизації генерації модульних тестів та аналізу результатів при перевірці WordPress плагінів

Abstract

Кваліфікаційна робота присвячена розробці системи автоматизованої генерації модульних PHPUnit-тестів для WordPress-плагінів на основі великих мовних моделей. У першому розділі проаналізовано сучасний стан тестування плагінів, динаміку вразливостей в екосистемі та ключові проблеми ручного тестування. У другому розділі досліджено інструменти генерації тестів, проведено порівняльний аналіз провідних моделей LLM та обґрунтовано вибір чотирирівневої методики prompt engineering і ітеративного repair loop. У третьому розділі описано архітектуру та реалізацію системи WP-TestLLM, проведено експериментальне дослідження на реальних плагінах, виконано статистичну перевірку гіпотези та оцінено практичну й економічну ефективність рішення. Об’єкт дослідження: процес тестування та забезпечення якості й безпеки WordPress-плагінів у масштабній та динамічній екосистемі відкритої системи управління контентом. Предмет дослідження: методи автоматизації генерації модульних PHPUnit-тестів та аналізу їх результатів за допомогою великих мовних моделей.

The master's thesis is devoted to the development of a system for automated generation of unit PHPUnit tests for WordPress plugins based on large language models. The first chapter analyzes the current state of plugin testing, the dynamics of vulnerabilities in the ecosystem, and the key problems of manual testing. The second chapter examines existing test generation tools, provides a comparative analysis of leading LLM models, and substantiates the choice of a four-level prompt engineering methodology combined with an iterative repair loop. The third chapter describes the architecture and technical implementation of the WP-TestLLM system, presents an experimental study conducted on real plugins from the Crocoblock ecosystem, performs a statistical verification of the research hypothesis, and evaluates the practical and economic efficiency of the proposed solution. Object of research: the process of testing and ensuring the quality and security of WordPress plugins within the large-scale and dynamic ecosystem of an open-source content management system. Subject of research: methods of automating the generation of unit PHPUnit tests and analyzing their results using large language models.