Büyük Dil Modellerini Kullanan Olay Odaklı Mikroservisler için Sözleşme Tabanlı Otomatik Test Çerçevesi

Abstract

Olay odaklı mikroservis mimarileri modern yazılımların temelini oluşturdukça, güvenilir test tekniklerine duyulan ihtiyaç kritik hale gelmektedir. Bu sistemlerin eş zamansız ve dağıtık yapısı, doğruluğu garanti etmeyi ve hataları tespit etmeyi zorlaştırmaktadır. Geleneksel test yöntemleri bu dinamik davranışlar için yetersiz kaldığından, gelişmiş ve otomatik çözümlere ihtiyaç duyulmaktadır. Bu tez, olay odaklı mikroservisler için sözleşme tabanlı üretimi (OpenAPI), davranış odaklı geliştirmeyi (Gherkin), mutasyon testini (Stryker) ve LLM destekli senaryo üretimini birleştiren bir otomatik test çerçevesi sunmaktadır. Çerçeve, gerçekçi ve sınır odaklı test senaryoları üretmek için özellikle Ollama üzerinden yerel olarak çalıştırılan LLaMA-3 modeline odaklanmaktadır. Bu yaklaşım, GPT-4, Gemini veya Claude gibi bulut tabanlı modellerin getirdiği kullanım limiti, maliyet ve veri gizliliği risklerinden kaçınmayı sağlamıştır. Ampirik değerlendirme için, Ming Teknoloji A.Ş. bünyesinde çalışan iki gerçek üretim (production) mikroservisi, bu tez kapsamında 'Nearmiss' ve 'Suggestion' olarak adlandırılarak vaka analizi olarak kullanılmıştır. API sözleşmelerinden oluşturulan test koleksiyonları Postman/Newman CLI ile çalıştırılmış ve CI/CD entegrasyonu sağlanmıştır. Sözleşmelerin otomatik olarak çalıştırılabilir BDD senaryolarına dönüştürülmesi, şartname ve doğrulama arasında sorunsuz bir köprü kurmuştur. Sonuçlar, bu çerçevenin geliştirme verimliliğini, test kapsamını ve hata tespitini önemli ölçüde artırdığını göstermektedir. Yapay zekâ ve geleneksel araçların birleşimi, eşzamansız hizmet etkileşimlerini doğrulamak için ölçeklenebilir ve sağlam bir yöntem sunarak olay odaklı mikroservislerin güvenilirliğini sağlamaya yönelik pratik bir katkı sağlamaktadır.

As event-driven microservice architectures become foundational to modern software, the need for reliable testing techniques is critical. These systems' asynchronous and dispersed nature makes it challenging to guarantee correctness and identify flaws. Conventional testing methods are often inadequate for these dynamic behaviors, creating a need for advanced, automated solutions. This thesis presents an automated testing framework for event-driven microservices, combining contract-based generation (OpenAPI), behavior-driven development (Gherkin), mutation testing (Stryker), and LLM-assisted scenario generation. The framework deliberately centers on a locally hosted LLaMA-3 model via Ollama to generate realistic, boundary-oriented test cases, avoiding the rate limits, costs, and privacy risks of cloud-based models like GPT-4, Gemini, or Claude. For empirical assessment, two production microservices from Ming Teknoloji A.Ş. presented for clarity as the 'Nearmiss' and 'Suggestion' APIs, were used. Test collections from API contracts were executed via the Postman/Newman CLI, with scripts enabling CI/CD integration. Furthermore, automated conversion of contracts into executable BDD scenarios provided a seamless bridge between specification and validation. The results demonstrate that this framework significantly enhances development efficiency, test coverage, and fault detection. The blend of Al-driven techniques with traditional tools offers a scalable and robust method for validating asynchronous service interactions, contributing a practical and intelligent approach to ensuring the dependability of event-driven microservices.