Özet. Bu bildiride, TÜBİTAK BİLGEM Yazılım Teknolojileri Araştırma Enstitüsü (YTE) tarafınca geliştirilmeye devam edilen yüksek performans, erişilebilirlik ve ölçeklenebilirlik gereksinimleri olan bir takip ve izleme projesi için bulut-tabanlı ortamda yürütülen yazılım performans test deneyimleri paylaşılmaktadır. Bu kapsamda böyle yüksek performans, erişilebilirlik ve ölçeklenebilirlik gereksinimleri olan yazılım sistemleri için performans testinin gerekliliği ve önemi üzerinde durulmaktadır. Daha sonra performans testi yürüttüğümüz projenin gereksinimlerine değinilerek; problemin zorluğu vurgulanmaktadır. Son olarak; performans test ortamının Amazon Web Services (AWS) üzerinde hazır edilmesi, performans testlerinin koşturulması, ölçevlerin (metrics) toplanması, analiz ve ayarlama (tuning) faaliyetlerinde bu projede edinilen deneyimler, sağlanan kazançlar paylaşılmakta ve ileriye yönelik hedeflere değinilmektedir.
gibi performans ölçevleriyle tanımlanabilir. Çıkan iş oranı birim zamanda tamamlanan işlemlerin sayısını, cevap süresi istemciden bir isteğin alınmasından istemciye cevap dönülmesine kadar geçen süreyi, kaynak kullanım verimliliği (CPU, bellek, disk I/O, ağ I/O vb.) ise kullanılan sistem kaynaklarının miktarını ve verimliliğini tanımlamaktadır.
Performans gereksinimlerinin doğrulaması ölçüme dayalı ve deneysel bir yaklaşım
olan performans testi yürütülmesinin yanı sıra analitik performans modelleriyle veya
bunların karma kullanımlarıyla da gerçekleştirilebilir. Analitik performans
modelleriyle ile mimari tasarımı daha gerçeklemeden, performans hedeflerinin sağlanıp
sağlanamayacağının değerlendirilmesi yapılabilir ve farklı ödünleşim (trade-off)
analizlerinde bulunarak olası yanlış mimari tasarım kararlarından kaynaklanabilecek büyük
maliyetlerden kurtulmak mümkün olabilir. Yazılım performans testinde yazılım
sistemi belli bir zaman dilimi boyunca belli bir iş yüküne tabi tutularak çıkan iş oranı,
cevap süresi, kaynak kullanım verimliliği gibi performans ölçevleri toplanır, sonuçlar
analiz edilir. Daha maliyetli bir yöntem olmasına rağmen ürün-ortamına yakın bir
performans test ortamının kullanılmasıyla gerçek performans ölçevlerinin sonuçları
alınır ve ürün ortamında bir sürpriz ile karşılanması önlenmiş olur. Performans
modellerini sağladığı esneklik ve maliyet faydasına rağmen içerebileceği yanlış
varsayımlar gerçekten uzaklaştırabilme olasılığına sahiptir. Bundan dolayı tüm bu teknik
ve yaklaşımları bir mühendislik disiplini içerisinde birbirlerini destekleyecek şekilde
kullanmak son yıllarda öne çıkan önemli bir konudur ve yeni bir mühendislik disiplini
olarak Smith [
Yazılım performans mühendisi, performans kaygısı yüksek olan sistem
operasyonlarını (kullanım durumları) tüm sistem operasyonlarından indirgeyebilir. Seçilen bu
operasyonların göreceli olarak ağırlıklandırılması, operasyonel profili [
Performans test türleri farklı ihtiyaçlara binaen ve keşfedilmesi istenen olası farklı
performans sorunları için daha fazla çeşitlendirilebilir ve bundan ötürü literatürde
daha pek çok performans test türü raporlanmıştır [
Bildiri şu planlamadan oluşmaktadır. Bölüm 2’de geliştirilen takip ve izleme projesinin performans gereksinimleri anlatılacaktır. Bölüm 3’de uyguladığımız performans test süreci anlatılacaktır. Bölüm 4’de hazırladığımız bulut-tabanlı performans test ortamı tanıtılacaktır. Bölüm 5’de performans testlerini koşarken, ölçevleri toplarken ve analiz faaliyetlerinde edinilen deneyimler paylaşılacaktır. 2
TÜBİTAK BİLGEM YTE tarafınca geliştirilmesi devam eden, vatandaş odaklı hizmetler sunan ve yüzbinlerce kullanıcılı bir takip ve izleme sistemi projesinde performans testlerini gerçekleştirdik. Bu projede özellikle takip ve izleme ile alakalı bir modül, makine-makine etkileşiminin çok yüksek boyutlarda olmasından dolayı oldukça yüksek performans gereksinimlerine sahiptir. Sistem çeşitli firmaların üretim bantlarıyla entegre olacağından ve üretimin 7/24 devam edeceği varsayıldığından, sistemin yüksek erişilebilirlikte olması gerekmektedir. Geliştirilmesi devam eden bu yazılım sistemi, canlıya alındığında ilk yıllarda 19000 işlem/saniye iş çıkarma yeteneğine sahip olması gerekirken, ileriki yıllarda en az 30000 işlem/saniye oranlarına hızlıca çıkacağı öngörülmektedir. Bu yüzden yazılım sisteminin performans gereksinimlerini karşılamasının yanı sıra, kesintisiz olarak kullanımda kaldığı zaman boyunca ölçeklenebilmelidir. Ayrıca, bu modüldeki işlemlerin müşteri memnuniyeti açısından cevap süresi maksimum 1 saniye olmalıdır. Tüm bu gereksinimler daha dar kapsamlı olan, mevcut kullanımdaki takip ve izleme sistemlerinin değerleri göz önüne alınarak ve uzman görüşlerine dayanılarak hesaplanmıştır.
Bu performans, ölçeklenebilirlik ve erişilebilirlik gereksinimleri bir kurumsal bilgi sistemi için oldukça eşine az rastlanabilecek, oldukça zorlu bir problemi ortaya koymaktadır. Bu problemin üstesinden gelebilmek için yazılım geliştirme sürecinin erken safhalarında başlayarak performans testleri tanımlanmış süreçlere uygun bir şekilde yürütülmektedir. 3
Performans test sürecinde öncelikle performans gereksinimleri tanımlanır. Daha sonra, performans testlerini yürütmek için hedeflenen ürün ortamına yakın bir test ortamı tanımlanır ve hazırlanır. Uygulamanın operasyonel profiline göre gerçekçi ve kilit senaryolar tanımlanır. Test verisi olarak fonksiyonel testlerde kullanılan veriler kullanılır fakat dinamik olarak çokça üretilmesi gereken test verileri için betiklerin hazırlanması gerekir. Dış servis bağımlılıklarını kırmak için sanal servisler oluşturulur. Performans test tasarımı seçilen bir performans test aracıyla gerçeklenir. Oluşturulan performans test betikleri yerel geliştirme ortamında düşük bir yükte çalıştırılarak doğrulandıktan sonra, gerçek test ortamına aktarılır. Testin koşturulması esnasında çevrimiçi olarak sistem kaynakları (CPU, Network I/O, Disk I/O), sunucu günlükleri (log), cevap süresi ve çıkan iş oranı izlenerek, olası performans sorunları anlık tespit edilmeye çalışılır. Test bitiminden sonra tüm ölçevler toplanarak kaydedilir ve sonuçlar konsolide edilerek analiz edilir. Analiz esnasında istenilen tüm ölçevlerin kabul edilen limitler içerisinde olduğuna ve hiçbir eşik değerinin aşılmadığına ve istenen tüm bilgilerin toplandığına emin olunduğunda, ilgili performans testi bu konfigürasyonda tamamlanmış olur. Eğer bir sorun gözlemlenirse darboğaz unsurlar tespit edilmeye çalışılır. Eldeki bulgulara göre gereken hata raporları açılır ve iyileştirici aksiyonlar planlanır. Yapılan ayarlama faaliyetlerinden sonra iyileşme olup olmadığını anlamak için yeniden test yapılır. Buna göre gerçekleşen ilerlemeleri kayıt altına alarak dayanaklar oluşturulur. Bu projede uygulanan bu test süreci, edinilen deneyimlere göre sürekli olarak iyileştirilmeye devam etmektedir. 4
Takip ve izleme projesi sahip olduğu yüksek performans gereksinimlerinden dolayı
performans testlerini yürütmek için yüksek sunucu kapasitesine ihtiyaç duyulmuştur.
Böyle yüksek kapasiteli ortamı geleneksel bir ortam yerine bulut ortamlarda
hazırlamak; farklı teknolojilerin, konfigürasyonların ve yazılım tasarımlarının denenebilmesi
esnekliğini maliyet etkin bir şekilde sağladığı görülmüştür. Bu konuda bazı çalışmalar
[
Performans test ortamı 2 ayrı ortamdan oluşmaktadır. İlki takip ve izleme sistemini, diğeri ise yükleri oluşturan JMeter ortamını içerir. Performans test aracı olarak JMeter v2.13; açık-kaynak ve ücretsiz olması, kullanım kolaylığı, her ortamda çalışabilir olması, güçlü bir topluluğu ve dokümantasyonu olmasından dolayı tercih edilmiştir. Bulut-tabanlı ortam üzerinde performans testi yapılırken sunucuların oluşturulması, gerekli ağ ayarlarının yapılması, sunucular üzerine ilgili programları kurulması, testlerin çalıştırılması ve en son bu sunucuların silinmesi işlemlerinin yapılması gerekmektedir. Bu işlemlerin her performans testi öncesi el ile yapılması maliyetli ve hataya açık bir işlem olacağı için performans test ortamı AWS Cloudformation aracı kullanılarak, betikler ile otomatik olarak oluşturulmaktadır. JMeter ortamı, GitHub (https://github.com/oliverlloyd/jmeter-ec2) üzerinde bulunan JMeter-EC2 adlı açık kaynak kodlu proje kullanılarak AWS üzerinde oluşturulmaktadır.
Performans testlerini yürütmek için öncelikle geliştirilmekte olan sistemin mevcut dış sistem entegrasyonlarını sanallaştırmamız gerekti. Sanal servisler, geliştirilmekte olan sistemin performans testleri sırasında dış sistemlere olan bağımlılıklarını kırmak, dolayısıyla sistemin gerçek performans seviyelerini elde edebilmek için gerekmektedir. Buradan yola çıkarak, sanal servisleri oluşturmak için Kurumsal Hizmet Veri Yolundan istifade edilmiştir. Uygulamanın operasyonel profili, alan uzmanlarına danışılarak belirlenmiş ve senaryolar oluşturulmuştur.
Performans testleri AWS ortamında koşarken, sadece AWS’in sunduğu ölçevleri kullanabildik. Bu ölçevlerden de sadece CPU ölçümünün sağlıklı olarak alınabildiği ve diğer sistem kaynaklarıyla ilgili ölçevlerin toplanmasında AWS’den kaynaklı sorun görülmüştür. İlgili sunucuların günlük analizleri her bir sunucunun ilgili dosyaları elle kontrol edilerek yapılmış, otomatik ve konsolide bir günlük yönetimi ihtiyacı görülmüştür. Çıkan iş oranı ve cevap süreleri ancak test bitiminde JMeter’ın sonuç dosyasından alınabildiği için anlık olarak analizin çok sağlıklı bir şekilde yapılamadığı tespit edilmiştir.
Performans testlerinde ileride ortaya çıkması durumunda düzeltme maliyetinin oldukça yüksek olacağı, performansla ilgili hatalar raporlanarak çözümler aranmıştır. Raporladığımız hatalar kabaca şöyle sınıflandırılabilinir.
Eş-zamanlı programlama hataları. Optimistik kilit arızaları (optimistic lock failure), yarışma durumuna (race condition) bağlı veri tutarlılığı problemleri. Veritabanı sorgularındaki optimizasyon problemleri (Lazy loading yerine eager loading yapılması gibi). Bazı iş kuralları uygulamanın istemci tarafında işletilirken, sunucu tarafında yapılmaması ile ilgili hatalar. HTTP/JSON servis arayüzlerinin eksik, fazla ve hatalı parametreleri ve dönen cevap mesajlarının anlaşılmayan hata mesajları içermesi gibi hatalar. 6
Bu bildiride, TÜBİTAK BİLGEM YTE tarafınca geliştirilmeye devam edilen takip ve izleme sistemi projesi için gerçekleştirilen performans testlerinin niçin yapılması gerektiğini, nasıl bir süreçle yürütüldüğünü, nasıl bir performans test ortamında gerçekleştirildiğini ve performans testleri esnasında edinilen deneyimleri paylaştık. İleride düzeltilmesi zor olan pek çok performansla ilgili hata daha geliştirme safhasında müdahale edilerek çözülmüş ve ciddi bir maliyetten böylelikle sakınılmıştır. Mevcut altyapıdaki izleme, ölçev toplama, günlük yönetimi, daha kaliteli çevrimiçi ve çevrimdışı analiz ihtiyacı gibi alanlarda iyileştirme yapabildiğimiz takdirde geliştirilen yazılım sisteminin performans, ölçeklenebilirlik ve erişilebilirlik hedeflerine daha kolay bir şekilde ulaşabileceği ve ürün müşteriye teslim edilmeden istenilen fonksiyonel olmayan kalite hedeflerine zamanında ve bütçesinde erişilebileceği görülmüştür. Bundan dolayı, daha nitelikli bir şekilde performans testlerini yürütmek için uygulama performans yönetimi araçlarının geliştirilmesi veya hazır araç kullanılması zaruret olarak görülmüştür. İlerleyen günlerde daha nitelikli bir şekilde performans testleri, analizi ve sorun çözümlemesi yapabilecek noktada olmayı ve analitik performans modellerinden de istifade edildiğinde, daha verimli ve etkin bir şekilde yazılım performans yönetimi yapabilmeyi hedefliyoruz.