Özet. İNNOVA Bilişim Çözümleri A.Ş. bir Türk Telekom Grup şirketi olup; TSE-ISO-EN ISO 9001, ISO/IEC 20000, ISO/IEC 27001 ve TS ISO/IEC 15504 SPICE Seviye 2 uluslararası sertifikasyonlarına sahiptir. Bu model ve standartlara uygun olarak uygulama geliştirme süreçleri yürütülmektedir. Uygulama geliştirme süreçlerinden yazılım güvenilirliği; yazılımın başarısını gösteren en önemli kalite faktörlerindendir. Yazılım güvenilirliği, yazılımın belirli koşullar altında, yazılımdan beklenen özellikleri yerine getirebilmesi olasılığıyken, yazılım güvenilirliğinin modellenmesi, yazılım hata kayıt verilerinin davranışlarının modellenerek yazılım güvenilirliğinin tahmin edilmesidir. Yazılım güvenilirliğinin modellenmesi, proje yönetiminin projelerinin planlamasını doğru yapabilmesi için gerekli kaynakları en iyi şekilde planlaması ve müşteri ihtiyaçlarını karşılayacak ürünü en az hata içerecek şekilde müşteriye teslim etmesi açısından önemli bir unsurdur. Bu unsur dikkate alınmadığı durumda müşterinin firma ve ürüne olan güveni azalacağı gibi projenin geriye dönük kalite maliyetleri de artacaktır. Geliştirmesi tamamlanmış ancak aylık benzer büyüklüklerde iterasyonlar bazında ek geliştirme yapılan, yazılım ürün hattı gibi yeniden kullanımın etkin olduğu, regresyon test kümesine sahip projelerde hata değerlerinin ölçülmesi, değerlendirilip kontrol altında tutulması için yazılım güvenilirlik modellerinde özelleşmeye gitme ihtiyacı vardır. Bu çalışma kapsamında yukarıdaki özellikleri taşıyan bir projeye ait hata kayıt verileri kullanılarak bu hata kayıt verilerine en uygun yazılım güvenilirlik modeli belirlenmeye çalışılmış ve belirlenen model yardımı ile bir sonraki iterasyon da oluşabilecek hata miktarı %95 güven aralığında tahmin edilmeye çalışılmıştır. Anahtar Kelimeler: Yazılım Güvenilirliği, Lineer Regresyon Modeli, Homojen Olmayan Poisson Süreci Goel-Okumoto Modeli, Geciktirilmiş S-Şekilli Homojen Olmayan Poisson Süreci Modeli
Günümüzde her alanda hayatımıza giren yazılımlar, teknoloji ilerledikçe çeşitlenmiş ve
karmaşıklaşmıştır. Teknolojinin diğer alanlarına göre daha soyut bir kavram olan
yazılım ve yazılım teknolojilerinin idame edilmesi zamanla zor bir hal almış ve üzerinde
çalışmalar yapılmasına neden olmuştur. Yapılan çalışmalar sonucu yazılım sektörü;
yazılım geliştirme yöntemlerinden, test yöntemlerine, ölçme ve planlama yöntemlerinden,
sürüm alma yöntemlerine kadar birçok alanda kendine has yöntemler geliştirerek diğer
tüm sektörlerden ayrışmaktadır. Yazılım; finans, sağlık, maliye, savunma sanayii gibi
sektörlere hakim olmaya başladıkça yazılım güvenilirliğinin insan hayatındaki rolü de
her geçen gün artmaktadır [
Yazılım güvenilirliği, yazılım ve yazılım bileşenlerinin belli ortamda, belirli zaman
içerisinde kendisinden beklenen özellikleri yerine getirebilme olasılığıdır. Başka bir
deyişle bir yazılıma ne kadar güvenilebileceğinin ölçümüdür [
Yazılıma ne kadar güvenebileceğimiz yazılımda ortaya çıkan hataların sayısına,
kategorisine ve yoğunluğuna bağlıdır. Günümüzde yapılan çalışmalarda, hatalar ortaya
çıkmadan bir yazılımda bulunan hata miktarı tahmin edilerek yazılım güvenilirliği
ölçülmeye çalışılmaktadır. Bu maksatla yazılım güvenilirlik modelleri sıklıkla kullanılan
bir yöntemdir [
Bu çalışma kapsamında üç ayrı yazılım güvenilirlik modelinin “X” projesinde göstermiş oldukları performanslar ölçülmüş ve modeller bu performanslara göre karşılaştırılmıştır. Model seçiminde, birbirine göre farklı davranış gösteren modellerin seçilmesine özen gösterilmiş, bunun neticesinde Lineer Regresyon Modeli, Homojen Olmayan Poisson Süreci Goel-Okumoto Modeli (Goel-Okumoto NHPP) ve Geciktirilmiş SŞekilli Homojen Olmayan Poisson Süreci Modelinin (Geciktirilmiş S-Şekilleri NHPP) kullanılmasına karar verilmiştir. Seçilen bu üç modelin temel özelliği; belirli bir zamana kadar gözlemlenmesi muhtemel hataların, kümülatif toplamının ortalama değer fonksiyonunu tahmin ederken, bu üç modelin her biri bu fonksiyonun davranışını farklı bir şekle sahip grafikle modellemektedir. Bu modellerin herhangi bir projede hata kayıt verilerine uygulanabilmesi için hata kayıt verilerinin her test faaliyetinden sonra düzenli olarak kayıt altına alınması ve kümülatif toplamlarının hesaplanmasına ihtiyaç vardır. 2.1
Homojen Olmayan Poisson Süreci Goel-Okumoto Modeli
- Yazılımda bulunan tüm hatalar, hataları tespit etme yönteminden bağımsızdır. - Tespit edilen hatalar, bir sonraki teste kadar kaldırılır. - Hataların kaldırılması sırasında yeni hata oluşmasına sebep olunmaz. - Hataların oluşma ve tespit edilme olasılığı eşittir
= (1 − − )
2.2
Geciktirilmiş S-Şekilli Homojen Olmayan Poisson Süreci Modeli
edecek test ekibinin yazılımı tanıması zaman alacağından, hata tespit oranı test ekibinin
yazılımı tanıması ile artmaya başlar [
Bu modelin varsayımları; - Her hata birbirinden bağımsızdır ve her hatanın tespit edilme olasılığı eşittir. - Yazılımda hata tespit etme oranı yazılımın barındırdığı hata sayısı ile doğru orantılıdır. - Hata tespit etme olasılığı zamandan bağımsızdır. - Yazılımda bulunan toplam hata sayısı rasgele değişkendir. - Yazılımda bulunan herhangi bir hata herhangi bir zamanda ortaya çıkabilir. - (i-1). ve i, hatalar arasındaki süre (i-1). hatanın zamanına bağlıdır. - Hataların kaldırılması sırasında yeni hata oluşmasına sebep olunmaz.
= (1 − (1 + ) − )
2.3
= +
Bu çalışma kapsamında ilk olarak yazılım güvenilirlik modellerinin uygulanacağı pilot proje belirlenmiş ardından belirlenen projede yazılım güvenilirlik modellerinin parametreleri tahmin edilerek modeller oluşturulmuştur. Son olarak ise oluşturulan modellerin performansı analiz edilmiştir. 3.1
Çalışma Kapsamında Pilot Projenin Belirlenmesi Çalışma kapsamında belli olgunluk seviyesinde ölçümleri düzenli olarak toplanan ve analiz edilen, geliştirilmesi tamamlanmış, aylık iterasyonlar bazında ek geliştirme yapılan, proje yönetim, tasarım, geliştirme, test, kalite ve konfigürasyon ekibine sahip aynı sektörde müşterisi olan regresyon test kümesi ve otomasyon test altyapısı olan projeye ait hata kayıt verilerine ihtiyaç duyulmuştur. Bu kapsamda İnnova Bilişim Çözümleri Telco Çözümleri bünyesinde geliştirilen aynı sektörde 7 farklı müşteriye sahip “X” Projesine ait 01.06.2015-28.03.2016 tarih aralığındaki hata kayıt verileri kullanılmıştır. “X” Projesi, proje yönetimi, tasarım, geliştirme, test, kalite güvence ve konfigürasyon yönetimi ekipleri olmak üzere 30 kişilik bir proje ekibinden oluşmakta ve farklı müşterilerden gelen talepleri aylık “Kapsam Belirleme” çalışmaları ile belirleyerek
3.2
Yazılım Güvenilirlik Modellerinin Oluşturulması
Yazılımda oluşan hata davranışlarını matematiksel olarak ifade eden yazılım
güvenilirlik modelleri, her bir projeye göre uygulanabilmesi için parametrelere sahiptir. Yazılım
güvenilirlik modellerinin projelerde uygulanabilmesi için ilk olarak bu parametrelerin
tahmin edilmesi gerekmektedir [
Çalışma sırasında yazılım güvenilirlik modellerinin, yazılımda bir sonraki iterasyonda oluşabilecek hataların %95 güven aralığında alabileceği değerler ve tahmin değerinin gerçek değere yakın tahmin edilmesi amaçlanmıştır. Bu kapsamda hata kayıt verilerinin belirli bir iterasyona kadar olan verileri kullanılarak tahmin edilen model parametreleri ile modeller oluşturulmuştur. Oluşturulan modellerin sıradaki iterasyonda ortaya çıkacak hataları tahmin etmedeki performansları ölçülürken bir sonraki iterasyonda kullanılacak modeller için yeni hata kayıt verileri de kullanılarak model parametrelerinin tahmin edilmesi güncellenmiş ve yeni modeller oluşturulmuştur. Bu döngü iki iterasyon için tekrarlanmış ve elde edilen model denklemleri Tablo 1, Tablo
y=11,44+17,836x y=16,338+17,040x Üst Sınır Tahmin
Modeli y=45,199+24,521x y=48,717+22,794x
y=201,687(1- e0,101x ) y=222,172(1- e0,112 x ) Üst Sınır Tahmin Modeli y= 317,493(1- e0,216 x ) y= 307,584(1- e0,196 x )
y=162,93(1+0,465x) e0,465 x 3.3 Model Performansının Analiz Edilmesi
hata kayıt verilerine ne kadar yakın sonuç verdiğinin değerlendirilmesi gerekmektedir. Literatürde tahmin modellerinin performansını değerlendirmek için pek çok yöntem vardır. Bu çalışma kapsamında elimizde bulunan hata kayıt verilerinin tahmin edilen güven aralıklarının içerisinde bulunup bulunmadığı ve tahmin değerlerinin ne kadar gerçek değere yakın sonuç verdiği değerlendirmede kullanılmıştır. Model performanslarının değerlendirilmesi Scrum uygulama geliştirme yaşam döngüsünün gözden geçirme aşamasında JİRA hata kayıt aracı yardımıyla elde edilen gerçek hata verileri kullanılarak yapılmıştır.
1 2 3 4 7 8 9 10 5 6 İterasyon Sayısı Gerçek Değer Tahmin Üst Sınır Değeri
Tahmin Alt Sınır Değeri Tahmin Değeri Şekil 1. Lineer Regresyon Modeline Göre Güven Aralığı
Güven Aralığı 1 2 3 4 7 8 9 10 5 6 İterasyon Sayısı Gerçek Değer Tahmin Alt Sınır Değeri
Tahmin Değeri Tahmin Üst Sınır Değeri Şekil 2. Goel-Okumoto NHPP Modeline Göre Güven Aralığı 300 ı ısy250 a S200 a t a150 H am100 l po 50 T 0 1 2 3 4 5 6 7 8 9 10 İterasyon Sayısı Gerçek Değer
Tahmin Değeri Tahmin Alt Sınır Değeri
Tahmin Üst Sınır Değeri Şekil 3. Geciktirilmiş S-Şekilli NHPP Modeline Göre Güven Aralığı
Tablo 4. Gerçek Değer ve Tahmin Değeri Arasındaki Fark
Tahmin ve Gerçek Değer Arasında Bulunan Fark 10. İterasyon için Tahmin ve Gerçek Değer Arasında Bulunan Fark
18,932 1,361 11,434 10,302 33,907 50,496 14,617 17,634 30,965 Şekil 1, Şekil 2 ve Şekil 3’te görüldüğü gibi Lineer Regresyon, Goel-Okumoto NHPP ve Geciktirilmiş S-Şekilli NHPP yazılım güvenilirlik modelleri ile %95 güven aralığı tahminleri yapılmıştır. Bu işlem sırasında elde bulunan on iterasyon verisi arasında ilk olarak sekiz iterasyon verisi model parametrelerinin belirlenmesi ve model oluşturmak için kullanılmıştır. Bu modellerle dokuzuncu iterasyon da oluşabilecek hata sayısı tahmin edilmiştir. Daha sonra dokuzuncu iterasyon hata kayıt verisi de model tahmin etmede kullanılarak yapılan modelleme ile onuncu iterasyon da oluşabilecek hata sayısı için tahmin yapılmıştır. Tablo 4 incelendiğinde ise 9. ve 10. iterasyonlar için tahmin edilen ve gerçekleşen hata sayıları arasındaki farklar hesaplanmıştır.
İlk olarak dokuzuncu iterasyon için yapılmış olan tahminleri ve dokuzuncu iterasyon sonucunda oluşan toplam hata sayısı incelenirse, gerçekleşen toplam hata sayısının her üç modelde belirtmiş olan güven aralıkları içerisinde bulunduğu gözlemlenmiştir. Bu bakımdan gerçekleşen hata kayıt verisinin tahminlerde belirtilmiş olan tahmini güven aralıklarının içerisinde bulunduğu görülmüştür. Modellerin yapmış oldukları tahminler ve gerçekleşen hata sayıları arasındaki farklar incelendiğinde ise Goel-Okumoto NHPP modelinin gerçek değere daha yakın tahmin bilgisi verdiği söylenebilir. Bu açıdan Geciktirilmiş S-Şekilli NHPP ve Lineer Regresyon modeli sırasıyla Goel-Okumoto NHPP modelini takip etmektedir.
Onuncu iterasyon için yapılan alt ve üst sınır tahminleri ve gerçekleşen toplam hata sayısı incelendiğinde ise gerçekleşen toplam hata sayısının Lineer Regresyon modeli ve Goel-Okumoto NHPP modelinin yapmış oldukları alt ve üst sınırlar içerisinde bulunduğu görülebilir. Ancak bununla birlikte Geciktirilmiş S-Şekilli NHPP modelinin yapmış olduğu üst sınır tahmininin gerçekleşen toplam hata miktarından az olduğu gözlemlenmektedir. Bu durum projede Geciktirilmiş S-Şekilli NHPP yazılım güvenilirlik modelinin kullanılamayacağını belirtmektedir. Onuncu iterasyon için diğer iki modelin tahmin edilen ve gerçekleşen hata sayısı incelendiğinde ise Lineer Regresyon modelinin Goel-Okumoto modeline göre gerçeğe daha yakın tahmin yaptığı görülür.
Bu çalışma özelinde iki iterasyon sonucuna göre gerçek hata kayıt verilerinin güven aralığı içinde olması ve tahmin edilen hata sayısı ile gerçekleşen hata sayısındaki ortalama fark incelendiğinde Lineer Regresyon modelinin diğer modellere oranla daha başarılı olduğu söylenebilir. Lineer Regresyon modelinin diğer modellere göre başarılı sonuç vermesinin sebebi diğer modellerin projede belirli olgunluğa erişildikten sonra projedeki değişimin ve dolayısıyla yeni tespit edilen hata sayısının zamanla azalacağını varsaymasıdır. Ancak projenin iteratif olarak ek geliştirmelerinin devam etmesi ve her iterasyon da yapılan değişiklikte bir azalma olmaması tespit edilen toplam hata sayısında artışa sebep olmaktadır.
Bu çalışma kapsamında Lineer Regresyon, Goel-Okumoto NHPP ve Geciktirilmiş SŞekilli NHPP yazılım güvenilirlik modelleri incelenmiş ve model performansı açısından Lineer Regresyon Modelinin tahminleme bakımından gerçekleşene en yakın sonucu verdiği görülmüştür.
Çalışma kapsamında sadece ön kabul de koşulan testler sonucu bulunan hata sayısının iterasyona göre değişimi kullanılarak, hata oluşumları modellenmeye çalışılmıştır. İterasyon bazlı projede yapılan değişiklikler farklılaşacağı için her iterasyonda hata oluşumu farklılık gösterir ve her iterasyonda yapılması planlanan değişime göre hata oluşumu modellenmelidir. Bu sebeple bir iterasyon kapsamında değişebilecek kod satır sayısı, yeni geliştirilecek gereksinimlerin sayısı ve zorluğu gibi değişkenlerde eklenerek yeni model oluşturup her iterasyon başında eldeki verilere dayanarak iterasyon boyunca oluşabilecek hata sayısının tahmin edilmesi hedeflenmektedir.