Yaz l m Test Maliyet Fonksiyonlar n n Otomatik Olarak Kesfedilmesi

Abstract

Ozet: Yuksek derecede ozellestirilebilir sistemlerin test edilmesi genellikle muazzam genislikte bir kon gurasyon uzay n n orneklendirilmesi ve sadece secilen baz kon gurasyonlar n test edilmesiyle gerceklestirilir. Orneklendirme, kapsayan dizi olarak adland r lan bir kombinatoryal objenin hesaplanmas ile gerceklestirilebilir. Geleneksel kapsayan dizilerde butun kon gurasyonlar n maliyetlerinin esit oldugu varsay l r ki bu pratik bir varsay m degildir. Test maliyetini dikkate alan kapsayan diziler hesaplamak icin test maliyetinin onceden bilinmesi gerekmektedir. Test maliyeti fonksiyonunun pratik bir sekilde ifade edilebilmesi, gerek kalite kontrol surecinin planlanabilmesi gerekse maliyeti dikkate alan kapsayan dizilerin hesaplanabilmesi ac s ndan onem arz etmektedir. Test maliyeti fonksiyonlar n n yaz l m gelistirenler taraf ndan sagl kl ve hatas z bir sekilde tan mlanamayacag n ongordugumuz icin maliyet fonksiyonlar n otomatik olarak kesfedecek yontemler gelistirdik. I_lk gelistirdigimiz yontemimizde, kapsayan bir dizideki kon gurasyonlarda sistemin verilen kalite kontrol isi icin test maliyetleri olculerek, bu veri kumesinden cesitli genellestirilmis lineer regresyon modelleri olusturulmustur. Bu cal smam zda maliyet fonksiyonunu hesaplamak icin yeni bir yontem daha gelistirilmistir ve lineer regresyon modelleri ile kars last r lm st r. Bunun icin Deney Tasar m Teorisi kullan lm st r. Bu teorinin ozellikle eleme tasar mlar k sm ndan faydalan lm st r. Gelistirilen yeni yontem, verilen bir kongurasyon uzay ve bu uzayda yurutulmesi planlanan bir kalite guvencesi isi icin eleme tasar mlar n kullanarak kalite guvencesi maliyetlerine etkisi en cok olan parametre kombinasyonlar n belirler ve bu kombinasyonlar kullanarak bir maliyet modeli hesaplar. Bu modeller uc degisik kalite kontrol isleri icin (1- Sistemin kodunu derleme ve yap m isi, 2- Tek bir test durumunun kosturulmas isi, 3- Tum test durumlar n n kosturulmas isi) iki gercek yaz l m sistemi (Apache web sunucusu ve MySQL veritaban sunucusu) kullan larak gelistirilmistir. Genellestirilmis lineer regresyon ve eleme tasar mlar ile hesaplanan maliyet modelleri istatistik bilimlerinde R-kare olarak bilinen belirleme katsay s olcum metrigi ile degerlendirilmis ve maliyet hesaplamas nda s ras yla 0:92 ve 0:99 ortalama R-kare degerleriyle oldukca basar l sonuclar elde edilmistir. Anahtar kelimeler: yaz l m kalite guvencesi, yaz l m test maliyeti, kapsayan diziler, Deney Tasar m Teorisi, eleme tasar mlar , genellestirilmis lineer regresyon modeli

-

Abstract: The testing of highly con gurable systems almost always involves sampling enormous con guration spaces and testing representative instances of a system's behavior. This sampling can be done by computing a combinatorial object, called a t-way covering array (CA). The covering arrays assume that the cost of con guring the system under test is the same for all con gurations, however this is not a practical assumption. To compute cost-aware covering arrays, the cost needs to be determined beforehand. Therefore, estimating the cost of a quality assurance (QA) task across a con guration space is of great importance, as the estimates can be used for planning the QA process as well as for taking cost-aware samples. However, manually creating cost models is cumbersome and error-prone, thus impractical. Therefore we have been developing automated approaches for cost model discovery in con guration spaces. In our previous work, we have computed generalized linear regression models from the data set which contains the measured costs of all con gurations in a covering array for a given QA task. In this paper, we have developed another approach using Design of Experiments Theory (DoE) for automatically discovering the cost function and compared it with our previous approach based on linear regression models. Given a con guration space, a QA task of interest, and a cost of the QA task, the proposed approach rst identi es important effects, i.e., combinations of option settings that affect the cost most, by using screening designs from the DoE theory, and then uses the important effects identi ed to t a cost model to the observations. To evaluate the proposed approach, we used 3 different QA tasks (1- To build the system under test 2- To run a single test case 3- To run a whole test suite) on 2 different real software systems (Apache web server and MySQL database server). These models computed by both the generalized linear regression and screening designs have been evaluated by the coefficient of determination metric known as R-squared in statistics and the results have been successful with an average measure of 0:92 and 0:99. 1

Giris

Yuksek derecede ozellestirilebilir sistemlerin test edilmesi genellikle muazzam genislikte bir kon gurasyon uzay n n orneklendirilmesi ve sadece secilen baz kongurasyonlar n test edilmesiyle gerceklestirilir. Kombinatoryal etkilesim s nama yontemleri kon gurasyon uzay n sistematik bir sekilde orneklendirip, sadece secilen kon gurasyonlar test eder. O rneklendirme, t'li kapsayan dizi olarak adland r lan bir kombinatoryal objenin hesaplanmas ile gerceklestirilir. Bir t'li kapsayan dizi (KAD), ayr k degerler alan kon gurasyon parametreleri kumesinin her t'li altkumesi icin, ilgili parametre degerlerinin her bir kombinasyonunu en az bir kere icerecek sekilde olusturulmus bir kon gurasyon kumesidir [ 1, 15, 18, 20 ].

Geleneksel kapsayan dizilerde butun kon gurasyonlar n maliyetlerinin esit oldugu varsay l r ki bu pratik bir varsay m degildir [ 4, 8 ]. Maliyeti dikkate alan kapsayan diziler (M-KAD) ise geleneksel KAD'lardan farkl olarak, reel test maliyetlerini goz onune alarak kapsayan dizileri hesaplar [ 7, 10 ].

Test maliyeti fonksiyonunun pratik bir sekilde ifade edilebilmesi, gerek kalite kontrol surecinin planlanabilmesi gerekse maliyeti dikkate alan kapsayan dizilerin hesaplanabilmesi ac s ndan onemlidir. O rnegin; her bir parametre degerleri kombinasyonu icin bir maliyet tan mlanmas , her bir kon gurasyon icin bir maliyet tan mlanmas demektir ki kon gurasyon say s parametre say s ile ussel olarak artt g ndan bu pratik degildir. Dolay s ile verilen bir kon gurasyon uzay ndaki maliyet fonksiyonlar n otomatik kesfeden yontemlere ihtiyac vard r. O nceki cal smam zda kapsayan diziler olusturularak bu uzay orneklendirilmis ve daha sonra kapsayan dizideki tum kon gurasyonlarda gozlemlenen maliyetler kullan larak genellestirilmis lineer regresyon modelleri yarat lm st r [ 9 ]. Gercek yaz l m sistemlerinde yapt g m z deneyler genellestirilmis lineer regresyon modellerin guvenilir maliyet modelleri kesfetmekte basar l ve verimli olduklar n gostermistir [ 9 ].

Bu bildirideki cal smam zda gene ayn amac dogrultusunda verilen bir yaz l m sisteminin kon gurasyon uzay ndaki maliyet fonksiyonlar n otomatik olarak kesfeden yontemler bu kez Deney Tasar m Teorisinde yer alan eleme tasar mlar [ 5 ] kullan larak gelistirilmistir. Ayr ca bu yeni yontem onceki yontemimizle [ 9 ] kars last r lm s ve daha basar l oldugu gozlemlenmistir.

Bildirinin devam nda, ilk olarak literaturdeki ilgili cal smalardan bahsedilmistir. Daha sonra maliyet fonksiyonlar n otomatik olarak kesfeden yeni yontem orneklerle anlat lm st r. Bir sonraki bolumde, hesaplanan modelleri degerlendirmek uzere reel yaz l m sistemleri uzerinde yap lan deneyler ve analizleri aktar lm st r. Son bolumde ise elde edilen sonuclar ve gelecek planlar tart s lm st r. 2

I_lgili Cal smalar Kombinatoryal etkilesim s nama alan ndaki temel bir tarama yay n [ 15 ] geleneksel kapsayan dizileri hesaplama probleminin zor bir problem, yani NP-tam (NP-complete) bir problem oldugunu soylemektedir. Ayr ca ayn yay nda kapsayan diziler, girdi parametre kombinasyonlar n n test edilmesi, yuksek derecede ozellestirilebilir sistemlerin test edilmesi, olay tabanl (gra k ara yuzleri gibi) sistemlerin test edilmesi ve yaz l m urun ailelerinin test edilmesi gibi alanlarda kullan lm s oldugu anlat lmaktad r [ 15 ].

Genellestirilmis lineer regresyon modelleri bir cok alanda bag ml degiskenleri modellemek icin s k s k kullan lm st r [ 17 ]. Daha da otesi, literaturde regresyon analizi [ 16 ] basl g alt nda bu alanda bir dunya yontem de bulunmaktad r. Bizim diger cal smam z da kar s k kon gurasyon uzaylar nda maliyeti modellemek icin lineer regresyon modelinin iyi bir cozum oldugunu gostermistir [ 9 ].

Yaz l m test maliyetini modellemek icin yapt g m z ilk cal smam zda [ 9 ], bir yaz l m kon gurasyon uzay , bir kalite kontrol isi ve bu isin maliyeti icin bir olcum verildiginde, geleneksel kapsayan diziler olusturularak bu uzay orneklendirilmekte ve bu secilmis kon gurasyonlarda test isleri cal st r larak her birinin maliyetleri olculmektedir. Daha sonra kapsayan dizideki tum kon gurasyonlar n gozlemlenen maliyetleri kullan larak genellestirilmis lineer regresyon modelleri yarat lm st r. Elde edilen bu model daha once gorulmemis kon gurasyonlar n maliyetini tahmin etmede kullan lm st r. I_ki ac k kaynak gercek yaz l m sisteminin uzaylar nda yapt g m z deneyler genellestirilmis lineer regresyon modellerinin guvenilir maliyet modelleri kesfetmekte basar l ve verimli olduklar n gostermistir [ 9 ].

Reel maliyet fonksiyonlar n kesfetmek icin kullan lan Deney Tasar m (DoE) Teorisinde yer alan eleme tasar mlar , savunma sanayiinden ilac sanayiine hizmet sektorunden uretim sektorune kadar bircok alanda, urunlerin ve hizmetlerin kalitesini etkileyen basl ca faktorlerin bulunmas nda ve optimize edilmesinde basar yla kullan lm st r [ 5 ]. Eleme tasar mlar n n yaz l m muhendisligi alan na uygulanabilirligi arast r lm s[ 6, 11 ]; sistem performans n n modellenmesinde [ 2, 12 ] ve ileri seviyede kon gure edilebilir sistemlerde performans regresyon testlerinin gerceklestirilmesinde [ 19 ] kullan lm st r. 3

Test Maliyetinin Otomatik Olarak Hesaplanmas

Maliyetin guvenilir bir sekilde h zl ca otomatik olarak kesfedilmesi icin gelistirilen yontemimiz, verilen bir kon gurasyon uzay ve bu uzayda yurutulmesi planlanan bir kalite guvencesi isi (ornegin; sistemin derlenmesi veya bir test durumunun kosturulmas ) icin eleme tasar mlar n kullanarak test maliyetlerine etkisi en cok olan parametre kombinasyonlar n belirler ve bu kombinasyonlar kullanarak bir maliyet modeli hesaplar. Bu maliyet modeli verilen bir kon gurasyonda kalite guvencesi isini yurutmenin maliyetini tahmin etmek icin kullan l r. 3.1

O nerilen Yaklas m

Maliyet modelini tahmin etmek icin ilk akla gelen yontem bahsi gecen test isini tum kon gurasyonlarda cal st rmak ve tum bu maliyetleri kaydetmek olabilir. Fakat bu her bir farkl kon gurasyon icin bir maliyet tan mlanmas anlam na gelir ki kon gurasyon say s parametre say s ile ussel bir sekilde artt g ndan bu pratik degildir. Dolay s ile bu muazzam buyuklukteki uzay sistematik ve ekonomik bir sekilde orneklendirebilecek ve ayn zamanda da uzaydaki tum kon gurasyonlarda yeterince dogru maliyet tahminlerinde bulunabilecek bir yonteme ihtiyac vard r.

Bu bildiride onerilen yontem Deney Tasar m Teorisinin (DoE) [ 5 ] eleme tasar mlar na dayanmaktad r. Eleme tasar mlar ana amac onemli dusuk degerli (1-li, 2-li, veya 3-lu oyle ki k-l etki k tane kon gurasyon parametresinin ayn andaki etkilesimi sonucunda olusan etkidir) etkileri bulmak olan oldukca ekonomik tasar mlard r. O rnegin, Apache web sunucusunu derleme isinin maliyeti o sistem derlenirken gecen zaman olsun: sistemin SSL ozelligi ile derlenmesi sisteme ekstra bilesenler ekleyeceginden, SSL ozelligi 1-li (ana etki de denebilir) bir etki olacakt r. Benzer bir sekilde, MySQL veritaban sunucusunda bir test durumu hem autocommit hem de innoDB ozellikleri varoldugunda daha uzun surebilir cunku innoDB depolama motorunun performans autocommit varoldugunda yavaslamaktad r. innoDB autocommit birlikte 2-li etkiye guzel bir ornektir.

Bu yaklas m, istatistikte s kl kla kullan lan etkilerin seyrekligi prensibiyle (sparsity-of-effects principle) de uyumludur [ 5 ]. Etkilerin seyrekligi prensibi (yaz l m testlerinin maliyeti konusuna uyarland g nda); test maliyetlerini, az say da parametre etkilesimini iceren az say da kombinasyonun belirledigini, geri kalan kombinasyonlar n maliyete olan etkisinin ise goz ard edilebilecegini ongorur. Bildirinin geri kalan k sm nda maliyetleri belirleyen bu en onemli kombinasyonlar onemli kombinasyonlar olarak adland r lmaktad r.

Bir kon gurasyon uzay modeli icin hesaplanm s eleme tasar m , test maliyetine en cok etkisi olan onemli kombinasyonlar n (parametre degerleri kombinasyonlar n n) istatistiksel ac dan guvenilir (unbiased) bir sekilde bulunmas na olanak saglayacak sekilde secilmis bir kon gurasyon kumesi olusturmaktad r. 3.2

Eleme Tasar mlar n n Hesaplanmas

Bu bildiride 2 degisik eleme tasar m kullan ld : kesirli faktoriyel (fractional factorial) ve D-optimum (D-optimal) eleme tasar mlar . Ayr ca, onerilen yontem tam (full) faktoriyel tasar mlarla kars last r lmak suretiyle de degerlendirildi.

Tam faktoriyel tasar mlar kon gurasyon uzaylar nda yer alan olas tum kon gurasyonlar iceren tasar mlard r [ 5, 14 ]. O rnegin, ikili degeri olan n tane kon gurasyon parametresine sahip bir uzayda tam faktoriyel tasar m n boyu 2n (ki bu olas tum kon gurasyonlar n say s d r) olacakt r.

Kesirli faktoriyel tasar mlar ise tam faktoriyel kumesinin dikkatlice secilmis bir fraksiyonudur (1=2, 1=4, : : :, 1=2p gibi) [ 5 ]. O rnegin, ikili degeri olan n tane kon gurasyon parametreli bir uzayda tam faktoriyel tasar m n boyu 2n iken 1=2p kesirine sahip bir kesirli faktoriyel tasar m n boyu 2(n p) olacakt r (p < n).

D-optimum Eleme Tasar mlar ise belirli bir istatistik kriterine gore \optimum" sonucu verecek sekilde kon gurasyon uzay n orneklendiren bilgisayar destekli eleme tasar mlar d r [ 5 ]. Bu tasar mlar meta sezgisel arama yontemleri ile hesaplan r ve tam faktoriyel tasar mlar n mukemmel fraksiyonu olmak zorunda olmad klar icin genellikle kesirli faktoriyel tasar mlardan daha kucukturler. 3.3

O nemli Etkilerin Belirlenmesi ve Maliyet Fonksiyonu

Bir eleme tasar m yap ld ktan sonra, ki bu secilmis bir kon gurasyon kumesidir, belirlenen kalite guvencesi isi bu kon gurasyonlar uzerinde cal st r l r ve reel maliyetler her bir kon gurasyon icin olculur. Ard ndan, olculen reel maliyetlerin analizi yap larak maliyete en cok etkisi olan onemli kombinasyonlar ve bu kombinasyonlar n etkileri otomatik olarak hesaplan r. DoE, maliyetlere etki eden onemli kombinasyonlar n etkilerini gorsellestirmek icin yar -normal olas l k gra kleri gibi gorsel araclar da sunmaktad r. O nemli etkilerin yoklugunda, bu gra k y=0 yak nlar nda bir dogru cizgi uzerindeki noktalardan ibarettir ve bu cizilen dogrudan ciddi sekilde uzaklasan etkiler onemli say lmaktad r.

O nemli kombinasyonlar belirlendikten sonra, bu kombinasyonlar kullan larak onceden gorulmemis kon gurasyonlar n maliyetlerinin tahmin edilebilmesi icin bir maliyet fonksiyonu hesaplan r. Bu fonksiyonu hesaplama yontemi olarak ise Tablo 1. Apache ve MySQL sunucular n n kon gurasyon parametreleri.

Apache MySQL no parametre degerleri no parametre degerleri X1 authbasic fdisable, enableg X1 charset fbinary, armscii8g X2 authdigest fdisable, enableg X2 comment fdisable, enableg X3 cacheall fdisable, enableg X3 debug-sync fdisable, enableg X4 cgid fdisable, enableg X4 dependency-tracking fdisable, enableg X5 davall fdisable, enableg X5 embedded-server fdisable, enableg X6 echo fdisable, enableg X6 error-inject fdisable, enableg X7 example fdisable, enableg X7 gnu-ld fdisable, enableg X8 include fdisable, enableg X8 pthread fdisable, enableg X9 mpm fprefork, workerg X9 plugins fnone, csvg X10 proxyall fdisable, enableg X10 shared fdisable, enableg X11 ssl fdisable, enableg

X12 status fdisable, enableg gozlemlenen gercek degerlerle tahmin edilen degerler aras ndaki fark n karesinin toplam n minimize eden standart en kucuk kareler metodu kullan lm st r [ 17 ]. 3.4

O rnek Senaryo

Bu bolumde MySQL uzerinde yontemimizi gosteren bir ornek verecegiz: 1. Ad m: Bir kalite kontrol (KK) isi ve maliyetinin nas l olculecegi belirlenir. Yaz l m muhendisleri MySQL ac k kaynak kodunda bir test durumu secerler ve maliyeti de bu test durumunun cal st r lma suresi olarak belirlerler.

2. Ad m: Bir kon gurasyon uzay yarat l r. Yaz l m muhendisleri Tablo 1 'de verilen 10 tane kon gurasyon parametresinin tan mlad g 210=1024 boyutlu kon gurasyon uzay n olustururlar.

3. Ad m: O nemli kombinasyonlar n guvenli bir sekilde bulunabilece

gi bir eleme tasar m hesaplan r. O nce cozunurlugu V olan bir kesirli faktoriyel tasar m olusturulur [ 5 ]. Bu senaryo icin olusturdugumuz kesirli faktoriyel tasar m nda 128 kon gurasyon vard r ki bu tam faktoriyel tasar m n 1=8'idir. Ama bu da muhendislere buyuk gelebilirse varsay lan (default) bir D-optimum tasar m olusturulur ki bunun boyutu sadece 60't r (bu tam faktoriyel tasar m n sadece %6's ve kesirli faktoriyel tasar m n da yaklas k olarak %47'sidir).

4. Ad m: KK isi secilen kon gurasyonlarda cal st r l r. Yaz l m muhendisleri D-optimum tasar m secerler. Belirlenen KK isi, tum 60 kon gurasyonda cal st r l r ve cal sma zamanlar kon gurasyon baz nda kay t edilir.

5. Ad m: O nemli kombinasyonlar tan mlan r. Deneylerin sonucunda uc tane onemli ana (1'li) kombinasyon, X8, X2 ve X10, ve uc tane de onemli 2'li kombinasyon, X2 X10, X8 X2, ve X8 X10, belirlenir. Bu senaryoda tum 2'li kombinasyonlarda gecen parametreler ayn zamanda onemli ana kombinasyonlarda da mevcuttur fakat bu durum her zaman boyle olmayabilir. Bu sonuclar gostermektedir ki X8, X2 ve X10 parametreleri aras ndaki 2'li etkilesimler bu parametrelerin tek baslar na olusturduklar etkilerden daha fazlad r. 0.0 0.5 1.0 1.5 2.0 Half Normal Quantile 2.5 3.0 Sekil 1. Ornek senaryo icin yar -normal olas l k gra gi (half normal probability plot).

Bu noktada yaz l m muhendisleri sistem hakk ndaki uzman bilgilerini kullanarak sonuclar analiz edip, onemli parametreleri biraz daha kontrol etmek isterlerse, Bolum 3.3'de bahsi gecen yar -normal olas l k gra gi [ 3 ] gibi analiz teknikleri kullanabilirler. O rnegin, Sekil 1'de bizim bu ornek senaryo icin olusturdugumuz yar -normal olas l k gra gi de otomatik analizin sonuclar n dogrular niteliktedir: 6 tane onemli kombinasyon tan mlanm st r.

6. Ad m: Gozlemlenen degerlere uyan bir maliyet modeli hesa

plan r. O nemli kombinasyonlar belirlendikten sonra sadece bu onemli etkilerden olusan, eleme tasar mlar ndan olusturulmus gozlemlere gore hesaplanan bir maliyet modeli hesaplan r. Sekil 2 bu ornek senaryo icin hesaplanan maliyet fonksiyonunu gostermektedir. Bu modelin kesen degeri 59:40 olup, ayr ca model her bir onemli parametre degerleri kombinasyonu icin de bir katsay icermektedir. Katsay pozitif ise o kombinasyon maliyeti artt rmaktad r, katsay negatif ise de maliyeti azaltmaktad r. O rnegin, bir kon gurasyonda X8=1 ise, tahmin edilen maliyet 63 birim artt r lmaktad r. Aksi takdirde, 63 birim azalt lmaktad r.

7. Ad m: Hesaplanan model maliyeti tahmin etmek icin kullan l r.

Daha onceden kars las lmam s yeni bir kon gurasyon verildiginde, hesaplanan model bu test durumunu kosturman n maliyetini tahmin etmek icin kullan l r. O rnegin, parametre degerleri, X8=1, X2=0, ve X10=1 (diger parametre degerleri ne olursa olsun) olan bir kon gurasyonun tahmin edilen maliyeti 59:4 + 63 + 20:86 20:54 + 21:08 + 21:37 20:03=145:14 birim olacakt r. Bu toplamdaki terimler s ras yla: kesen, 1-li kombinasyonlar n (X8, X2, ve X10) ve 2-li kombinasyonlar n (X2 X10, X8 X2, ve X8 X10) katsay lar d r. 4

Deneysel Cal smalar ve Sonuclar n n Analizi

O nerilen yontemi degerlendirmek icin bir dizi deneylerde hesaplanan maliyet modellerinin gercek maliyetleri tahmin etmedeki basar lar kars last r ld .

O nerilen yontem 3 degisik kalite guvencesi isi kullan larak degerlendirildi: { konf ig:X8 = 0 ) 63 } konf ig:X8 = 1 ) 63 + >>: konf ig:X2 = 1 ) { kkoonnffigig: X:X22==10)) 2200: 8:866 } + { kkoonnffigig: X:X1100==10)) 2200:5:544 } + 8 >> konf ig:X2 = 0 ) <

{{ kkkkoooonnnnffff iiiigggg::::XXXX11110000 ==== 0011 )))) 22221111::00::008888 }} =>>9>>; + 8 >> konf ig:X8 = 0 ) < >>: konf ig:X8 = 1 ) 8 >> konf ig:X8 = 0 ) < >>: konf ig:X8 = 1 ) {{ kkkkoooonnnnffff iiiigggg::::XXXX2222 ==== 1010 )))) 22221111::33::337777 }} >>;=>>9 + { kkoonnff iigg::XX1100 == 10 )) 2200: 0:033 } >=>9 { kkoonnff iigg::XX1100 == 01 )) 2200: 0:033 } >;>

Sekil 2. Sadece onemli etkiler kullan larak hesaplanan maliyet modeli. 1. KK1: Sistemin kodunu derleme ve yap m isi; ozellikle surekli entegrasyon senaryolar nda oldukca onemlidir. 2. KK2: Tek bir test durumunun kosturulmas isi; ozellikle regresyon senaryolar nda oldukca onemlidir. Deneylerde Apache sunucusu icin 242 adet ve MySQL sunucusu icin 826 adet bu sistemleri gelistirilenler taraf ndan yaz lm s ac k kaynak test durumu kullan lm st r. 3. KK3: Tum test durumlar n n kosturulmas isi; ozellikle gunluk sistem yap m senaryolar nda oldukca onemlidir.

Bu cal sman n amac ; belirlenen onemli parametre kombinasyonlar kullan larak hesaplanan maliyet modellerinin gercek maliyetleri tahmin etmedeki basar s n n degerlendirilmesiydi. Bu amac icin; eleme tasar mlar kullan larak maliyet modelleri hesapland ktan sonra bu modeller kon gurasyon uzay ndaki butun kon gurasyonlar n maliyetlerinin tahmin edilmesi icin kullan ld .

Cal smada dikkat edilen diger bir husus ise maliyeti modelleyen fonksiyonlar n terim say lar n n tahminlerin dogrulugunu etkilemeden azalt lmas yd . Bu sebeple her bir tasar mdan tum 1-li ve 2-li etkileri kullanan (TumEtkiler) ve sadece eleme tasar m sonucunda bulunan onemli 1-li ve 2-li etkileri kullanan (OnemliEtkiler) 2 tur model olusturuldu. TumEtkiler modellerinin terim say s 12 parametreli uzayda Apache icin 79 ve 10 parametreli uzayda MySQL icin 56 iken, O nemliEtkiler modellerinin ortalama terim say s Apache icin 3.58 ve MySQL icin 3.62 oldu. Eger her iki model turu de benzer tahminler uretirse tabii ki de cok daha az terime sahip O nemliEtkiler modelleri tercih edilecektir. 4.1

Cal sma Kurulumu

Deneylerde yuksek derecede ozellestirilebilen gercek yaz l m sistemleri olan Apache v2.2 ve MySQL v5.1 sunucular kullan ld . Bu yaz l m sistemlerindeki cok say da kon gurasyon parametrelerinden sectiklerimiz Tablo 1'de verilmistir. Bu cal smada nispeten az say da (10 ve 12) kon gurasyon parametresi kullan lmas n n nedeni eleme tasar mlar n ayn uzaydaki tam faktoriyel tasar mlar yla kars last r lmas icindir. Deneylerde kullan lan Tablo 1'de 12 ve 10 tane kon gurasyon parametresi, s ras yla 212 ve 210 kon gurasyondan olusan uzaylar tan mlarlar. Eleme tasar mlar n hesaplamak icin JMP istatistik yaz l m paketi kullan ld [ 13 ]. 4.2

Degerlendirme Kriterleri

O lcum metrikleri olarak istatistik bilimlerinde R-kare (R2) olarak bilinen belirleme katsay s (coefficient of determination) ve CV(RMSE) olarak bilinen kok ortalama kare hatas n n (Root Mean Square Error: RMSE) varyasyon katsay s (coefficient of variation: CV) kullan ld [ 14, 17 ].

R2 ne kadar 1'e yak nsa o model o kadar iyidir. Bolum 3.4'deki ornek modelin olusturuldugu D-optimum tasar m veri kumesindeki R-kare degeri 0:938'd r. CV(RMSE) ne kadar kucukse o model o kadar iyidir. Yukar daki ci ve c^i, i'ninci kon gurasyonun verilen bir KK isi icin s ras yla gozlemlenen ve tahmin edilen maliyetleridir. c ise gozlemlenen maliyetlerin ortalamas d r. Tablo 2'de deneylerin sonuclar her iki yaz l m sistemi icin de verilmistir. Tablodaki ilk kolon deneysel tasar mlar gostermektedir: TamFakt - Tam Faktoriyel, KesirFakt - Kesirli Faktoriyel, DOptKF - kesirli faktoriyel tasar m ile ayn boyuttaki D-optimum, DOptKF - varsay lan deger boyutundaki D-optimum eleme tasar mlar d r; Lineer-KADt4 - 4'lu ve Lineer-KADt3 - 3'lu kapsayan dizilerden hesaplanan lineer regresyon modelleridir.

I_lk gozlemlenen sonuc eleme tasar mlar n n kapsayan dizilerle hesaplanan genellestirilmis lineer regresyon modellerinden daha basar l oldugudur. Tum eleme tasar mlar n n (tam faktoriyel haric) ortalama R2 ve CV (RM SE) degerleri 0:9907 ve 0:0385 iken, tum kapsayan dizilerle hesaplanan lineer regresyon modellerinin ortalama degerleri 0:9254 ve 0:0797 oldu. Bu sonuc eleme tasar mlar n n Tablo 2. Eleme tasar mlar yla hesaplanan modellerin kapsayan diziler kullan larak hesaplanan lineer regresyon modelleriyle ve birbirleriyle kars last r lmas . hesaplad g modellerin kapsayan dizilerle hesaplanan lineer regresyon modellerinden daha iyi oldugunu soylemektedir. Bunun yan nda eleme tasar mlar n n (tam faktoriyel haric) boyutlar kapsayan dizilerden ortalama olarak 4:94 kat daha coktur (kon gurasyon say s ortalama 30:75'ten 152'ye c km st r)(Tablo 3).

Diger bir gozlem tam faktoriyel tasar mlardan cok daha kucuk boylardaki eleme tasar mlar n n tam faktoriyel tasar mlarla esdeger maliyet modelleri uretebildikleri oldu. Tum eleme tasar mlar n n ortalama R2 ve CV (RM SE) degerleri 0:9907 ve 0:0385 iken tam faktoriyel tasar mlar n n 0:9930 ve 0:0339 oldu. Bu sonuc daha kucuk boylardaki eleme tasar mlar n n hesaplad g modellerin tam faktoriyel tasar mlar n n hesaplad g modeller kadar iyi oldugunu soylemektedir.

Diger bir sonuc farkl eleme tasar mlar n n da birbirlerine yak n degerler elde ettigidir. Kesirli faktoriyel (KesirFakt) tasar mlar ndan elde edilen modellerin ortalama R2 ve CV (RM SE) degerleri 0:9896 ve 0:0411; DOptKF modellerinin ortalama R2 ve CV (RM SE) degerleri 0:9915 ve 0:0366; ve DOptVAR modellerinin ortalama R2 ve CV (RM SE) degerleri 0:9884 ve 0:0425 oldu. U stelik DOptVAR tasar mlar bunu, DOptKF ve KesirFakt modellerine gore, Apache icin %67 ve MySQL icin %53 daha az kon gurasyon kullanarak basard (Tablo 3).

Ayr ca eleme tasar mlar n n TumEtkiler ve O nemliEtkiler modelleri birbirleriyle kars last r ld g nda ise; O nemliEtkiler modellerinin ortalama olarak R2 ve CV (RM SE) degerleri 0:9912 ve 0:0381 iken TumEtkiler modellerinin ortalama R2 ve CV (RM SE) degerlerinin 0:9901 ve 0:0389 oldugu gozlemlendi. Ama O nemliEtkiler modellerinin terim say s TumEtkiler modellerindeki terim Tablo 3. Tasar mlar n boyutlar ve tam kapsaml tasar ma gore azalt lma yuzdeleri. deneysel tasar m TamFakt KesirFakt DOptKF DOptVAR Lineer-KADt4 Lineer-KADt3

Apache MySQL boyut azalt lma boyut azalt lma say s ndan %95 daha azd (terim say s ortalama 67:5'tan 3:73'e dusmustur). Bu %95 oran nda azalt lan terim say s na kars n ortalama R2 ve CV (RM SE) degerleri ayn olmustur ve basar dan odun verilmemistir. 5

Sonuc ve Gelecek Cal smalar

Test maliyeti fonksiyonunun pratik bir sekilde ifade edilebilmesi, gerek kalite kontrol surecinin planlanabilmesi gerekse maliyeti dikkate alan kapsayan dizilerin hesaplanabilmesi icin onemlidir. Test maliyeti fonksiyonlar n n yaz l m gelistirenler taraf ndan sagl kl ve hatas z tan mlanamayacag ongoruldugunden maliyet fonksiyonlar n otomatik olarak kesfedecek yontemler gelistirilmistir. Genellestirilmis lineer regresyon ve eleme tasar mlar ile hesaplanan maliyet modelleri R-kare olcum metrigi ile degerlendirilmis ve maliyet hesaplamas nda oldukca basar l sonuclar (s ras yla ortalama 0:92 ve 0:99) elde edilmistir.

Deneylerin sonuclar eleme tasar mlar n n maliyeti modellemede kapsayan dizilerle hesaplanan genellestirilmis lineer regresyon modellerinden daha basar l oldugunu gostermektedir. Bunun yan nda eleme tasar mlar n n boyutlar n n lineer regresyon modellerin hesaplanmas nda cal st r lan kapsayan dizilerden yaklas k 5 kat daha buyuk oldugu gorulmustur. Bu demektir ki eger yaz l m muhendisleri bu yaklas k 5 kat maliyeti istemezlerse, daha az basar l olan ama ortalama R-karesi 0:9'dan buyuk olan lineer regresyon modellerini de tercih edebilirler.

Yaz l m muhendislerinin sectigi kon gurasyon parametreleri her zaman dogru olmayabilir. Bu sebepten gelecekte eleme tasar mlar n n lineer regresyon modelleri hesaplad g m z cal smam zda [ 9 ] kulland g m z daha buyuk reel kon gurasyon uzaylar uzerinde olusturulmas planlanmaktad r. Ayr ca bu parametrelerin otomatik olarak bir alt kumesinin secilmesi icn kapsayan diziler ile olusturulan lineer regresyon modellerinin kulland klar parametrelerin eleme tasar mlar icin bir nevi parametre secimi yontemi olarak kullan lmas da planlanmaktad r.

Tesekkurler

Bu arast rma T UBI_TAK taraf ndan desteklenmektedir (Proje No: 113E546).

References

1. D. M. Cohen , S. R. Dalal , M. L. Fredman , ve G. C. Patton . The AETG system: an approach to testing based on combinatorial design . IEEE Transactions on Software Engineering , 23 ( 7 ): 437 { 44 , 1997 .

2. T. Berling ve P. Runeson . Efficient evaluation of multifactor dependent system performance using fractional factorial design . IEEE Transactions on Software Engineering , 29 ( 9 ): 769 { 781 , 2003 .

3. G. E. P. Box , W. G. Hunter, ve S. J. Hunter . Statistics for experimenters: An introduction to design, data analysis, and model building . New York: Wiley, 1978 .

4. C. Yilmaz , S. Fouche , M. Cohen , A. Porter , G. Demiroz, ve U. Koc. Moving forward with combinatorial interaction testing . Computer , 47 ( 2 ): 37 { 45 , Feb 2014 .

5. M. H. C. F. Jeff Wu , Experiments: Planning, Analysis , and Parameter Design Optimization, Wiley, 2000 .

6. I. Dunietz , W. K. Ehrlich , B. Szablak , C. L. Mallows , ve A. Iannino . Applying design of experiments to software testing: experience report . In Proc. of the 19th Intl. Conference Software Engineering , 205 { 215 , ACM , 1997 .

7. G. Demiroz ve C. Yilmaz . Cost-aware combinatorial interaction testing . In Proc. of Fourth Int. Conf. on Advances in System Testing and Validation Lifecycle , 2012 .

8. G. Demiroz . Cost-aware combinatorial interaction testing (doctoral symposium) . In Proc. of the Int. Symp. on Software Testing and Analysis , 440 { 443 . ACM, 2015 .

9. G. Demiroz ve C. Yilmaz . Towards Automatic Cost Model Discovery for Combinatorial Interaction Testing . In Proc. of the 5th Int. Workshop on Combinatorial Testing (IWCT 2016 ), Chicago USA, April 2016 .

10. G. Demiroz ve C. Yilmaz . Using simulated annealing for computing cost-aware covering arrays . Applied Soft Computing, available online August 2016 .

11. D. R. Kuhn ve M. J. Reilly . An investigation of the applicability of design of experiments to software testing . In Software Eng. Workshop , 91 { 95 . IEEE, 2002 .

12. D. S. Hoskins , C. J. Colbourn , and D. C. Montgomery . D-optimal designs with interaction coverage . Journal of Statistical Theory and Practice , 3 ( 4 ): 817 { 830 , 2009 .

13. JMP Statistical Discovery Software from SAS , 2014 . http://www.jmp.com/.

14. D. C. Montgomery , G. C. Runger , N. F. Hubele , Engineering Statistics, John Wiley & Sons, 2009 .

15. C. Nie ve H. Leung . A survey of combinatorial testing . ACM Computing Surveys , 43 :11:1{ 11 : 29 , February 2011 .

16. D. Kleinbaum , L. Kupper , A . Nizam, ve E. Rosenberg. Applied regression analysis and other multivariable methods . Cengage Learning , 2013 .

17. S. R. Kenett ve Z. Shelemyahu , Modern Industrial Statistics: The Design and Control of Quality and Reliability , Cengage Learning , 1998 .

18. C. Yilmaz and M. B. Cohen and A. Porter . Covering Arrays for Efficient Fault Characterization in Complex Con guration Spaces . IEEE Transactions on Software Engineering , 31 ( 1 ): 20 { 34 , 2006 .

19. C. Yilmaz , A. Porter , A. S. Krishna , A. M. Memon , D. C. Schmidt , A. S. Gokhale , ve B. Natarajan . Reliable effects screening: A distributed continuous quality assurance process for monitoring performance degradation in evolving software systems . IEEE Transactions on Software Engineering , 33 ( 2 ): 124 { 141 , 2007 .

20. Yilmaz , C. Test Case-Aware Combinatorial Interaction Testing . IEEE Transactions on Software Engineering , 39 ( 5 ): 684 { 706 , 2013 .