Neden-Sonu ˙izgelerinden Test Giri‡lerinin Olu‡turulmas

Abstract

Cause-eect graphing is a well-known requirement based testing technique. However, since it was introduced by Myers in 1979, there seems not to have been any suciently comprehensive studies to generate test cases from these graphs. This paper proposes to convert cause-eect graphs into Boolean expressions and nd out the test cases using test input generation techniques for Boolean expressions, such as MI, MAX-A and CUTPNFP. Mutation analysis is used to compare the fault detection capabilities of these techniques and the results are also compared to the Myers' original test generation technique.

Giri‡

Gereksinim tabanl test yntemleri, test senaryolar iin ko‡ullar ve bilgilerin gereksinimlerden karsand§ yntemlerdir. Gereksinim tabanl testler, gereksinimlerin iyi belirlenmi‡ oldu§u ve de§i‡me ihtimalinin ok d‡k oldu§u durumlarda byk avantaj sa§lar. Gereksinimleri ifade etmek iin kullanlan Boole ifadeler, modeller veya izgeler aracl§ ile, kaynak kod henz yazlmadan test senaryolarnn olu‡masna imkan verir. Ancak test edilen program de§i‡ime ak bir sistem ise, her de§i‡en gereksinim ile birlikte test senaryolarnn ba‡tan olu‡turulmas gerekti§i iin, gereksinim tabanl bir test yntemi kullanmak ok masra olacaktr. Bu nedenlerle, genellikle sa§lk veya havaclk ile ilgili, gereksinimleri neredeyse de§i‡mez olan kritik yazlmlar iin kullanlr.

Gereksinim tabanl test yntemlerinden biri olan neden-sonu izgeleri (CauseEect Graph), birimlerin birbirleriyle ba§mllk ve ili‡kilerini modelleyerek sistem gereksinimlerinin modellenmesi ve bu model zerinden test retilebilmesi iin geli‡tirilmi‡tir [ 1, 2 ]. lk olarak Myers [ 2 ], neden-sonu izgelerinden, model yollarndan en az bir kere geilmesini garanti ederek, giri‡ kombinasyonlarn kapsayacak bir karar tablosu yaratmak amacyla sistematik bir yntem tantm‡tr. Bu yntemle, giri‡ says bydke zlemeyecek boyutlara kan karar tablosu kombinasyonlarn (test giri‡lerinin saysn) azaltm‡tr. Myers’n sundu§u algoritma tart‡lm‡ [ 3 ], neden-sonu izgesinden karar tablosu olu‡turmak iin ba‡ka algoritmalar da sunulmu‡tur [ 4, 5 ].

Sistem gereksinimlerinin Boole ifadelerle gsterilebilmesinden yararlanarak MI, MAX-A [ 6 ], MUMCUT [ 7, 8 ], BOR, MC/DC [ 9 ], RC/DC [ 10 ] gibi bir ok test yntemi sunulmu‡tur. Chen ve arkada‡lar [ 11 ], Boole ifadelerden sunduklar MUMCUT yntemi ile test senaryosu retilmesi iin bir ara geli‡tirmi‡tir. Kaminski ve Ammann [ 12 ], MUMCUT’u geli‡tirerek Minimal-MUMCUT olarak adlandrdklar, MUMCUT’un kriterlerini sa§layan, ancak ayn tip hatalar daha az test giri‡i ile yakalayan bir yntem geli‡tirmi‡lerdir. Sunulan bu yntemlerin o§unun ortak zelli§i yntemin uygulanabilmesi iin Boole ifadenin Ayrc Normal Form’da (ANF), di§er bir deyi‡le arpmlarn toplam ‡eklinde ifadesinin gereklili§idir. BOR ynteminin uygulanabilmesi iin, ANF gereksinimine ek olarak Boole ifadenin tekil (singular) olmas da gerekmektedir.

Singh ve arkada‡lar [ 13 ], Boole ifadelerden test retme yntemlerini birlikte de§erlendirmek ve kar‡la‡trmak iin Elmendorf’un yntemi [ 1 ], BOR, MC/DC ve RC/DC yntemlerini incelemi‡tir. Boole trevleri kullanlarak neden-sonu izgelerinden formel olarak MC/DC test giri‡leri retilmesi gsterilmi‡tir [ 14 ]. Fraser ve Gargantini [ 15 ], hata bulma i‡lemini mantksal bir SAT problemi olarak formelle‡tirmi‡, zmn MUMCUT yntemi ile kyaslam‡tr. Sonraki al‡malarnda [ 16 ], bu zm geni‡letilerek Boole ifade genel formda iken al‡abilecek bir yntem sunmu‡lardr ve bu yntemi MUMCUT ve MC/DC yntemleri ile kyaslam‡lardr.

Sziray [ 17 ], neden-sonu izgelerinden test senaryolar retmek iin, karar a§ac kullanlan yeni bir algoritma geli‡tirmi‡tir. Vilkomir ve arkada‡lar [ 18 ], tli test retme ynteminin Boole ifadeler zerindeki etkinli§ini mutasyon analizi kullanarak lm‡ ve sonular rastgele test retimi ile kar‡la‡trm‡tr. Paul ve arkada‡lar [ 19 ], daha nce tantlm‡ olan farkl MC/DC formlarn sistematik olarak incelemi‡ ve yeni bir MC/DC formu tantm‡lar, bu formu eski MC/DC formlar ile kar‡la‡trm‡lardr. Chung [ 20 ], neden-sonu izgeleri iin yeni hata snar olu‡turarak, Myers’n yntemi ve kombinatoryel test yntemi ile retti§i test kmelerinin, olu‡turdu§u bu hata snarndaki hata yakalama ba‡arlarn lm‡tr. Chung [ 21 ], daha sonra, neden-sonu izgelerinden ikili test retim yntemi ile test senaryolar reten otomatize edilmi‡ bir ara geli‡tirmi‡tir. Chung [ 22 ], ba‡ka bir bak‡ as ile, neden-sonu izgelerinden ikili test retim yntemi ile SAT zc kullanarak test senaryolar retmi‡tir.

Sun ve arkada‡lar [ 23 ], Boole ifadeler zerinde tanmlanan test retme yntemlerinin bir ksmn (ONE, MIN, MUMCUT ve de§i‡ik formlar,..) bir araya toplam‡, rastgele rettikleri Boole ifadeler zerinde bu yntemlerle rettikleri test kmelerini al‡trm‡ ve mutasyon analizi ile bu yntemlerin hata yakalama ba‡arlarn lm‡lerdir. Yntemlerdeki ANF olma kstlarnn tesine gemek iin, genel formdaki ifadeler zerindeki ba‡arlarn da lm‡ler, sonu olarak MUMCUT ynteminin daha ba‡arl oldu§unu gstermi‡ ve MUMCUT yntemine e‡itli eklentiler yapm‡lardr.

Bu al‡mada neden-sonu izgesinden MI, MAX-A, CUTPNFP ve Myers yntemleri kullanlarak test giri‡leri elde edilmi‡, olu‡an test giri‡leri mutasyon analizi ile de§erlendirilmi‡, yntemlerin farkl hata snarndaki ba‡arlar kar‡la‡trlm‡tr. Ama, hangi yntemin hangi hata snarndaki hatalar yakalama olasl§nn daha yksek oldu§unu anlamaya al‡maktr. Blm 2’de nedensonu izgeleri ve zellikleri zetlenmi‡tir. Test giri‡ retme yntemlerinden, Blm 3.1’de MI, Blm 3.2’de MAX-A, CUTPNFP ve 3.3’te Myers aklanm‡tr. Blm 4’te hata tipleri ve mutasyon analizi sunulmaktadr. Blm 5’te olu‡turulan neden-sonu modeli ve ara mimarisi verilmi‡tir. Blm 6’da yaplan deneyler aklanm‡, de§erlendirme ve sonular payla‡lm‡tr. 2

Neden-Sonu ˙izgesi

Neden-sonu izgesi, yazlm testlerinde kullanlan, nedenler kmesini sonular kmesine e‡le‡tiren, ynsz bir izgedir. ˙izgenin elemanlar sistemi olu‡turan Boole ifadelerini grsel olarak temsil etmektedir. Neden d§mleri programa verilen, ikili sistemde de§er alabilen, sistemin bir durumunu ya da bir etkinli§ini tanmlayan girdiler, sistem gereksinim cmleleri, Boole ifadeleri olarak tanmlanabilmektedir. Sonu d§mleri de, yine ikili sistemde de§er alabilen, sistemin bir durumunu ya da bir sonu etkisini belirten ktlar olarak d‡nlebilir.

˙izgenin genel yapsndaki d§mler soldan sa§a: neden d§m ! ara d§m ! sonu d§m ‡eklinde tasarlanr. ˙izgeler arasndaki ili‡kiler, ve, veya, de§il olmak zere temel Boole ifadesi i‡lemleridir.

ekil 1. Neden-sonu izgesinde tanmlanabilen ko‡ullar

Bu ili‡kilere ek olarak, a, b neden d§mleri, e, f sonu d§mleri olmak zere, ekil 1’de gsterilen a‡a§daki ko‡ullar tanmlanabilir:

D‡layan veya (E) : a ve b de§i‡kenlerinden en fazla biri 1 de§erini alabilir. eren veya (I) : a ve b de§i‡kenlerinden en az biri 1 de§erini almaldr Tekil (O) : a ve b de§i‡kenlerinden sadece ve sadece biri 1 de§erini almaldr. Gerektirme (R) : a de§i‡keninin 1 de§erini alabilmesi iin, b de§i‡keninin 1 olmas gereklidir.

Maskeleme (M) : e sonucu 1 de§erini ald§nda, f sonucu 0 de§erini almak zorundadr.

Basit bir neden-sonu izgesi rne§i olarak, sistem gereksinimlerinin ‡u ‡ekilde tanmland§n kabul edelim [ 2 ]: ki girdili sistemin ilk girdisi ’A’ ya da ’B’ harerinden biri olmal, ikinci girdi ise bir say olmaldr. Girdiler do§ruysa, dosya gncellemesi yaplr. lk karakter yanl‡sa, X12 hata mesaj, ikinci karakter say de§ilse X13 hata mesaj verilir. Bu gereksinimlerden karlan neden ve sonu d§mleri a‡a§da, olu‡an neden-sonu izgesi ise ekil 2’de verilmi‡tir.

Nedenler: 1- ilk girdi ’A’ 2- ilk girdi ’B’ 3- ikinci girdi bir say

Sonular:

70- dosya gncellemesi yapld 71- X12 mesaj verildi 72- X13 mesaj verildi ekil 2. rnek neden-sonu izgesi 3

Test Giri‡i retme Yntemleri

E’nin ANF olarak verilen, n terimli, m de§i‡kenli bir Boole ifadesi oldu§unu varsayalm:

E = e1 + e2 + ::: + en (1) Her ei (1 i n), lj sayda de§i‡kenden olu‡an bir terim olsun. Bu tanma dayanarak takip eden blmlerde MI, MAX-A ve CUTPNFP test retme yntemleri sunulacaktr. 3.1

MI Anlaml etki yntemi (Meaningful Impact (MI)), Weyuker ve arkada‡lar [ 6 ] tarafndan TCAS-2 sisteminin Boole ifadeleri zerinde al‡larak tanmlanm‡tr. ANF olarak verilen Boole ifadeleri zerinde, zgn do§ruluk noktalar (UTP) ve yakn yanl‡lk noktalar (NFP) mant§ ile, eksik de§i‡ken hatas (EDH), de§i‡ken olumsuzlama hatas (DOH), de§i‡ken referans hatas (DRH), i‡lem referans hatas (RH), ili‡kisel kaydrma hatas, ifade olumsuzlama hatas (OH) gibi hatalar yakalayabilir. Ancak zgn do§ruluk noktalar rastgele seildi§i iin her zaman bu hatalar ortaya karamayabilir. Hatal Boole ifadesindeki hatal bile‡en, orijinal Boole ifadesindeki ba‡ka bir bile‡enin zgn do§ruluk noktas veya yakn yanl‡lk noktas ile ak‡yor olabilir.

MI algoritmas a‡a§daki ‡ekilde tanmlanm‡tr [ 24 ]: 1. Her terim ei; 1 i n iin, ei’yi do§ru yapan T ei kmeleri olu‡turulur. n 2. Her i 6= j; T Sei \ T Sej = ; iin T Sei = T ei S T ej . j=1;i6=j 3. Her T Sei; 1 i n kmesinden birer eleman seerek SEt olu‡turulur. 4. eij , 1 i n ve 1 j lj iin ei teriminin j.inci de§i‡keninin de§ilinin alnmasyla olu‡an terimler olu‡turulur. eij ’yi do§ru yapan F eij kmeleri olu‡turulur.

n 5. F Seij = F eij S T ek.

k=1 6. Her F Seij kmesini en az bir kere rten ve minimal olan 7. E iin gerekli toplam kme SE = SEt [ SEf SEf olu‡turulur.

lk olarak Boole ifadenin ( E) her terimi (ei) iin, o terimi do§ru yapan test giri‡ kmeleri (T e i) olu‡turulur. Bu olu‡turulan kmelerden, her bir terim iin, birbirlerinden ayr‡k (kesi‡imleri bo‡ kme) olacak ‡ekilde alt kmeler ( T Sei) seilir. Bu olu‡an alt kmelerden, rastgele birer eleman seilerek do§rular kmesi (SEt ) olu‡turulur. Daha sonra her terim (e i) iin olu‡turulan olumsuz terimi (eij ’yi) do§ru yapan test giri‡ kmeleri (F e ij ) olu‡turulur. Bu kmelerden, ilk admda olu‡turulan do§ru kmeler ile ( T ei) ortak olanlar varsa, bu ortak kmeler karlarak olu‡turulan alt kmeler (F Se ij ) elde edilerek do§ru ve yanl‡ test giri‡ kmelerinin hedeedi§i durumlarn birbirleriyle kar‡mas nlenir. Olu‡turulan bu alt kmelerin hepsini ieren bir yanl‡lar kmesi (S Ef ) olu‡turulur. MI yntemi iin gerekli olan kme de bu iki kmenin birle‡tirilmesi ile olu‡maktadr. 3.2

MAX-A ve CUTPNFP Weyuker ve arkada‡lar [ 6 ], UTP ve NFP kmelerinin herhangi bir ko‡ul olmadan birle‡tirilmesinden olu‡an MAX-A yntemini tantm‡lardr. Chen ve arkada‡lar [ 7, 8 ], farkl yntemin (CUTPNFP, MUTP ve MNFP) birle‡mesiyle olu‡an MUMCUT yntemini tantm‡lardr. Bu yntem tekrarsz (irredundant) ANF olarak verilen Boole ifadeler zerinden gerekle‡tirilmi‡tir. Boole ifadelerinin tekrarsz ANF olarak kstlanmasnn sebebi test giri‡leri saysn d‡rmek ve karma‡kl§ azaltmaktr, performans ve hassasiyet derecesi arasndaki dengede bu seim yaplm‡tr. Bu al‡mada kanonik (her terim btn de§i‡kenleri bir kere ieren) ANF kullanld§ iin, MUMCUT’u olu‡turan paralardan CUTPNFP yntemi incelenmi‡tir.

Tanm 1 zgn Do§ruluk Noktas (UTP): U T Pi, (1) Boole ifadesinde ei terimini do§ru yapan, di§er tm terimleri yanl‡ yapan test giri‡leri kmesidir. Boole ifadesi iin tm zgn do§ruluk noktalar kmesi: U T P (S) = Si U T Pi(S). Tanm 2 Yakn Yanl‡lk Noktas (NFP): N F Pi;j , (1) Boole ifadesinde ei;j terimini (ei teriminin j. de§i‡keninin de§ilinin alnmasyla olu‡an terim) do§ru yapan, di§er tm terimleri yanl‡ yapan test giri‡leri kmesidir. Boole ifadesinin ei terimi iin tm yakn yanl‡lk noktalar kmesi: N F Pi(S) = Sj N F Pi;j (S). Boole ifadesi iin tm yakn yanl‡lk noktalar kmesi: N F P (S) = Si N F Pi(S). Tanm 3 MAX-A: fadenin her terimi iin ilgili U T Pi ve N F Pi;j kmelerindeki tm noktalar seilir. Boole ifadesi iin MAX-A kmesi : MAX-A(S)= U T P (S)[ N F P (S). Tanm 4 li‡kili zgn do§ruluk noktas ve yakn yanl‡lk noktas ikilisi (CUTPNFP): U T Pi(S) ve N F Pi;j (S) kmelerinden srasyla !u ve !v test giri‡i ikilisi seilir. Bu ikilinin arasndaki tek fark, j indisi ile belirtilen de§i‡kenin ald§ do§ruluk de§eri olmaldr. Bu i‡lem olas tm j de§erleri ve tm terimler iin gerekle‡tirilerek CU T P N F P (S) kmesi elde edilir. Bu kmenin i‡lem referans hatas (RH), de§i‡ken olumsuzlama hatas (DOH) ve ifade olumsuzlama hatas (OH) snarndaki hatalar yakalamas amalanr. 3.3

Myers’n Yntemi Myers’n kitabnda tantt§ neden-sonu izgelerinden test giri‡leri retme yntemi a‡a§da verilmektedir [ 2 ]: 1. Bir sonu d§m seilir ve do§ru de§er ald§ varsaylarak izge zerinde geriye do§ru gidilir. 2. Seilen d§m do§ru yapan tm kombinasyonlar alnr. Kombinasyonlar alnrken: (a) D§m "VEYA" ili‡kisi ile ba§lysa ve do§ru de§er almas gerekiyorsa, bu d§me giden d§mlerden ayn anda en fazla birine do§ru de§er atanr. (Ayn anda tek bir de§i‡kenin etkisini grebilmek iin). (b) D§m "VE" ili‡kisi ile ba§lysa ve yanl‡ de§er almas gerekiyorsa, - her d§mn yanl‡ de§er ald§ tek bir durum seilir, - en az bir d§mn yanl‡ de§er ald§ durumlarda, her d§m iin

do§ru de§er ald§ tek bir durum seilir

Myers’n ynteminde di§er iki yntemdeki gibi ANF Boole ifadeye ihtiya yoktur, izge zerinden ya da genel formdaki Boole ifadeden test giri‡leri retilebilir. 4

Mutasyon Test Analizi

Olu‡turulan test kmelerinin hata yakalama yeteneklerini kar‡la‡trmak iin mutasyon analizi yntemi olduka sk kullanlmaktadr. Mutantlar asl Boole ifade zerinde, yazlm geli‡tiricilerin sk yapt§ hatalara dayal bilgiden faydalanarak olu‡turulan belli kurallar erevesinde yaplan kk de§i‡iklikler ile elde edilir. Yaplan de§i‡ikliklerin tipine gre, olu‡turulan mutant, literatrde tanmlanan bir veya daha fazla hata snfn temsil eder. Bir test kmesi, bir mutant zerinde al‡trld§nda hatay yakalayabiliyorsa o mutant yok etmi‡ olarak kabul edilir. Test kmesinin ba‡ars yok edebildi§i mutant says ile llr. yi bir test retim ynteminde ama, olabilecek en az test giri‡i says ile, en fazla mutant yok etme ba‡arsn elde etmektir.

rnek bir S = (c0 + (c1c2))c3 Boole ifadesi zerinde temel hata tipleri a‡a§daki gibi tanmlanabilir [ 25 ]: RH ‡lem Referans Hatas. VE i‡lemi VEYA ile veya VEYA i‡lemi VE ile de§i‡tirilir. rn. (c0 + (c1c2)) + c3.

OH fade Olumsuzlama Hatas. fadenin bir ksm (alt ifade) olumsuzlanr.

rn. (c0 + (c1c2)0)c3.

DOH De§i‡ken Olumsuzlama Hatas. Boole ifadedeki de§i‡kenlerden biri olumsuzlanr. rn. (c0 + (c01c2))c3. EDH Eksik De§i‡ken Hatas. De§i‡kenlerden birinin unutulmas durumudur.

rn. (c0 + (c1c2)).

DRH De§i‡ken Referans Hatas. De§i‡kenlerden biri ifadede yer alan ba‡ka bir de§i‡ken ile yer de§i‡tirilir. rn. (c1 + (c1c2))c3.

YBH Yantmce Birle‡me Hatas. De§i‡ken

rn. (c0 + (c1c3c2))c3.

YAH Yantmce Ayrlma Hatas. De§i‡ken rn. (c0 + c3 + (c1c2))c3.

a yerine ab yazlmas durumudur. a yerine a + b yazlmas durumudur. 0-T-H 0’a Taklma Hatas. De§i‡kenlerden birinin hep 0 olmas durumudur.

rn. (0 + (c1c2))c3. 1-T-H 1’e Taklma Hatas. De§i‡kenlerden birinin hep 1 olmas durumudur. rn. (c0 + (1 c2))c3.

EDH

DOH 0TH

DRH

1TH RH

OH YBH

YAH ekil 3. Hata snf hiyerar‡isi

Btn hata snarna uygun mutantlar olu‡turulduktan sonra, bu mutantlarn her biri zerinde test takmn tekrar tekrar al‡trmak byk programlarda, zaman ve kaynaklarn harcanmas asndan anlaml olmayabilir. Kuhn’un [ 26 ] al‡masna gre, bir hata snf ba‡ka bir hata snfnn yaratabilece§i tm hatal ifadeleri kapsayabiliyorsa o snf, di§erinden gl olarak kabul edilir. Bu al‡mada OH’un DOH’a gre, DOH’un ise DRH’ye gre daha gl oldu§u bir hiyerar‡ik yap teorik olarak gsterilmi‡tir.

Tsuchiya ve Kikuno [ 27 ], Kuhn’un [ 26 ] al‡masndaki hiyerar‡iye ek olarak eksik ifade hatas snfn da eklemi‡tir. Lau ve Yu [ 28 ], bu hiyerar‡iyi terim ve de§i‡ken hatalarnn ili‡kilerini analiz ederek daha da geni‡letmi‡tir.

Tm bu al‡malarda analiz edilen Boole ifadelerinin ANF olmas gerekmektedir. Ancak, Kapoor ve Bowen [ 29 ], hiyerar‡ik analizi ve yeni hata snar da ekleyerek, genel Boole ifadeleri iin de geerli olacak ‡ekilde dzenlemi‡tir. Son olarak da, Chen ve arkada‡lar [ 30 ], Kapoor ve Bowen’in [ 29 ] al‡masn geni‡leterek, ekil 3’te verilen hata snf hiyerar‡isini sunmu‡tur. Bu yapya gre, dokuz adet hata snfndan yalnzca drt tanesini ele almak yeterlidir: RH, YBH, YAH ve OH.

Myers Mutasyon analizi Analiz sonular

Boole ifadeye dn‡tr

Mutant ifadeler

Test Giri‡leri

Boole ifade Mutantlar yarat

ANF fade MI

MAX-A

CUTPNFP ekil 4. Neden-sonu izgelerinden test giri‡i retme yntemi 5

Neden-Sonu ˙izge Modeli ve Geli‡tirilen Ara

Mimarisi Neden-sonu izgesinin modellenmesi iin GraphML [ 31 ] isimli, izge tanmlamak iin hazrlanm‡, xml tabanl bir dosya format kullanlm‡tr. GraphML yaps ierisindeki d§m ve kenar zelliklerine ek olarak ba‡ka zellikler tanmlanabilmektedir. Neden-sonu izgelerini tanmlayabilmek iin d§mlere; seviye (izim srasnda neden-ara d§m-sonu ili‡kisini korumak iin), ili‡ki (d§m olu‡turan Boole ifadesini tanmlamak iin), d§m tipi (neden, sonu, ara d§m, ko‡ul d§m), ko‡ul sonu d§m bilgisi (ko‡ul d§mlerinin ba§l olduklar ara d§m veya sonu d§m bilgisini tutmak iin) tanmlanm‡tr. Kenarlara ise yalnzca olumsuzluk bilgisi eklenmesi yeterli olmu‡tur.

Neden-sonu izgelerinin izilmesi ve .graphml formatnda bir ktsnn alnabilmesi ya da olu‡turulan bir .graphml formatndaki izgeyi izdirmek iin Gephi [ 32 ] isimli, ak kaynak kodlu ktphane ve ona ait masast program kullanlm‡tr. Java tabanl Gephi ktphanesi aracl§ ile .graphml dosyasndan alnan izge bilgileri, yine Java ile geli‡tirilen arata olu‡turulan model ile neden-sonu izge modeline dn‡trlm‡tr.

Tm sonu d§mleri iin ayrca izge ili‡ki bilgilerinden yola karak Boole ifadeleri olu‡turulmu‡tur. Boole ifadeleri MI, MAX-A ve CUTPNFP yntemlerinde kullanlmak zere kanonik ANF’ye dn‡trlm‡tr. Bu dn‡m iin do§ruluk tablosu (truth table) aracl§ ile dn‡m algoritmas kullanlm‡tr. Bu algoritmada; her sonu d§m iin, de§i‡kenler iin olas tm de§er kombinasyonlarna baklr, sonucu do§ru yapan satrlar seilir. Bu satrlar seilirken birbiri ile herhangi bir ko‡ul (d‡layan veya, ieren veya, gerektirme vs.) ile ba§l olan de§i‡kenlerin ald§ de§erler ayrca kontrol edilir, ko‡ula aykr olan bir durum varsa o kombinasyon seilmez. Bu kombinasyonlarda do§ru de§erini alan de§i‡kenler ve yanl‡ de§eri alan de§i‡kenlerin de§illeri ’ve’ ba§lac ile ba§lanr. Bu kombinasyonlardan olu‡turulan terimler daha sonra ’veya’ ba§lac ile ba§lanarak orijinal Boole ifadeye ili‡kin olan kanonik ANF Boole ifadesi olu‡turulmu‡ olur. Mutantlar olu‡turmak iin, farkl hata tiplerine gre ayr ayr mutant olu‡turma modelleri kurulmu‡tur. Sonu d§mleri iin olu‡turulmu‡ olan orijinal Boole ifadeleri zerinden, istenen hata tipine gre olu‡turulan bu modeller kullanlarak mutantlar olu‡turulmu‡tur. Bu yntem ekil 4’te gsterilmektedir. ekil 5. TCAS-II’ye ait 14 gereksinimin izilen neden-sonu izgesi

De§erlendirme ve Sonular

TCAS-II, birok hava arac tipiyle uyumlu olan bir arp‡ma nleme sistemidir ve literatrde test ile ilgili al‡malarda ok sk kullanlm‡tr [ 28, 33, 24, 6, 16 ]. TCAS-II’ye ait 14 gereksinim ekil 5’teki neden-sonu izgesi olarak modellenmi‡ ve bu izgeyi ifade eden graphml dosyas hazrlanm‡tr. Neden-sonu izgesi Boole ifadelere evrilerek, bu ifadeler Blm 5’te tanmlanan yntem ile kanonik ANF’ye evrilmi‡tir. Kanonik ANF’ye dn‡trlen ifadeler zerinden MI, MAX-A ve CUTPNFP yntemleri ile test kmeleri olu‡turulmu‡tur.

Blm 4’te aklanan mutasyon analizini uygulamak iin, DOH, OH, RH, 0-TH, 1-TH, DRH, YBH, YAH hata snarndan olas tm tekli (ayn anda tek bir de§i‡iklik yaplarak) mutantlar olu‡turulmu‡tur. Mutantlar zerinde test takmlar al‡trlarak yakalanan mutant saylar ayr ayr hata snar ve ayr yntem iin listelenmi‡tir. Tm Boole ifadeler zerinde sonular elde etmek iin, ak kaynak kodlu bir Boole ifade de§erlendirme ktphanesi olan JBooleanExpression [ 34 ] kullanlm‡tr.

Yaplan deney sonucu elde edilen sonulardan sonra: Tablo 1’de yntemler sonucu olu‡an toplam test giri‡ saylar ve Tablo 2’de olu‡turulan toplam mutant saylar verilmi‡tir. Tablo 3’de farkl yntemlerle olu‡turulmu‡ olan test giri‡lerinin olu‡an mutantlar zerindeki hata yakalama ba‡ars verilmi‡tir. Son olarak da, Tablo 4’de bu ba‡arlarn toplam mutantlar zerinde oranlanmas ile elde edilen yzdeler verilmi‡tir.

Mutant Says

MI

MAX-A CUTPNFP Myers

MI

MAX-A CUTPNFP Myers

MI MAX-A CUTPNFP Myers

Test Says 2125 4370 59 708

Tablo 1. Olu‡an test giri‡ saylar DOH+OH RH 0-TH+1-TH DRH YBH YAH Tm Snar 391 238 504 238 252 252 1889 Tablo 2. Olu‡an mutant saylar

Yakalanan Mutant Says

DOH+OH RH 0-TH+1-TH DRH YBH YAH Tm Snar 270 176 254 146 99 91 1034 344 214 438 215 220 218 1649 267 168 150 130 84 64 863 267 173 252 148 92 86 1018 Tablo 3. Mutant yok etme saylar

Yakalanan Mutant Yzdesi

DOH+OH RH 0-TH+1-TH DRH YBH YAH Tm Snar 0.69 0.74 0.50 0.61 0.39 0.36 0.55 0.88 0.90 0.87 0.90 0.87 0.87 0.87 0.68 0.71 0.30 0.55 0.34 0.25 0.46 0.68 0.73 0.50 0.62 0.36 0.34 0.54

Tablo 4. Mutant yok etme yzdeleri

Olu‡an toplam test giri‡ saylar de§erlendirildi§inde; MI ve MAX-A, kanonik ANF’deki tm terimler ve tm terimlerin de§i‡kenlerini tek tek de§erlendirdi§i iin, Myers’a gre daha fazla test olu‡turmaktadr.

Sonular ba‡ar yzdeleri zerinden de§erlendirildi§inde, tm hata tipleri iin: MAX-A, MI, Myers ve CUTPNFP olarak sralanm‡tr. Myers ile MI arasndaki ba‡ar farknn ok d‡k olmasnn sebebi, MI ynteminde UTP seimlerinin rastgele yaplm‡ olmasdr. MI ve Myers’n ba‡ar yzdeleri arasndaki fark, MI’daki rastgele seimden dolay az olabilse de, MI’n kapsad§ test giri‡i daha fazla oldu§u iin MI Myers yerine tercih edilebilir. Kstl bir zaman ve kaynak var ise, test giri‡ saylar arasndaki farktan dolay Myers, MI yerine tercih edilebilir. Bu noktada MI ynteminin uygulanabilmesi iin Boole ifadeye dn‡trme, olu‡an Boole ifadeyi kanonik ANF’ye dn‡trme gibi a‡amalarn masraar ayrca d‡nlmelidir. CUTPNFP, yakalamay amalad§ DOH,OH ve RH snarnda ok daha az sayda test giri‡i ile MI ve Myers’n de§erlerini yakalam‡tr.

Bu al‡maya ek olarak, Blm 1’de bahsedilen farkl test giri‡i retme yntemlerinden BOR ve MC/DC’nin de uygulamalarnn yaplmas, araca eklenmesi ve ayn analizden geirilerek kar‡la‡trma tablosuna eklenmesi planlanmaktadr.

Kaynaka

References

1. Elmendorf , W. R. : Cause-Eect Graphs on Functional Testing . TR- 00 .2487, IBM Systems Development Division , Poughkeepsie, NY ( 1973 ).

2. Myers , G. : The Art of Software Testing, Second edition , ( 2004 ).

3. Paradkar , A. , Tai , K. C. , Vouk , M. A. : Automatic Test-Generation for Predicates . IEEE Transactions on Reliability , vol. 45 , no. 4 , 515530 ( 1996 ).

4. Srivastava , P.R. , Patel , P. , Hatrola , S. : Cause Eect Graph to Decision Table generation . ACM SIGSOFT Software Eng.Notes , vol. 34 , no. 2 ( 2009 ).

5. Matur , A. P. : Software testing. 1st edition , Pearson Publication ( 2008 ).

6. Weyuker , E. , Goradia , T. , Singh , A. : Automatically Generating Test Data from a Boolean Specication . IEEE Transactions on Software Engineering , vol. 20 , no. 5 , 353 - 363 ( 1994 ).

7. Chen , T. , Lau , M. , Yu , Y. : MUMCUT: A fault-based strategy for testing boolean specications . In: Asia-Pacic Software Engineering Conference , 606 , IEEE Computer Society, Los Alamitos, CA, USA, ( 1999 ).

8. Chen , T.Y., Lau , M.F. : Test case selection strategies based on Boolean specications . Softw. Test. Verif. Reliab . vol. 11 , 165180 ( 2001 ).

9. Paradkar , A. , Tai , K. C. , Vouk , M. A. : Specication-Based Testing Using CauseEect Graphs . Annals of Software Engineering , vol. 4 , 133157 ( 1997 ).

10. Vilkomir , S. A. , Bowen , J. P. : Reinforced Condition/Decision Coverage (RC/DC): A New Criterion for Software Testing . In 2nd International Conference, Formal Specication and Development in Z and B , volume 2272 of Lecture Notes in Computer Science, 295313 . Springer-Verlag, ( 2002 ).

11. Chen , T.Y., Grant , D.D. , Lau , M.F. , Ng , S.P. , Vasa , V.R. : BEAT:Boolean Expression Fault-Based Test Case Generator. In: Information Technology:Research and Education Conference , 625 - 629 , ( 2003 )

12. Kaminski , G. K. and Ammann , P. : Using Logic Criterion Feasibility to Reduce Test Set Size While Guaranteeing Fault Detection . In: ICST'09: Proceedings of the 2nd International Conference on Software Testing Verication and Validation . Washington, DC, USA: IEEE Computer Society, Apr. 14 , 356365 , ( 2009 ).

13. Singh , R.K. , Chandra , P. , Singh , Y. : An Evaluation of Boolean Expression Testing Techniques . ACM SIGSOFT Software Engineering Notes , vol. 31 , no. 5 , 1 - 6 ( 2006 ).

14. Ayav , T. , Belli , F. : Boolean Dierentiation for Formalizin Myers' Cause-Eect Graph Testing Technique . In: Software Quality, Reliability and Security-Companion, IEEE, 138 - 143 , Vancouver, BC ( 2015 ).

15. Fraser , G. , Gargantini , A. : Generating minimal fault detecting test suites for Boolean expressions . In: Software Testing, Verication, and Validation Workshops , 37 - 45 , Paris ( 2010 ).

16. Gargantini , A. , Fraser ,G.: Generating minimal fault detecting test suites for general Boolean specications . Information and Software Technology , vol. 53 , no. 11 , 12631273 ( 2011 ).

17. Sziray , J. : Evaluation of boolean graphs in software testing . In Computational Cybernetics (ICCC) , 2013 IEEE 9th International Conference on, 225 - 230 , IEEE, ( 2013 ).

18. Vilkomir , S. , Starov , O. , Bhambroo , R. : Evaluation of t-wise approach for testing logical expressions in software . In Software Testing, Verication and Validation Workshops (ICSTW) , 2013 IEEE Sixth International Conference on. 249-256 , IEEE, ( 2013 ).

19. Paul , T. K. , Lau , M. F. : A systematic literature review on modied condition and decision coverage . Proceedings of the 29th Annual ACM Symposium on Applied Computing , 1301 - 1308 , ACM, ( 2014 ).

20. Chung , I. : Investigating eectiveness of software testing with cause-eect graphs . International Journal of Software Engineering and Its Applications , vol. 8 , no. 7 , 41 - 54 ( 2014 ).

21. Chung , I.: CEGPairGen: an automated tool for generating pairwise tests from causeeect graphs . International Journal of Software Engineering and Its Applications , vol. 9 , no. 1 , 53 - 66 ( 2015 ).

22. Chung , I. : Modeling Pairwise Test Generation from Cause-Eect Graphs as a Boolean Satisability Problem . International Journal of Contents . vol. 10 , no. 3 , 41 - 46 ( 2014 ).

23. Sun , C. , Zai , Y. , Liu , H.: Evaluating and Comparing Fault-Based Testing Strategies for General Boolean Specications: A Series of Experiments. The Computer Journal , vol. 58 , no. 5 , 1199 - 1213 ( 2015 ).

24. Badhera , U. , G.N. P. , Taruna , S. : Fault Based Techniques for Testing Boolean Expressions : A Survey . International Journal of Computer Science & Engineering Survey . vol. 3 , no. 1 , 8190 ( 2011 ).

25. Ayav , T. : Yazlm Yapsal Kapsama Analizinde Testlerin nceliklendirilmesi . 9th UYMS , zmir ( 2015 ).

26. Kuhn , R.: Fault classes and error detection capability of specication-based testing . ACM Trans. Softw. Eng. and Methodol ., vol. 8 , no. 4 , 411424 ( 1999 ).

27. Tsuchiya , T. , Kikuno , T. : On fault classes and error detection capability of specication-based testing . ACM Trans. Softw. Eng. and Methodol ., vol. 11 , no. 1 , 5862 ( 2002 ).

28. Lau , M.F. , Yu , Y.T. : An extended fault class hierarchy for specication-based testing . ACM Trans. Softw. Eng. and Methodol ., vol. 14 , no. 3 , 247 - 276 ( 2005 ).

29. Kapoor , K. , Bowen , J.P. : Test conditions for fault classes in Boolean specications . ACM Trans. Softw. Eng. Methodol. , vol. 16 , no. 3 , 10 ( 2007 ).

30. Chen , Z. , Chen , T.Y., Xu , B. : A Revisit of Fault Class Hierarchies in General Boolean Specications . ACM Trans. Softw. Eng. Methodol. , vol. 20 , no. 3 , 13 : 1 - 13 : 11 ( 2011 ).

31. The GraphML File Format , http://graphml.graphdrawing.org/

32. Gephi : The Open Graph Viz Platform, https://gephi.org/

33. Chen ,T.Y., Lau , M.F. , Sim , K.Y. , Sun , C. a .: On detecting faults for boolean expressions . Software Quality Journal , vol. 17 , no. 3 , 245261 , ( 2009 ).

34. JBooleanExpression: Java Boolean Expression Evaluator, http://jboolexpr. sourceforge.net/