Yazlm Yapsal Kapsama Analizinde Testlerin nceliklendirilmesi

Abstract

zet. Bu al‡ma de§i‡tirilmi‡ ko‡ul/karar kapsama stratejisince tretilmi‡ test giri‡lerinin nceliklendirilmesi iin bir teknik sunmaktadr. Teknik Fourier analizine dayanmaktadr ve testlerin hata ortaya karma potansiyellerine gre sralanabilmesini hedeemektedir. Bu sayede yazlmn yksek ncelikli testlerden ba‡layarak d‡§e do§ru snanmas veya test kmesinin yksek ncelikli testleri kapsayacak ‡ekilde daraltlmas mmkn olabilecektir. Anahtar Kelimeler: Yazlm snama, yapsal kapsama analizi, de§i‡tirilmi‡ ko‡ul/karar kapsama, Fourier analizi.

-

Ara‡trmalar test maliyetinin toplam yazlm geli‡tirme maliyetinin yarsndan fazla tutabilece§ini gstermi‡tir [10]. Bir yazlmn hatasz oldu§unu gstermek pratikte mmkn olamamaktadr ancak yazlm snama metotlaryla hatalarndan arndrlan yazlmlarn kalite ve gvenilirli§ini arttrmak mmkndr. Yazlmlarn bykl§ne, test maliyetine ve eldeki bteye gre tam kapsaml bir snama istenmeyebilir. Bu durumda, yazlmn hangi ksmlarnn hangi test kmesiyle test edilece§ine karar verilmesi kritik bir neme sahiptir. Bu al‡ma test durumlarnn nceliklendirilmesi konusunu ele almaktadr. Test nceliklendirme yntemleri testleri baz ncelik kriterlerine gre sralamaya dayal tekniklerdir. Bylelikle testler hata bulma yetenekleri lsnde sraland§nda, i) Hatalarn erken tespit edilme olasl§ artar, ii) Testlerin tamam uygulanamad§nda yksek ncelikli testlerden olu‡an bir alt kme seilebilir.

Bu al‡ma yazlm yapsal kapsama tekniklerinden biri olan de§i‡tirilmi‡ ko‡ul/karar kapsama (MCDC) analizi ile elde edilmi‡ testlerin nceliklendirilmesi zerinedir. Federal Havaclk daresi’nin (FAA) ‡art ko‡tu§u yazlm testlerinin ba‡nda MCDC kapsama analizi gelmektedir 1. Elbaum al‡masnda endstriden gelen bir bilgiye gre 20,000 satrdan olu‡an bir kodun MCDC test kmesiyle testinin yedi hafta srd§n belirtmektedir [3]. ncelik srasna gre uygulanan testlerin hata bulma olasl§ daha yksek olaca§ndan test daha nce sonlandrlabilecektir ve zellikle regresyon testleri asndan d‡nld§nde, bu konu daha da nemli olmaktadr [4].

Bu al‡mada testlerin ncelikleri mutasyon analizine gre hata ortaya karma potansiyelleri zerinden tanmlanm‡tr. ncelikler ile ko‡ullarn Fourier analiziyle elde edilen spektral katsaylar arasnda tanmlanan bir negatif korelasyon kapsaml denemelerle snanmaya al‡lm‡tr. Bylelikle test ncelikleri do§rudan spektral katsaylara bakarak belirlenebilmektedir.

Blm 2’de, nerilen metot detayl olarak aklanmaktadr. ncelikle Ksm 2.1, MCDC analizinde kullanlan Boole i‡levlerinin trevlerini, Ksm 2.2 Boole i‡levlerinin Fourier analizini ve Ksm 2.3 de§i‡tirilmi‡ ko‡ul/karar kapsama analizini sunmaktadr. Blm 3 hata snarn ve al‡mada yararlanlan mutasyon analizini anlatmaktadr. Blm 4 ise e‡itli i‡levler iin belirli hata snar ierisinde ve 1,2,3-hata varsaymlar altnda spektral katsaylarla testlerin hata ortaya karma potansiyelleri arasnda negatif ilintiyi kapsaml denemelerle gstermektedir. ˙al‡ma Blm 5 ile sonulandrlmaktadr. 2

Testlerin nceliklendirilmesi c = (c1; : : : ; ci; : : : ; cn) n adet Boole de§i‡keninden/ko‡ulundan olu‡an bir vektr olsun. Boole i‡levi f (c) a‡a§daki ‡ekilde ifade edilebilir: f : Bn ! B;

B = f0; 1g: Bu al‡mada Boole de§i‡kenleri ve operasyonlar iin a‡a§daki tanm kullanlm‡tr: x ::= 0j1jx0jx1 x2; = f ; +g: ve + srasyla VE ve VEYA mantk operasyonlarn, x0 ise x de§i‡keninin olumsuzunu ifade etmektedir. Di§er operatrler bu temel olanlardan tretilebilir. Boole i‡levleri yazlmlarn yapsal kapsama analizinde yazlmn veya kod parasnn yapsn ifade etmekte de kullanlabilir. rnek olarak a‡a§daki kod parasn ele alalm: if ((( c u r T e m p < dTemp - t h r e s h o l d D i f f ) || ( o v e r r i d e && c u r T e m p < o v e r T e m p - t h r e s h o l d D i f f )) && ( t i m e S i n c e L a s t R u n > m i n L a g ) ) { . . . } (rnek, NASA/TM-2001-210876 A Practical Tutorial on Modied Condition/Decision Coverage raporundan alnm‡tr.)

fade ierisindeki ko‡ullarn her birini a‡a§da grld§ ‡ekilde Boole de§i‡kenlerle ifade edersek, c0 : c u r T e m p < dTemp - t h r e s h o l d D i f f c1 : o v e r r i d e c2 : c u r T e m p < o v e r T e m p - t h r e s h o l d D i f f c3 : t i m e S i n c e L a s t R u n > m i n L a g Test vektr bilir: c = [c0; c1; c2; c3]T olmak zere Boole i‡levi a‡a§daki gibi yazla

f (c) = (c0 + (c1 c2)) c3

Testlerin nceliklendirilmesi ilk kez formel olarak Elbaum vd. tarafndan yaplm‡tr [3]. Buradan uyarlayarak gerekli tanmlar a‡a§daki ‡ekilde yaplabilir: Tanm 1 (Hata Ortaya ˙karma Potansiyeli). f : Bn ! B olarak verilen bir n giri‡li Boole i‡levi iin maskeleyen de§i‡tirilmi‡ ko‡ul/karar kapsama kriterine gre elde edilmi‡ test ikilileri T = ft0; t1; : : : ; tn 1g olsun. Boole i‡levine ili‡kin m adet mutant yaratlm‡ olsun. Test ikililerinin hata bulma potansiyeli HP (ti), ayrt edebildikleri mutant saysnn toplam mutant says m’e blnmesiyle elde edilir.

Burada mutantlar Blm 3’te daha detayl anlatlaca§ zere i‡levin belirli hata prototipleri varsaym altnda mutasyona u§ratlmasyla elde edilirler. Tanm 2 (Testlerin ncelikleri). t0; t1; ; tn, c0; c1; cn 1 ko‡ullarna ili‡kin retilmi‡ test ikilileri olsun. Test ikililerinin ncelikleri P r(ti), hata ortaya karma potansiyelleriyle orantldr:

P r(ti)

HP (ti); i 2 f0; : : : ; n 1g: 2.1

Boole ‡levlerinin Trevi Boole i‡levleri iin literatrde e‡itli trev ve integral hesaplamalar tanmlanm‡tr. En kabul grm‡ trev tanm uyarnca bir Boole i‡levinin ci’ye gre trevi a‡a§daki gibi hesaplanr [11]: = f (c1; : : : ; ci; : : : ; cn) f (c1; : : : ; c0i; : : : ; cn) ( 1 ) Burada d‡layan-VEYA operatrdr. Buna gre, di§er de§i‡kenler sabit kalmak kaydyla ci’nin 0 ve 1 de§erleri iin i‡levin sonucu de§i‡miyorsa, bu i‡levin ci’ye gre trevi 0’dr. E§er her iki durumda sonular farklysa trev 1’dir. 2.2

Boole ‡levlerinin Fourier Analizi Boole i‡levlerinin spektrum analizinde Fourier, Walsh, Walsh-Hadamard dn‡mlerinin hepsi ayn anlama gelmektedir ve literatrde birbirinin yerine kullanlmaktadr [6, 12]. Bir x(t) sinyalinin Fourier (Walsh) alm a‡a§daki gibi yazlr: x(t) = a0 + 1 X(aisal(i; t) + bical(i; t)) i=1 Burada a0 do§ru akm bile‡eni, ai ve bi ise Walsh spektrum katsaylardr. cal i‡levleri ise Fourier almndaki sins ve kosins i‡levlerine olan benzerlikleri ( 2 ) sal ve nedeniyle bu ‡ekilde isimlendirilmi‡ olup a‡a§da gsterilen Walsh i‡levlerine denk d‡erler: sal(!; x) = wal(2!

1; x) cal(!; x) = wal(2!; x) Walsh i‡levleri [0; 1] zaman aral§nda tanmlanm‡tr ve do§al sral Walsh i‡levleri a‡a§da verilen Walsh dn‡m dizeyince de ifade edilebilirler: ( 3 ) ( 4 ) ( 5 ) ( 6 ) ( 7 ) ( 8 ) ( 9 ) Burada N Kronecker arpmn ifade etmektedir. Dizeyin her bir satr ayr bir Walsh i‡levine aittir. rne§in, W( 2 ) a‡a§daki ‡ekilde hesaplanr: Dizeyin her bir satrnn denk geldi§i Walsh i‡levi/bile‡eni dizeyin yannda belirtilmi‡tir. x1;2 ‡eklindeki ifade x1 x2 ile ayndr. Walsh dizeyi grld§ gibi elemanlar sadece +1 ve -1’den olu‡an bir kare dizeydir ve satrlar kar‡lkl dikgendir. yle ki, In bir n n birim dizey olmak zere W(n) W(n)T = nIn diyebiliriz. Walsh dn‡m ve bunun ters dn‡m a‡a§daki gibi tanmlanr: n W(n) = O W( 1 ); i=1

W( 1 ) = Walsh katsaylar sinyal k‡yla ilgili bile‡ene ait Walsh i‡levi arasndaki ilintiyi gsterirler. rne§in, k 2 f1; 2; : : : ; ng olmak zere wal(2k 1; t) devrenin xk giri‡ine kar‡lk gelen bile‡endir ve Sf (2k 1) sinyal ile, di§er bir deyi‡le Boole i‡levinin do§ruluk yneyi ile bu bile‡en arasndaki ilintidir. 2.3

Maskeleyen De§i‡tirilmi‡ Ko‡ul/Karar Kapsama (Masking MCDC) Analizi Maskeleyen De§i‡tirilmi‡ Ko‡ul/Karar Kapsama (Masking MCDC) tekni§i, yapsal kapsama analizinde kullanlan yntemlerden biridir. MCDC’nin farkl formu bulunmaktadr. Bu al‡mada kullanlan maskeleyen tipinin di§er yntemlerle kyaslamal olarak zayklar ve stnlkleri hakknda detayl bilgi iin [2] ve [5]’e ba‡vurun. MCDC stratejisine gre test kmesi her bir ko‡ul iin elde edilecek test vektr ikililerinden olu‡ur (x; y) ve a‡a§daki ‡ekilde tanmlanr:

T = fti = (x; y) :

8i 2 f1; : : : ; ng : xi = yi0 ^ f (x) = f 0(y) ^ = 1 ^ = 1g ( 10 ) fadedeki her ko‡ul iin yle test ikilileri bulunmaldr ki her bir test ikilisinde: 1. Ko‡ul i her iki testte farkl olmaldr ( xi = yi0) 2. fade her iki test iin farkl de§er retmelidir ( f (x) = f 0(y)) 3. Birinci test x iin Ko‡ul i’nin sonu zerinde etkisi olmaldr ( 4. kinci test y iin Ko‡ul i’nin sonu zerinde etkisi olmaldr ( rnek i‡levin her bir de§i‡kene gre ksmi trevi Forml 1’e gre analitik olarak a‡a§daki gibi hesaplanabilir: = (c01 + c02)c3 = c00c2c3 = c00c1c3 = c00 + (c1c2) ( 11 ) ( 12 ) (13) (14) Ksmi trevlerin yardmyla test giri‡leri kolaylkla bulunabilir. rne§in, c1 ko‡ulu iin test ikilisini olu‡tururken @f (c)=@c1 = 1 ‡artn sa§layan tek (c0; c2; c3) de§erinin (0; 1; 1) oldu§u grlmektedir. Bu durumda ilgili test ikilisi c( 1 ) = [0; 1; 1; 1]T ve c( 2 ) = [0; 0; 1; 1]T olarak yazlabilir. Ayn zamanda f (c( 1 )) = 1 ve f (c( 2 )) = 0 ‡artlarnn yerine getirildi§ine de dikkat edilmelidir. Benzer ‡ekilde hesapland§nda Tablo 1’de grld§ ‡ekilde drt test ikilisi, di§er bir deyi‡le sekiz test vektr elde edilir. lerinden ikisi tekrar etti§inden elenebilir, bylelikle toplam alt test yeterli olur.

Bir nceki ksmda akland§ ‡ekliyle Boole i‡levinin giri‡lerine ili‡kin spektral katsaylar hesaplamak zere ncelikle i‡levin do§ruluk yneyi a‡a§daki gibi yazlr:

F = [0; 0; 0; 0; 0; 0; 0; 1; 0; 1; 0; 1; 0; 1; 0; 1]T Test No Buna gre, i‡levin c0; c1; c2 ve c3 ile ilintilerinin srasyla Sf ( 1 ) = 0:375, Sf ( 2 ) = 0:125, Sf ( 4 ) = 0:125 ve Sf ( 8 ) = 0:625 oldu§u grlmektedir. Yaznn devamnda szkonusu ilintiler srasyla s0, s1, s2 ve s3 olarak adlandrlacaktr.

Regresyon testi iin testlerin nceliklendirilmesi konusunda literatrde al‡malara rastlanmaktadr [79]. Jones ve Harrold ise al‡malarnda MCDC test kmesinin kltlmesi ve testlerin nceliklendirilmesi iin iki yeni teknik sunmu‡tur [4]. Test nceliklendirme al‡malarnda nerilen tekniklerin o§u APFD (Average Percentage of Faults Detected) metri§ine dayanan sezgisel algoritmalar kullanmaktadr. Bu al‡madaysa literatrdeki di§er al‡malardan farkl olarak Boole i‡levlerinin spektral analizine dayanan matematiksel bir yntem sunulmaktadr.

Testlerin spektral katsaylara ba§l olarak nceliklendirilmesi a‡a§da verilen teoremle ele alnm‡tr.

Teorem 1 f : Bn ! B, n giri‡li Boole i‡levi ve s0; s1; : : : ; sn 1 srasyla c0; c1; : : : ; cn 1 ko‡ullarna ili‡kin Walsh i‡levlerine ait spektral katsaylar olsun. Testlerin ncelikleri ile spektral katsaylar arasnda negatif korelasyon vardr. Teoremin ispat burada yaplmayacak olup do§rulu§u Blm 4’te verilen kapsaml denemelerle snanmaya al‡lacaktr. 3

Hata Prototiplerinin Snandrlmas n ko‡ula sahip bir Boole i‡levi bu ko‡ullara ba§l olarak 2n farkl k‡ retebilir. te yandan n ko‡ula sahip 22n farkl Boole i‡levi yazmak mmkndr. rne§in, drt ko‡ul olmas durumunda, 224 = 65536 farkl Boole i‡levi olu‡turulabilir. Tablo 3 bu i‡levlerden bir ksmn gstermektedir. Orijinal i‡levimiz olan f43648 = (c0 + (c1c2))c3 bunlardan sadece biridir ve testin amac orijinal i‡levi di§erlerinden ayrabilmektir. ‡levi di§er 22n 1 i‡levden ayrabilmek iin 2n adet test gerekir. ˙oklu-ko‡ul kapsama testi olarak adlandrlan bu test ko‡ullarn fazla olmas durumunda imkanszla‡r. E§er m < 2n adet test uygulayacak olursak, 2n m kadar kombinasyon denenmemi‡ olur. Bu durumda m adet testin n ko‡ulu kapsama oran a‡a§daki formlle hesaplanabilir: P(n;m) = 1 2(2n m)

1 22n (16) Bir test kmesinin hata kapsama orann incelerken yukarda verilen formlden yola kmak ok sa§lkl olmayabilir. Yazlm geli‡tirilirken ko‡ullarda yaplabilecek hatalar sonucunda istenenden farkl Boole i‡levleri olu‡turmak olasdr ancak her bir hatal Boole i‡levinin ortaya kma olasl§ birbirinden farkldr ve 22n i‡levin ok byk bir ksmnn hatal yazlmla elde edilme olasl§ ok d‡ktr. Bu nedenle hata kapsama oran hesaplanrken yazlm geli‡tiricilerin sk yapt§ hatalara dayal bilgiden faydalanarak mutasyon metoduna dayal bir hesaplama yapmak daha gereki olacaktr. Testlerin veya test olu‡turma yntemlerinin per1 f43648 0 0 0 0 0 0 0 1 0 1 0 1 0 1 0 1 f65514 0 1 0 1 0 1 1 1 1 1 1 1 1 1 1 1 Bu blmde al‡mann konusu olan, spektral katsaylarla testlerin hata ortaya karma potansiyelleri arasndaki ili‡ki deneysel olarak verilecektir. lk olarak drt giri‡li sekiz farkl Boole i‡levi olu‡turulmu‡, bunlar iin spektral katsaylar ve test giri‡leri hesaplanm‡tr. Testlerin hata ortaya karma potansiyellerini lebilmek iin mutasyon ynteminden yararlanlm‡tr. Blm 3’te tanmlanm‡ olan hata snarndan RH, OH, DOH, DRH, 0-T-H ve 1-T-H’a gre olas tm mutantlar olu‡turulmu‡tur. Mutantlar 1-hata, 2-hata ve 3-hata varsaymlarna gre yaratlm‡tr. 1-hata varsaym sistemde tek bir hata olu‡abilece§ini syler. Bu durumda, RH snf iin 3 mutant, OH ve DOH snar iin 6 mutant, DRH snf iin 12 mutant, 0-T-H ve 1-T-H snar iin de 6’‡ar mutant olmak zere toplam 33 mutant elde edilmektedir. Tablo 4 1-hata durumuna gre drt giri‡li sekiz farkl i‡levin spektral katsaylar ( s0; s1; s2 ve s3) ile her bir ko‡ula ba§l test ikililerinin hata ortaya karma potansiyellerini ( c0; c1; c2 ve c3) gstermektedir. Bu de§erlerle spektral katsaylar arasndaki r ile gsterilen ilinti, a‡a§daki korelasyon formlyle hesaplanm‡tr. Buna gre ilinti -1 ile +1 arasnda de§i‡mekte olup, -1 gl bir negatif ili‡kiyi, +1 ise gl bir pozitif ili‡kiyi ifade eder.

r = s n niP=01 ci2

n 1 n P cisi i=0 n 1 ( P ci)2 i=0 n 1 n 1 P ci P si i=0 i=0 n niP=01 si2 n 1 ( P si)2 i=0 (17) Tablo 4’e gre, r tanmsz oldu§u 1 ve 8 numaral i‡levlerin d‡nda -1’e ok yakn olup ko‡ullara ili‡kin spektral katsaylar ile yine ko‡ullara ba§l testlerin hata ortaya karma potansiyelleri arasnda kuvvetli bir negatif ilinti oldu§unu sylemektedir. 1 ve 8 numaral i‡levlerdeki tm ko‡ullar denk olup spektral katsaylar birbirine e‡ittir. Bu durumda Forml 17’nin sonucu tanmsz oldu§undan testler arasnda bir nceliklendirme yaplamamaktadr.

nceki blmde ele alnan 3 numaral i‡lev f = (c0 + (c1c2))c3 iin tablodan bakld§nda a‡a§daki ili‡ki grlebilir:

s3 > s0 > s1 = s2 =) P r(c1) = P r(c2) > P r(c0) > P r(c3) Buna gre test giri‡leri Tablo 3’te grld§ ‡ekilde sralanabilir.

ncelik De§eri 1 1 2 3 4 4

Tablo 5 ve 6 ayn hesaplamalarn 2-hata ve 3-hata varsaymlarna gre sonularn gstermektedir. 2-hata varsaym sistemde ayn anda 2 hatann olabilec5e§inSi osynleur ve bu durumunda toplam 414 mutant yaratlabilir. 3-hata durumundaysa en fazla 2484 mutant yaratlabilmektedir. Negatif korelasyon her iki durumda da geerlili§ini korumu‡tur.

Bu al‡mada yazlm snama iin maskeleyen de§i‡tirilmi‡ ko‡ul/karar kapsama stratejisince retilen testlere ncelik de§erlerinin atanmas iin bir yntem sunulmu‡tur. nceliklendirme Fourier analizine dayanmaktadr ve ncelikler test ikililerinin hata ayklama yeteneklerine gre verilmektedir. nerilen yntem sayesinde nceliklendirme do§rudan Fourier analiziyle hesaplanan spektral katsaylar zerinden yaplabilmektedir. Yntem, testlerin ncelik sralamasna gre uygulanmasnda ve test kmelerinin kltlmesinde kullanlabilir.

s0 s1 s2 s3 c0 c1 c2 c3 r 1 f = (c0(c1c2))c3 0.125 0.125 0.125 0.125 0.485 0.545 0.545 0.424 tanmsz 2 f = (c0(c1 + c2))c3 0.375 0.125 0.125 0.375 0.576 0.667 0.667 0.515 -0.943 3 f = (c0 + (c1c2))c3 0.375 0.125 0.125 0.625 0.576 0.667 0.667 0.364 -0.978 4 f = (c0 + (c1 + c2))c3 0.125 0.125 0.125 0.875 0.606 0.667 0.667 0.364 -0.980 5 f = (c0(c1c2)) + c3 0.125 0.125 0.125 0.875 0.606 0.667 0.667 0.273 -0.989 6 f = (c0(c1 + c2)) + c3 0.375 0.125 0.125 0.625 0.576 0.667 0.667 0.364 -0.978 7 f = (c0 + (c1c2)) + c3 0.375 0.125 0.125 0.375 0.485 0.667 0.667 0.424 -0.980 8 f = (c0 + (c1 + c2)) + c3 0.125 0.125 0.125 0.125 0.485 0.545 0.545 0.424 tanmsz Tablo 4. Tek hata olmas durumunda test ikililerinin hata ortaya karma potansiyelleriyle spektral katsaylar arasndaki korelasyon (Toplam mutant says: 33). No ‡lev Tablo 5. ˙ift hata olmas durumunda test ikililerinin hata ortaya karma potansiyelleriyle spektral katsaylar arasndaki korelasyon (Toplam mutant says: 414). No ‡lev Tablo 6. hata olmas durumunda test ikililerinin hata ortaya karma potansiyelleriyle spektral katsaylar arasndaki korelasyon (Toplam mutant says: 2484).

References

1. Badhera , U. , Purohit , G.N. , Taruna , S. : Fault based techniques for testing boolean expressions: A survey . CoRR abs/1202 .4836 ( 2012 ), http://arxiv.org/abs/1202. 4836

2. Chilenski , J.J.: An investigation of three forms of the modied condition decision coverage (mcdc) criterion . Tech. rep., Oce of Aviation Research ( 2001 )

3. Elbaum , S. , Malishevsky , A.G. , Rothermel , G.: Prioritizing test cases for regression testing . SIGSOFT Softw. Eng. Notes 25 ( 5 ), 102112 (Aug 2000 ), http://doi.acm. org/10 .1145/347636.348910

4. Jones , J.a. , Harrold , M.J. : Test-suite reduction and prioritization for modied condition/decision coverage . IEEE International Conference on Software Maintenance , ICSM pp. 92103 ( 2001 )

5. Kelly J. , H. , Dan S. , V. , John J., C. , Leanna K. , R.: A practical tutorial on modied condition/decision coverage . Tech. rep. ( 2001 )

6. O 'Donnell , R.: Some topics in analysis of boolean functions . In: Proceedings of the Fortieth Annual ACM Symposium on Theory of Computing . pp. 569578 . STOC '08, ACM , New York, NY, USA ( 2008 ), http://doi.acm. org/10 .1145/1374376. 1374458

7. Rothermel , G. , Untch , R.H. , Chu , C. , Harrold , M.J. : Test Case Prioritization: An Empirical Study pp. 110 ( 1999 )

8. Rothermel , G. , Untch , R.H. , Chu , C. , Harrold , M.J. , Society , I.C. : Prioritizing Test Cases For Regression Testing Prioritizing Test Cases For Regression Testing ( August ), 102112 ( 2001 )

9. Srivastava , P. : Test case prioritization . Journal of Theoretical and Applied Information . . . (December) , 132 ( 2008 )

10. Tassey , G. : The economic impacts of inadequate infrastructure for software testing . Tech. rep. ( 2002 ), http://www.nist.gov/director/prog-ofc/report02- 3 .pdf

11. Thayse , A. , Davio , M. : Boolean dierential calculus and its application to switching theory . IEEE Trans. Comput . 22 ( 4 ), 409420 (Apr 1973 ), http://dx.doi.org/10. 1109/T-C. 1973 .223729

12. de Wolf, R.: A Brief Introduction to Fourier Analysis on the Boolean Cube . No. 1 in Graduate Surveys, Theory of Computing Library ( 2008 ), http://www. theoryofcomputing.org/library.html