O grenme-O gretme Temelli ve Armoni Arama Algoritmalar ile Test Verisi Uretimi

Abstract

The increase in the size of software made hard to manage the projects and caused software crisis such as late delivering, delivering with missing functions, not meeting the requirements. The main reason of software crisis is that testing is not carried out at each stage of software development cycle. When the test is left to post-delivery stages, both time and money budget increases exponentially. To conduct an e cient testing, all possibilities and senarios should be considered and test data supplied should produce maximum-coverage on the control- ow graph of the associated program. Meta-heuristic algorithms instead of applying an exhaustive search can produce high-quality test data that provide a maximum coverage. In this study, two of recent meta-heuristics, teachinglearning based optimization algorithm and harmony search algorithm has been applied to test data generations and their search ability has been analyzed on seven code fragments. O zet. Bilgisayar yaz l mlar n n boyutlar n n buyumesi ile yonetilmeleri zorlasm s, zaman nda teslim edilememe, eksik fonksiyonla musteriye sunma, gereksinimlerin kars lanmamas gibi yaz l m krizleri ortaya c km st r. Yaz l m krizlerinin en buyuk sebebi yaz l mlarla ilgili testlerin en bas ndan itibaren yap lmamas d r. Her asamada yap lmas gereken testler teslimat sonras na b rak ld g nda projelerin zaman ve butce maliyetleri ustel olarak artmaktad r. Test sureclerinin verimli bir sekilde yap lmas icin belli kriterler alt nda butun durumlar n ve senaryolar n test edilmesi gerekir. Meta-sezgisel algoritmalarda test verisi uretimi tum olas l klar denemeden ak s gra ginde maksimum kapsama saglayacak verilen uretilemesini saglar. Bu cal smada test verisi uretimi icin meta-sezgisel algoritmalardan ogrenme-ogretme temelli algoritma ile armoni algoritmas yedi farkl kod parcac g uzerinde cal st r lm s ve arama yetenekleri incelenmistir.

Keywords

• Test data generation
• TLBO Algorithm
• Harmony Search Algorithm

Giris

Diger muhendislik urunlerinde oldugu gibi, yaz l mlar n dogru metodoloji uzerinden gelistirilmesiyle ortaya c kan urun daha kaliteli ve ekonomik olmaktad r. Standish Group'un yapt g istatistikler incelendiginde (Sekil 1), 2006 y l ndaki projelerin %35'inin istenen zamanda, anlas lan butce ve talep edilen gereksinimlerini kars layacak sekilde tamamland g gorulmektedir. %19'u bitmemis yada iptal edilmistir; %46 oran ndaki projede ise gec teslimat, as lm s butce veya saglanmayan gereksinimler gibi krizler olusmustur.

I_cerisinde insan unsuru olmas ndan kaynakl , uygulamalarda cesitli hatalar n olmas mumkundur. Uygulamalar n teslimat ve kurulum oncesinde dogru cal st g ndan ve kalitesinden emin olunmal d r. Hatalar n erken safhalarda tespiti ile giderilme maliyeti oldukca dusuk olacakt r; gec safhalarda tespit edildiginde ise duzeltme maliyeti ve projenin toplam maliyeti de artacakt r (Sekil 2)[ 33 ]. Bu nedenle test islemlerinin dogru bir sekilde erken safhalardan itibaren yap lmas gerekmektedir.

Test islemini icin pek cok arac gelistirilmistir. Bu araclar cesitli yontemler ile test verileri uretmekte ve uretilen bu verileri cesitli senaryolar ile denemektedir. Daha sonra elde ettigi sonuclarla uygulaman n canl sistemde davran s hakk nda kir yurutebilmektedir. U retilen bu test verileri yetersiz ise uygulamadaki hatalar gorulemeyebilir ve uygulaman n yanl s veya verimsiz cal smas na sebep olabilir. Bu yuzden test verileri yeterli ve pek cok durumu kontrol edebilecek sekilde uretilmelidir.

Cok say da test arac olmas na ragmen bu yontemlerin pek cogunun sorunu bulunmaktad r. Kaynak kod icerisindeki s n ar, donguler, isaretciler gibi karmas k yap lar n kullan m bu sorunlar n baz lar d r. Bu nedenle daha yuksek basar m (coverage'a dayal ) ve h z elde etmek icin yap lan cal smalar devam etmektedir.

Bu amaca yonelik olarak Webb Miller ve David Spooner arama tabanl test verisi uretme yontemini onermislerdir [ 28 ]. Bu cal smada kayan noktal say tipindeki verilerin ( oat) giris olarak verildigi programlar icin sembolik cal st rma ve s n rlamal problem cozumunu iceren bir bir yontem kullan sm st r [ 23 ]. 90'l y llardan sonra Korel'in cal smalar [ 14, 15 ] ve 1992'de Xanthakis'in genetik algoritma ile bu konuda bir cozume ulasm s olmas [ 43 ] ile arama tabanl test verisi uretimi populerlesmistir.

Arama tabanl test verisi uretiminde bir amac fonksiyonunun yonlendirmesi ile test verileri uretilir. I_cyap s bilinen program n test edildigi saydam kutu test tekniklerinden biri olan yap sal test [ 10, 24, 27, 38 ] icin cesitli cal smalar yap lm st r. Program n ic yap s n n bilinmedigi, girisin verilerek istenen c k s n uretilmesini kontrol eden kara kutu test tekniklerinden biri olan fonksiyonel test [ 40 ] islemi de oldukca populer cal sma alanlar ndan biridir. Program uzerindeki olas yukun etkisini inceleyen stres testi, guvenlik testleri ve cesitli performans testleri gibi fonksiyonel olmayan test [ 41 ] grubunda da cal smalar bulunmaktad r. Sonlu durum makinalar ndaki gecislerle ifade edilen durum tabanl test verisi uretimi de literaturde cal s lm st r [ 6 ].

Literaturdeki mevcut cal smalar incelendiginde; test verilerinin uretiminde cesitli optimizasyon algoritmalar n n kullan labildigi, elde edilen sonuclar n basar m yuksek son zamanlarda onerilmis algoritmalarla daha da gelistirilebilir oldugu gorulmustur. Yap lan cal smalardaki sonuclar incelendiginde baz algoritmalar n coverage turunden basar m n n dusuk oldugu, baz lar n n ise h z ac s ndan yetersiz oldugu gorulmustur. Bu cal smada test verisi uretiminde literaturde henuz kullan lmam s guncel zeki optimizasyon algoritmalar ndan olan ogrenme-ogretme temelli algoritma ile armoni algoritmas incelenmistir.

I_kinci bolumde arama tabanl test verisi uretimi anlat lacak, ucuncu bolumde kullan lan meta-sezgisel algoritmalar k saca ozetlenecek, dorduncu bolumde yap lan deneysel cal smalar anlat lacak ve son bolumde degerlendirmesi yap lacakt r. 2

Arama Tabanl Test Verisi U retimi Arama tabanl test verisi uretiminde (SBST) temel amac uretilen test verilerinin kapsama metrigini maksimum yapmas d r. Arama tabanl yontemlerden biri olan rastgele test verisi uretimi yontemi [ 3 ] dusuk maliyetli, kolay k s tlara sahip kod parcalar icin uygun test verileri ureten bir yontemdir. Ancak zor k s tl problemlerde oldukca kotu performans gostermektedir. Arama tabanl test verisi uretimi ayr k bir problem olarak s n and r labilir ve ayr k problemlerin cozumunde kullan labilen meta-sezgisel algoritmalar test verisi uretiminde de kullan labilmektedir. Harman ve Jones test verisi uretiminde kapsama metrigine bagl olarak amac fonksiyonu ile yonlendirilen meta-sezgisel algoritmalar n kullan m n n verimli sonuclar uretebilecegini one surmustur [ 8 ]. Meta-sezgisel algoritmalar problemin karakteristiginden bag ms z olarak amac fonksiyonu elde edilebilen butun problemlerde kullan labilmektedir. Arama tabanl test verisi uretimi hakk nda yap lan cal smalar Harman ve Jones [ 8 ], McMinn [ 25 ], Afzal ve ark. , Raiha [ 30 ], McMinn [ 23 ], Harman ve ark. [ 9 ], Harman ve ark. [ 11 ] taraf ndan derlenmistir. Butun bu derlemelerde arama tabanl yaz l m muhendisligi alan nda yap labilecek cal smalar n mevcut oldugu ve her gecen gun populer hale geldigi gorulmektedir.

Literaturde dogal yasamdan esinlenerek onerilen cok say da meta-sezgisel bulunmaktad r. Parcac k suru optimizasyonu (PSO) [ 13 ], diferansiyel gelisim (DE) [ 35 ], yapay ar koloni (ABC) [ 12 ] ve ates bocegi (FA) algoritmalar [ 44 ] en populer meta-sezgisel algoritmalar aras nda gosterilmektedir.

Meta-sezgisel algoritmalar amac fonksiyonlar dogrultusunda arama yaparlar. Bu nedenle iyi tasarlanm s bir amac fonksiyonu algoritman n optimum degeri h zl ve dogru bir sekilde bulmas na yard mc olur [ 8 ]. Cesitli cal smalarda kullan lan amac fonksiyonlar ; code/statement coverage [ 37 ], yol tabanl kriter [ 18, 20, 19, 5, 22, 21, 36, 34 ], kenar (edge) kapsam [ 16 ], veri ak s kapsam (data ow coverage) [ 32 ], dal kapsam (branch coverage) [ 42, 2 ], dal uzakl g (branch distance) [ 26, 4 ], approximation level + branch distance [ 17 ] seklinde verilebilir. Approximation level + branch distance metriklerini temel alan amac fonksiyonu en s k kullan lan amac fonksiyonlar ndan biridir.

Approximation level + branch distance (Esitlik 1) amac fonksiyonu branch distance (Esitlik 2) ve approximation level metriklerinin birlesiminden olusmaktad r. (1) (2) f itnessALBD = approximation level + normalize(brach distance) normalize(branch distance) = 1 1:001 branch distance

Approximation level cal st r lmas gereken yol ile cal st r lan yolun k yaslayarak cal st r lamayan yollar n toplam n veren bir metriktir [ 1 ]. Branch distance metrigi ise Tracey'nin ortaya att g [ 39 ] ve Tablo 1'da verilen yontem ile hesaplanmaktad r. Branch distance ilgili dala girmek icin ne kadar uzakta olundugunu belirtir. Tablo 1'da gorulen K degeri sonucun her zaman pozitif olmas n saglayacak sabit bir degerdir. 3

Meta-sezgisel Algoritmalar

Meta-sezgisel algoritmalar, herhangi bir amac sezgisel yontemlerle en iyileme islemini gerceklestiren algoritmalard r. En iyileme yaparken kulland g yontem optimal sonucu garanti etmemekle birlikte optimuma yak n sonuc uretmeye yoneliktir. Bu cal smada henuz literaturde bu alana uygulanmam s ogretmeogrenme temelli ve armoni arama algoritmalar kullan lm st r.

O gretme-O grenme Temelli Optimizasyon Algoritmas O grenme-O gretme temelli Optimizasyon Algoritmas (Teaching-Learning Based Optimization Algorithm, TLBO) [ 29 ] bir s n ftaki ogrencilerin ogrenmesinde ogreticinin etkisini temel alarak cal san bir algoritmad r. O grencilerin basar m n n olculmesi notlar uzerinden gerceklestirilir. O gretmen ise o sahadaki en yetkin kisi olarak nitelendirilebilir. I_yi bir ogretmenin ogrencileri dogru yonlendirerek yuksek notlar alabilecegi kri uzerine gelistirilmistir. Ayr ca s n f ici etkilesimle ogrenciler aras ndaki bilgi aktar m da dikkate al nm st r. Burada ogrenciler optimizasyon probleminin olas cozumlerine, ogrencilerin notlar da uygunluk fonksiyonuna kars l k gelmektedir. Populasyondaki en iyi birey ogretmen olarak secilir. Algoritma ogretici faz ve ogrenci faz olmak uzere iki asamadan olusmaktad r. O gretici Faz Bir ogretmen ogrencilerine tum bildiklerini aktararak onlar kendi seviyesine getirmesi baska d s hususlar da devreye girdiginden mumkun olamamakta. Dolay s yla bu surecte kontrol edilemeyen rastgelelik arz eden etmenler bulunmaktad r. Mi, s n f n yani populasyonun ortalama degeri, T ogretici (yani en iyi cozumu), Tf ogretme faktoru ve r [ 0, 1 ] aral g nda rastgele bir reel say olmak uzere Xi cozumunun yeni degeri (Xi0), Esitlik 3 ile belirlenir: Tf ogretme faktoru Esitlik 4 ile 1 yada 2 olarak belirlenen bir parametredir.

Xi0 = Xi + ri(T

Tf

Mi) Tf = round[1 + rand(0; 1)(2

Bu ifade ogreticinin ogrencinin gelisimi uzerindeki etkisini yans tmaktad r. Yeni cozum eskisinden daha iyi ise digeri yerine populasyona dahil edilir, ogrenci bilgisini guncellemis olur. O grenci Faz O grencilerin gelisiminin ogretmene bagl olmas n n yan s ra diger ogrencilerle olan etkilesimine de bagl d r. O grenci faz nda rastgele secilen bir s n f arkadas o anki ogrenciden daha iyi ise ogrenci bu bireyden Esitlik 5 ile faydalan r:

O anki ogrenci rastgele secilen arkadastan daha iyi ise Esitlik 6 kullan l r: Xi0 = Xi + ri(Xi

Xj ) Xi0 = Xi + ri(Xj

Xi)

Bu faz sonras nda yeni ogrenci bilgisi (Xi0) eski degerinden (Xi) daha iyi bir uygunluk degerine sahipse ogrenci guncellenir.

Bu iki faz durdurma kriteri saglan ncaya kadar tekrarlan r. (5) (6) (7) 3.2

Armoni Arama Algoritmas Armoni Arama (Harmony Search, HS) algoritmas [ 7 ] muzisyenlerin beste yapma sureclerini modelleyen bir meta-sezgisel algoritmad r. Cozumler muzisyenlere, notalar n armonisi de cozumun uygunluk degerine kars l k gelir. Algoritman n temel ad mlar su sekildedir: { Ad m 1: Problem ve algoritma parametrelerinin ilklendirilmesi { Ad m 2: Armoni repertuvar n n ilklendirilmesi { Ad m 3: Yeni bir armoni bestelenmesi { Ad m 4: Armoni repertuvar n n guncellenmesi { Ad m 5: Durma kriteri saglan ncaya kadar Ad m 2-5'in tekrarlanmas

HS algoritmas nda, her iterasyonda yeni bir beste uretilir ve bu beste armoni repertuvar ndaki en kotu armoni ile degistirilir. Besteleme surecinde yeni armoni Esitlik 7 ile uretilir: if (rand phcmr) x0j = xjmin + (xjmax else

xjmin) rand f x0j = xint(rand SN)+1;j if (rand < ppar) f x0j = x0

j g g bw

rand

Burada SN repertuvar buyuklugu, phcmr repertuvardan secme oran , ppar perde ayar oran , bw perde ayarlamas nda olabilecek maksimum degisimi ifade eden bantgenisligi mesafesidir.

Deneysel Cal smalar

Yap lan bu cal smada triangle, quadratic equation, even-odd, largest number, remainder, leap year ve mark problemleri kullan lm st r. Bu problemlerin karakteristikleri Tablo 2'de gorulmektedir. Butun problemler 20 populasyon buyuklugu ile her gerekli yol icin 250 cevrim olarak kosulmustur. Algoritma maksimum cevrim say s na ulast g nda veya %100 kapsama miktar na eristiginde durmaktad r. Her bir problem icin sonuclar 2.3 GHz i7 islemci ve 8 GB Ram ozelliklerine sahip bilgisayarda 30 defa kosularak al nm st r. Uygulama MATLAB ve PYTHON dilinde yaz lm st r. Elde edilen sonuclar ilk sat rda ortalama ile standart sapma ikinci sat rda ise medyan olarak verilmistir.

{ Triangle: Bu program ald g uc degerin ucgen olusturup olusturmad g na bakmaktad r. Eger ucgen olusturuyorsa da eskenar, ikizkenar veya cesitkenar ucgen olup olmad klar na karar vermektedir. { Quadratic Equation: Bu program ald g uc degere gore ax2 + bx + c format nda olup olmad g na bakmakta, daha sonra diskriminant hesab n yaparak denklemin koklerini hesaplamaktad r. { Even-Odd: Bu program girilen degerin tek mi cift mi olduguna karar vermektedir. { Largest Number: Bu program girilen uc deger aras nda en buyuk degeri bulmaktad r. { Remainder: Bu program ald g iki degere bakarak bolenin s f r olup olmad g na bakarak kalan hesab yapmaktad r. { Leap Year: Bu program girilen degerin art k y l olup olmad g na bakmaktad r. { Mark: Bu program ald g uc degere gore ortalama hesaplamaktad r. Daha sonra ise elde ettigi ortalamaya gore bes farkl kategoride (A, B, C, D, E) kumelemektedir.

Kullan lan uygulama mimarisi program analizi, yol secici ve test verisi ureticisi parcalar ndan olusmaktad r (Sekil 3). Program analizi, kaynak kodu test verisi uretimi icin anlaml hale getirmektedir. Program n kaynak kodu, kontrol ak s gra gi (CFG) ad verilen ve program n ak s n n graf uzerinde gosterimini saglayan bir yap ya cevrilmektedir. Olusturulan bu CFG baslang c ve bitis dugumlerinin tekil oldugu yonlendirilmis graft r. Olusturulan bu CFG uzerinden algoritmalar icin bir amac fonksiyonu hesaplanmaktad r.

Yap lan kosmalar sonucu elde edilen sonuclar Tablo 3'da verilmistir. Bu sonuclara gore en kolay problem olan even-odd probleminde her iki algoritma da ayn basar mda sonuclar uretmistir. Ayn sekilde bir baska basit problem olan largest number probleminde de her iki algoritma ayn basar ma ulasm st r. Ayn iterasyon say s nda cal san bu iki algoritma incelendiginde medyan degerlerine gore HS algoritmas n n TLBO algoritmas ndan daha h zl cal st g gorulmektedir. Remainder probleminde ise her iki algoritma da %100 basar m elde etse de HS algoritmas daha fazla iterasyona ihtiyac duymus bu da yavas kalmas na neden olmustur. Leap year, mark ve triangle problemler incelendiginde her iki algoritma da medyan degerlerine gore maksimum basar ma erismistir. Ortalama degerler incelendiginde ise TLBO algoritmas n n HS algoritmas na gore ustunlugu gorulmektedir. Bu da baz kosmalarda HS algoritmas n n maksimum basar ma erisemedigini gostermektedir. Quadratic equation problemi incelendiginde ise hem medyan hem de ortalama degerlere gore TLBO algoritmas n n basar s gorulmektedir. Test verisi uretimi problemi NP-Hard turunde oldukca zor bir problem turudur. Deterministik yontemler ile cozulmesi oldukca zordur ve cok uzun surelerde gerceklesebilmektedir. Programdaki donguler, isaretciler, s n f yap lar bu problemi cok daha zor hale getirmektedir. Sezgisel algoritmalar ile kabul edilebilir zaman dilimlerinde makul cozumler uretmek mumkundur. Bu nedenle arama tabanl test verisi uretiminin surekli populerlik kazanmaktad r.

Even odd ve largest gibi kolay problemlerde TLBO ve HS algoritmalar iyi performans gostermislerdir. Remainder probleminde de her iki algoritma medyan ve ortalama degerlere gore maksimuma erismislerdir fakat TLBO algoritmas HS algoritmas ndan daha az cevrime ihtiyac duymustur. Leap year, mark, quadratic ve triangle problemlerinin hepsinde de TLBO algoritmas daha iyi sonuc elde etmistir. Butun algoritmalar incelendiginde TLBO algoritmas n n HS algoritmas ndan daha iyi sonuc urettigi gorulmektedir.

Gelecek cal smalarda problem say s ve kullan lan algoritma say s art r labilir. Ayn zamanda bu algoritmalar n paralellestirilmis performanslar da incelenebilir.

References

1. Andre Baresel , Harmen Sthamer, and Michael Schmidt . Fitness function design to improve evolutionary structural testing . In Proceedings of the Genetic and Evolutionary Computation Conference, GECCO '02 , pages 1329 { 1336 , San Francisco, CA, USA, 2002 . Morgan Kaufmann Publishers Inc.

2. R. Landa Becerra , R. Sagarna , and X. Yao . An evaluation of di erential evolution in software test data generation . In 2009 IEEE Congress on Evolutionary Computation . Institute of Electrical & Electronics Engineers (IEEE), may 2009 .

3. D. L. Bird and C. U. Munoz . Automatic generation of random self-checking test cases . IBM Syst. J. , 22 ( 3 ): 229 { 245 , September 1983 .

4. S.S. Dahiya , J.K. Chhabra , and S. Kumar . Application of arti cial bee colony algorithm to software testing . In Software Engineering Conference (ASWEC) , 2010 21st Australian, pages 149 { 154 , April 2010 .

5. Surender Singh Dahiya , Jitender Kumar Chhabra, and Shakti Kumar . Pso based pseudo dynamic method for automated test case generation using interpreter . In Proceedings of the Second International Conference on Advances in Swarm Intelligence - Volume Part I , ICSI' 11 , pages 147 { 156 , Berlin, Heidelberg, 2011 . SpringerVerlag.

6. Karnig Derderian , Robert M. Hierons , Mark Harman , and Qiang Guo . Automated unique input output sequence generation for conformance testing of fsms . Comput. J. , 49 ( 3 ): 331 { 344 , May 2006 .

7. Zong Woo Geem , Joong Hoon Kim, and G.V. Loganathan . A new heuristic optimization algorithm: Harmony search . SIMULATION , 76 ( 2 ): 60 {68, feb 2001 .

8. Mark Harman and Bryan F Jones. Search-based software engineering . Information and Software Technology , 43 ( 14 ): 833 { 839 , 2001 .

9. Mark Harman , S. Afshin Mansouri , and Yuanyuan Zhang. Search-based software engineering: Trends, techniques and applications . ACM Comput. Surv. , 45 ( 1 ): 11 :1{ 11 : 61 , December 2012 .

10. Mark Harman and Phil McMinn . A theoretical and empirical study of search-based testing: Local, global, and hybrid search . IEEE Trans. Softw . Eng., 36 ( 2 ): 226 { 247 , March 2010 .

11. Mark Harman , Phil McMinn , Jer esonTeixeira de Souza, and Shin Yoo . Search based software engineering: Techniques, taxonomy, tutorial . In Bertrand Meyer and Martin Nordio, editors, Empirical Software Engineering and Veri cation , volume 7007 of Lecture Notes in Computer Science, pages 1 { 59. Springer Berlin Heidelberg, 2012 .

12. D. Karaboga . An idea based on honey bee swarm for numerical optimization . Technical Report TR06 , Erciyes University, Engineering Faculty, Computer Engineering Department, 2005 .

13. J. Kennedy and R. C. Eberhart . Particle swarm optimization . In 1995 IEEE International Conference on Neural Networks , volume 4 , pages 1942 { 1948 ", 1995 .

14. B. Korel . Automated software test data generation . IEEE Trans. Softw . Eng., 16 ( 8 ): 870 { 879 , August 1990 .

15. B Korel , H Wedde , and R Ferguson . Dynamic method of test data generation for distributed software . Information and Software Technology , 34 ( 8 ): 523 { 531 , 1992 .

16. Soma Sekhara Babu Lam , M L Hari Prasad Raju , Uday Kiran M , Swaraj Ch , and Praveen Ranjan Srivastav. Automated generation of independent paths and test suite optimization using arti cial bee colony . Procedia Engineering , 30 : 191 { 200 , 2012 . International Conference on Communication Technology and System Design 2011 .

17. Gentiana Ioana Latiu, Octavian Augustin Cret, and Lucia Vacariu . Automatic test data generation for software path testing using evolutionary algorithms . In Proceedings of the 2012 Third International Conference on Emerging Intelligent Data and Web Technologies , EIDWT '12 , pages 1 { 8, Washington, DC, USA, 2012 . IEEE Computer Society.

18. D. Jeya Mala and V. Mohan . Abc tester arti cial bee colony optimization for software test suite optimization . IJSE International Journal Of Software Engineering , 2 ( 2 ): 15 { 48 , 2009 .

19. D. Jeya Mala , V. Mohan , and M. Kamalapriya . Automated software test optimisation framework { an arti cial bee colony optimisation-based approach . IET Software , 4 ( 5 ): 334 , 2010 .

20. D.J. Mala , M. Kamalapriya , R. Shobana , and V. Mohan . A non-pheromone based intelligent swarm optimization technique in software test suite optimization . In Intelligent Agent Multi-Agent Systems , 2009 . IAMA 2009. International Conference on, pages 1 { 5 , July 2009 .

21. Ruchika Malhotra , Chand Anand, Nikita Jain, and Apoorva Mittal . Article: Comparison of search based techniques for automated test data generation . International Journal of Computer Applications , 95 ( 23 ): 4 { 8 , June 2014 .

22. Ruchika Malhotra and Manju Khari . Test suite optimization using mutated articial bee colony . In Proc. of Int. Conf. on Advances in Communication Network and Computing, CNC , pages 45 { 54 , 2014 .

23. P. McMinn . Search-based software testing: Past, present and future . In Software Testing, Veri cation and Validation Workshops (ICSTW) , 2011 IEEE Fourth International Conference on , pages 153 { 163 , March 2011 .

24. P. McMinn , M. Harman , K. Lakhotia , Y. Hassoun , and J. Wegener . Input domain reduction through irrelevant variable removal and its e ect on local, global, and hybrid search-based structural test data generation . Software Engineering , IEEE Transactions on, 38 ( 2 ): 453 { 477 , March 2012 .

25. Phil McMinn . Search-based software test data generation: A survey: Research articles . Softw. Test. Verif. Reliab., 14 ( 2 ): 105 { 156 , June 2004 .

26. Xiao mei Zhu and Xian feng Yang . Software test data generation automatically based on improved adaptive particle swarm optimizer . In 2010 International Conference on Computational and Information Sciences. Institute of Electrical & Electronics Engineers (IEEE) , dec 2010 .

27. C. C. Michael , G. McGraw , and M. A. Schatz . Generating software test data by evolution . IEEE Trans. Softw . Eng., 27 ( 12 ): 1085 { 1110 , December 2001 .

28. W. Miller and D.L. Spooner . Automatic generation of oating-point test data . Software Engineering , IEEE Transactions on, SE- 2 ( 3 ): 223 { 226 , Sept 1976 .

29. R.V. Rao , V.J. Savsani , and D.P. Vakharia . Teaching-learning-based optimization: An optimization method for continuous non-linear large scale problems . Information Sciences , 183 ( 1 ):1 { 15 , 2012 .

30. Outi Raiha. A survey on search-based software design . Computer Science Review , 4 ( 4 ): 203 { 249 , 2010 .

31. D. Rubenstein . Standish group report: There's less development chaos , 2007 .

32. H M Rai Sanjay Singla , Dharminder Kumar and Priti Singla . A hybrid pso approach to automate test data generation for data ow coverage with dominance concepts . International Journal of Advanced Science and Technology , 37 , 2011 .

33. Stephen Schach . Object-Oriented and Classical Software Engineering . McGraw-Hill Education , 2010 .

34. Praveen Ranjan Srivatsava , B. Mallikarjun , and Xin-She Yang . Optimal test sequence generation using re y algorithm . Swarm and Evolutionary Computation , 8 : 44 { 53 , 2013 .

35. Rainer Storn and Kenneth Price . Di erential evolution - a simple and e cient heyristic for global optimization over continuous spaces . Journal of Global Optimization , 11 ( 4 ): 341 { 359 , 1997 .

36. Dr .Bharti Suri and Prabhneet Kaur . Path based test suite augmentation using arti cial bee colony algorithm . International Journal For Research in Applied Science and Engineering Technology , 2 : 156 { 164 , 2014 .

37. Shailesh Tiwari , K.K. Mishra , and A.K. Misra . Test case generation for modi ed code using a variant of particle swarm optimization (PSO) algorithm . In 2013 10th International Conference on Information Technology: New Generations . Institute of Electrical & Electronics Engineers (IEEE), apr 2013 .

38. Paolo Tonella . Evolutionary testing of classes . SIGSOFT Softw. Eng. Notes , 29 ( 4 ): 119 { 128 , July 2004 .

39. N. Tracey , J. Clark , K. Mander , and J. McDermid . An automated framework for structural test-data generation . In Proceedings of the 13th IEEE International Conference on Automated Software Engineering, ASE '98 , pages 285 {, Washington, DC, USA, 1998 . IEEE Computer Society.

40. Joachim Wegener and Oliver Buhler. Evaluation of di erent tness functions for the evolutionary testing of an autonomous parking system . In Kalyanmoy Deb, editor, Genetic and Evolutionary Computation { GECCO 2004 , volume 3103 of Lecture Notes in Computer Science, pages 1400 { 1412 . Springer Berlin Heidelberg, 2004 .

41. Joachim Wegener and Matthias Grochtmann . Verifying timing constraints of realtime systems by means of evolutionary testing . Real-Time Systems , 15 ( 3 ): 275 { 298 , 1998 .

42. Andreas Windisch , Stefan Wappler, and Joachim Wegener . Applying particle swarm optimization to software testing . In Proceedings of the 9th Annual Conference on Genetic and Evolutionary Computation , GECCO '07 , pages 1121 { 1128 , New York, NY, USA, 2007 . ACM.

43. S. Xanthakis , C. Ellis , C. Skourlas , A. Le Gal , S. Katsikas , and K. Karapoulios . Application of Genetic Algorithms to Software Testing . In International Conference on Software Engineering , 1992 .

44. Xin-She Yang . Nature-Inspired Metaheuristic Algorithms . Luniver Press, 2008 .