Ögrenme-Ögretme Temelli ve Armoni Arama Algoritmaları ile Test Verisi Üretimi BahriyeAkay bahriye@erciyes.edu.tr Erciyes Universitesi
Bilgisayar Muhendisligi 38090
OmurSahin Erciyes Universitesi
Bilgisayar Muhendisligi 38090
Ögrenme-Ögretme Temelli ve Armoni Arama Algoritmaları ile Test Verisi Üretimi F6164220269EEC6C7950B2916B1BA026 GROBID - A machine learning software for extracting information from scholarly documents Test data generation TLBO Algorithm Harmony Search Algorithm

The increase in the size of software made hard to manage the projects and caused software crisis such as late delivering, delivering with missing functions, not meeting the requirements. The main reason of software crisis is that testing is not carried out at each stage of software development cycle. When the test is left to post-delivery stages, both time and money budget increases exponentially. To conduct an efficient testing, all possibilities and senarios should be considered and test data supplied should produce maximum-coverage on the control-flow graph of the associated program. Meta-heuristic algorithms instead of applying an exhaustive search can produce high-quality test data that provide a maximum coverage. In this study, two of recent meta-heuristics, teachinglearning based optimization algorithm and harmony search algorithm has been applied to test data generations and their search ability has been analyzed on seven code fragments.

Özet. Bilgisayar yazılımlarının boyutlarının büyümesi ile yönetilmeleri zorlaşmış, zamanında teslim edilememe, eksik fonksiyonla müşteriye sunma, gereksinimlerin karşılanmaması gibi yazılım krizleri ortaya çıkmıştır. Yazılım krizlerinin en büyük sebebi yazılımlarla ilgili testlerin en başından itibaren yapılmamasıdır. Her aşamada yapılması gereken testler teslimat sonrasına bırakıldıgında projelerin zaman ve bütçe maliyetleri üstel olarak artmaktadır. Test süreçlerinin verimli bir şekilde yapılması için belli kriterler altında bütün durumların ve senaryoların test edilmesi gerekir. Meta-sezgisel algoritmalarda test verisi üretimi tüm olasılıkları denemeden akış grafiginde maksimum kapsama saglayacak verilen üretilemesini saglar. Bu çalışmada test verisi üretimi için meta-sezgisel algoritmalardan ögrenme-ögretme temelli algoritma ile armoni algoritması yedi farklı kod parçacıgı üzerinde çalıştırılmış ve arama yetenekleri incelenmiştir.

Anahtar Kelimeler: Test Verisi Üretimi, TLBO Algoritması, Armoni Arama Algoritması

Giriş

Diger mühendislik ürünlerinde oldugu gibi, yazılımların dogru metodoloji üzerinden geliştirilmesiyle ortaya çıkan ürün daha kaliteli ve ekonomik olmaktadır. Standish Group'un yaptıgı istatistikler incelendiginde (S ¸ekil 1), 2006 yılındaki projelerin %35'inin istenen zamanda, anlaşılan bütçe ve talep edilen gereksinimlerini karşılayacak şekilde tamamlandıgı görülmektedir. %19'u bitmemiş yada iptal edilmiştir; %46 oranındaki projede ise geç teslimat, aşılmış bütçe veya saglanmayan gereksinimler gibi krizler oluşmuştur. İçerisinde insan unsuru olmasından kaynaklı, uygulamalarda çeşitli hataların olması mümkündür. Uygulamaların teslimat ve kurulum öncesinde dogru çalıştıgından ve kalitesinden emin olunmalıdır. Hataların erken safhalarda tespiti ile giderilme maliyeti oldukça düşük olacaktır; geç safhalarda tespit edildiginde ise düzeltme maliyeti ve projenin toplam maliyeti de artacaktır (S ¸ekil 2) [33]. Bu nedenle test işlemlerinin dogru bir şekilde erken safhalardan itibaren yapılması gerekmektedir.

Test işlemini için pek çok araç geliştirilmiştir. Bu araçlar çeşitli yöntemler ile test verileri üretmekte ve üretilen bu verileri çeşitli senaryolar ile denemektedir. Daha sonra elde ettigi sonuçlarla uygulamanın canlı sistemde davranışı hakkında fikir yürütebilmektedir. Üretilen bu test verileri yetersiz ise uygulamadaki hatalar görülemeyebilir ve uygulamanın yanlış veya verimsiz çalışmasına sebep olabilir. Bu yüzden test verileri yeterli ve pek çok durumu kontrol edebilecek şekilde üretilmelidir.

C ¸ok sayıda test aracı olmasına ragmen bu yöntemlerin pek çogunun sorunu bulunmaktadır. Kaynak kod içerisindeki sınıflar, döngüler, işaretçiler gibi karmaşık yapıların kullanımı bu sorunların bazılarıdır. Bu nedenle daha yüksek başarım (coverage'a dayalı) ve hız elde etmek için yapılan çalışmalar devam etmektedir.

Bu amaca yönelik olarak Webb Miller ve David Spooner arama tabanlı test verisi üretme yöntemini önermişlerdir [28]. Bu çalışmada kayan noktalı sayı tipindeki verilerin (float) giriş olarak verildigi programlar için sembolik çalıştırma ve Fig. 2. Hataların bulunma fazlarına göre düzeltilme maliyetleri. [33] sınırlamalı problem çözümünü içeren bir bir yöntem kullanışmıştır [23]. 90'lı yıllardan sonra Korel'in çalışmaları [14,15] ve 1992'de Xanthakis'in genetik algoritma ile bu konuda bir çözüme ulaşmış olması [43] ile arama tabanlı test verisi üretimi popülerleşmiştir.

Arama tabanlı test verisi üretiminde bir amaç fonksiyonunun yönlendirmesi ile test verileri üretilir. İçyapısı bilinen programın test edildigi saydam kutu test tekniklerinden biri olan yapısal test [10,24,27,38] için çeşitli çalışmalar yapılmıştır. Programın iç yapısının bilinmedigi, girişin verilerek istenen çıkışın üretilmesini kontrol eden kara kutu test tekniklerinden biri olan fonksiyonel test [40] işlemi de oldukça popüler çalışma alanlarından biridir. Program üzerindeki olası yükün etkisini inceleyen stres testi, güvenlik testleri ve çeşitli performans testleri gibi fonksiyonel olmayan test [41] grubunda da çalışmalar bulunmaktadır. Sonlu durum makinalarındaki geçişlerle ifade edilen durum tabanlı test verisi üretimi de literatürde çalışılmıştır [6].

Literatürdeki mevcut çalışmalar incelendiginde; test verilerinin üretiminde çeşitli optimizasyon algoritmalarının kullanılabildigi, elde edilen sonuçların başarımı yüksek son zamanlarda önerilmiş algoritmalarla daha da geliştirilebilir oldugu görülmüştür. Yapılan çalışmalardaki sonuçlar incelendiginde bazı algoritmaların coverage türünden başarımının düşük oldugu, bazılarının ise hız açısından yetersiz oldugu görülmüştür. Bu çalışmada test verisi üretiminde literatürde henüz kullanılmamış güncel zeki optimizasyon algoritmalarından olan ögrenme-ögretme temelli algoritma ile armoni algoritması incelenmiştir.

İkinci bölümde arama tabanlı test verisi üretimi anlatılacak, üçüncü bölümde kullanılan meta-sezgisel algoritmalar kısaca özetlenecek, dördüncü bölümde yapılan deneysel çalışmalar anlatılacak ve son bölümde degerlendirmesi yapılacaktır.

Arama Tabanlı Test Verisi Üretimi

Arama tabanlı test verisi üretiminde (SBST) temel amaç üretilen test verilerinin kapsama metrigini maksimum yapmasıdır. Arama tabanlı yöntemlerden biri olan rastgele test verisi üretimi yöntemi [3] düşük maliyetli, kolay kısıtlara sahip kod parçaları için uygun test verileri üreten bir yöntemdir. Ancak zor kısıtlı problemlerde oldukça kötü performans göstermektedir. Arama tabanlı test verisi üretimi ayrık bir problem olarak sınıflandırılabilir ve ayrık problemlerin çözümünde kullanılabilen meta-sezgisel algoritmalar test verisi üretiminde de kullanılabilmektedir. Harman ve Jones test verisi üretiminde kapsama metrigine baglı olarak amaç fonksiyonu ile yönlendirilen meta-sezgisel algoritmaların kullanımının verimli sonuçlar üretebilecegini öne sürmüştür [8]. Meta-sezgisel algoritmalar problemin karakteristiginden bagımsız olarak amaç fonksiyonu elde edilebilen bütün problemlerde kullanılabilmektedir. Arama tabanlı test verisi üretimi hakkında yapılan çalışmalar Harman ve Jones [8], McMinn [25], Afzal ve ark. , Räihä [30], McMinn [23], Harman ve ark. [9], Harman ve ark. [11] tarafından derlenmiştir. Bütün bu derlemelerde arama tabanlı yazılım mühendisligi alanında yapılabilecek çalışmaların mevcut oldugu ve her geçen gün popüler hale geldigi görülmektedir.

Literatürde dogal yaşamdan esinlenerek önerilen çok sayıda meta-sezgisel bulunmaktadır. Parçacık sürü optimizasyonu (PSO) [13], diferansiyel gelişim (DE) [35], yapay arı koloni (ABC) [12] ve ateş böcegi (FA) algoritmaları [44] en popüler meta-sezgisel algoritmalar arasında gösterilmektedir.

Meta-sezgisel algoritmalar amaç fonksiyonları dogrultusunda arama yaparlar. Bu nedenle iyi tasarlanmış bir amaç fonksiyonu algoritmanın optimum degeri hızlı ve dogru bir şekilde bulmasına yardımcı olur [8]. C ¸eşitli çalışmalarda kullanılan amaç fonksiyonları; code/statement coverage [37], yol tabanlı kriter [18,20,19,5,22,21,36,34], kenar (edge) kapsamı [16], veri akış kapsamı (data flow coverage) [32], dal kapsamı (branch coverage) [42,2], dal uzaklıgı (branch distance) [26,4], approximation level + branch distance [17] şeklinde verilebilir. Approximation level + branch distance metriklerini temel alan amaç fonksiyonu en sık kullanılan amaç fonksiyonlarından biridir.

Approximation level + branch distance (Eşitlik 1) amaç fonksiyonu branch distance (Eşitlik 2) ve approximation level metriklerinin birleşiminden oluşmaktadır.

f itness ALBD = approximation level + normalize(brach distance) (1) normalize(branch distance) = 1 − 1.001 −branch distance

Approximation level çalıştırılması gereken yol ile çalıştırılan yolun kıyaslayarak çalıştırılamayan yolların toplamını veren bir metriktir [1]. Branch distance metrigi ise Tracey'nin ortaya attıgı [39] ve Tablo 1'da verilen yöntem ile hesaplanmaktadır. Branch distance ilgili dala girmek için ne kadar uzakta olundugunu belirtir. Tablo 1'da görülen K degeri sonucun her zaman pozitif olmasını saglayacak sabit bir degerdir.

Meta-sezgisel Algoritmalar

Meta-sezgisel algoritmalar, herhangi bir amacı sezgisel yöntemlerle en iyileme işlemini gerçekleştiren algoritmalardır. En iyileme yaparken kullandıgı yöntem Table 1. Tracey'nin önermiş oldugu branch distance fonksiyonu. Kod parçacıgında ilk sütunda görülen deger ile karşılaşıldıgında 2. sütundaki deger hesaplanmaktadır. [39] Amaç Fonksiyonu Boolean if

T RU E then 0 else K a = b if abs(a − b) = 0 then 0 else abs(a − b) + K a = b if abs(a − b) = 0 then 0 else abs(a − b) + K a < b if a < b then 0 else a − b + K a ≤ b if a ≤ b then 0 else a − b + K a > b if a > b then 0 else b − a + K a ≥ b if a ≥ b then 0 else b − a + K

optimal sonucu garanti etmemekle birlikte optimuma yakın sonuç üretmeye yöneliktir. Bu çalışmada henüz literatürde bu alana uygulanmamış ögretmeögrenme temelli ve armoni arama algoritmaları kullanılmıştır.

Ögretme-Ögrenme Temelli Optimizasyon Algoritması

Ögrenme-Ögretme temelli Optimizasyon Algoritması (Teaching-Learning Based Optimization Algorithm, TLBO) [29] bir sınıftaki ögrencilerin ögrenmesinde ögreticinin etkisini temel alarak çalışan bir algoritmadır. Ögrencilerin başarımının ölçülmesi notlar üzerinden gerçekleştirilir. Ögretmen ise o sahadaki en yetkin kişi olarak nitelendirilebilir. İyi bir ögretmenin ögrencileri dogru yönlendirerek yüksek notlar alabilecegi fikri üzerine geliştirilmiştir. Ayrıca sınıf içi etkileşimle ögrenciler arasındaki bilgi aktarımı da dikkate alınmıştır. Burada ögrenciler optimizasyon probleminin olası çözümlerine, ögrencilerin notları da uygunluk fonksiyonuna karşılık gelmektedir. Popülasyondaki en iyi birey ögretmen olarak seçilir. Algoritma ögretici fazı ve ögrenci fazı olmak üzere iki aşamadan oluşmaktadır.

Ögretici Fazı Bir ögretmen ögrencilerine tüm bildiklerini aktararak onları kendi seviyesine getirmesi başka dış hususlar da devreye girdiginden mümkün olamamakta. Dolayısıyla bu süreçte kontrol edilemeyen rastgelelik arz eden etmenler bulunmaktadır. M i , sınıfın yani popülasyonun ortalama degeri, T ögretici (yani en iyi çözümü), T f ögretme faktörü ve r [0, 1] aralıgında rastgele bir reel sayı olmak üzere X i çözümünün yeni degeri (X i ), Eşitlik 3 ile belirlenir:

X i = X i + r i (T − T f * M i )

T f ögretme faktörü Eşitlik 4 ile 1 yada 2 olarak belirlenen bir parametredir.

T f = round[1 + rand(0, 1)(2 − 1)]

Bu ifade ögreticinin ögrencinin gelişimi üzerindeki etkisini yansıtmaktadır. Yeni çözüm eskisinden daha iyi ise digeri yerine popülasyona dahil edilir, ögrenci bilgisini güncellemiş olur.

Ögrenci Fazı Ögrencilerin gelişiminin ögretmene baglı olmasının yanı sıra diger ögrencilerle olan etkileşimine de baglıdır. Ögrenci fazında rastgele seçilen bir sınıf arkadaşı o anki ögrenciden daha iyi ise ögrenci bu bireyden Eşitlik 5 ile faydalanır:

X i = X i + r i (X i − X j )

O anki ögrenci rastgele seçilen arkadaştan daha iyi ise Eşitlik 6 kullanılır:

X i = X i + r i (X j − X i )

Bu faz sonrasında yeni ögrenci bilgisi (X i ) eski degerinden (X i ) daha iyi bir uygunluk degerine sahipse ögrenci güncellenir.

Bu iki faz durdurma kriteri saglanıncaya kadar tekrarlanır.

Armoni Arama Algoritması

Armoni Arama (Harmony Search, HS) algoritması [7] müzisyenlerin beste yapma süreçlerini modelleyen bir meta-sezgisel algoritmadır. C ¸özümler müzisyenlere, notaların armonisi de çözümün uygunluk degerine karşılık gelir. Algoritmanın temel adımları şu şekildedir:

-Adım 1: Problem ve algoritma parametrelerinin ilklendirilmesi -Adım 2: Armoni repertuvarının ilklendirilmesi -Adım 3: Yeni bir armoni bestelenmesi -Adım 4: Armoni repertuvarının güncellenmesi -Adım 5: Durma kriteri saglanıncaya kadar Adım 2-5'in tekrarlanması HS algoritmasında, her iterasyonda yeni bir beste üretilir ve bu beste armoni repertuvarındaki en kötü armoni ile degiştirilir. Besteleme sürecinde yeni armoni Eşitlik 7 ile üretilir:

if (rand ≥ p hcmr ) x j = x min j + (x max j − x min j ) * rand else { x j = x int(rand * SN )+1,j if (rand < p par ) { x j = x j ± bw * rand } } (7)

Burada SN repertuvar büyüklügü, p hcmr repertuvardan seçme oranı, p par perde ayar oranı, bw perde ayarlamasında olabilecek maksimum degişimi ifade eden bantgenişligi mesafesidir.

Deneysel C ¸alışmalar

Yapılan bu çalışmada triangle, quadratic equation, even-odd, largest number, remainder, leap year ve mark problemleri kullanılmıştır. Bu problemlerin karakteristikleri Tablo 2'de görülmektedir. Bütün problemler 20 popülasyon büyüklügü ile her gerekli yol için 250 çevrim olarak koşulmuştur. Algoritma maksimum çevrim sayısına ulaştıgında veya %100 kapsama miktarına eriştiginde durmaktadır. Her bir problem için sonuçlar 2.3 GHz i7 işlemci ve 8 GB Ram özelliklerine sahip bilgisayarda 30 defa koşularak alınmıştır. Uygulama MATLAB ve PYTHON dilinde yazılmıştır. Elde edilen sonuçlar ilk satırda ortalama ile standart sapma ikinci satırda ise medyan olarak verilmiştir. Kullanılan uygulama mimarisi program analizi, yol seçici ve test verisi üreticisi parçalarından oluşmaktadır (S ¸ekil 3). Program analizi, kaynak kodu test verisi üretimi için anlamlı hale getirmektedir. Programın kaynak kodu, kontrol akış grafigi (CFG) adı verilen ve programın akışının graf üzerinde gösterimini saglayan bir yapıya çevrilmektedir. Oluşturulan bu CFG başlangıç ve bitiş dügümlerinin tekil oldugu yönlendirilmiş graftır. Oluşturulan bu CFG üzerinden algoritmalar için bir amaç fonksiyonu hesaplanmaktadır. Yapılan koşmalar sonucu elde edilen sonuçlar Tablo 3'da verilmiştir. Bu sonuçlara göre en kolay problem olan even-odd probleminde her iki algoritma da aynı başarımda sonuçlar üretmiştir. Aynı şekilde bir başka basit problem olan largest number probleminde de her iki algoritma aynı başarıma ulaşmıştır. Aynı iterasyon sayısında çalışan bu iki algoritma incelendiginde medyan degerlerine göre HS algoritmasının TLBO algoritmasından daha hızlı çalıştıgı görülmektedir. Remainder probleminde ise her iki algoritma da %100 başarım elde etse de HS algoritması daha fazla iterasyona ihtiyaç duymuş bu da yavaş kalmasına neden olmuştur. Leap year, mark ve triangle problemler incelendiginde her iki algoritma da medyan degerlerine göre maksimum başarıma erişmiştir. Ortalama degerler incelendiginde ise TLBO algoritmasının HS algoritmasına göre üstünlügü görülmektedir. Bu da bazı koşmalarda HS algoritmasının maksimum başarıma erişemedigini göstermektedir. Quadratic equation problemi incelendiginde ise hem medyan hem de ortalama degerlere göre TLBO algoritmasının başarısı görülmektedir. Even odd ve largest gibi kolay problemlerde TLBO ve HS algoritmaları iyi performans göstermişlerdir. Remainder probleminde de her iki algoritma medyan ve ortalama degerlere göre maksimuma erişmişlerdir fakat TLBO algoritması HS algoritmasından daha az çevrime ihtiyaç duymuştur. Leap year, mark, quadratic ve triangle problemlerinin hepsinde de TLBO algoritması daha iyi sonuç elde etmiştir. Bütün algoritmalar incelendiginde TLBO algoritmasının HS algoritmasından daha iyi sonuç ürettigi görülmektedir.

Gelecek çalışmalarda problem sayısı ve kullanılan algoritma sayısı artırılabilir. Aynı zamanda bu algoritmaların paralelleştirilmiş performansları da incelenebilir.

Fig. 1 .Fig.1. Projelerin başarı oranı.[31]
-Triangle: Bu program aldıgı üç degerin üçgen oluşturup oluşturmadıgına bakmaktadır. Eger üçgen oluşturuyorsa da eşkenar, ikizkenar veya çeşitkenar üçgen olup olmadıklarına karar vermektedir. -Quadratic Equation: Bu program aldıgı üç degere göre ax 2 + bx + c formatında olup olmadıgına bakmakta, daha sonra diskriminant hesabını yaparak denklemin köklerini hesaplamaktadır. -Even-Odd: Bu program girilen degerin tek mi çift mi olduguna karar vermektedir. -Largest Number: Bu program girilen üç deger arasında en büyük degeri bulmaktadır. -Remainder: Bu program aldıgı iki degere bakarak bölenin sıfır olup olmadıgına bakarak kalan hesabı yapmaktadır. -Leap Year: Bu program girilen degerin artık yıl olup olmadıgına bakmaktadır. -Mark: Bu program aldıgı üç degere göre ortalama hesaplamaktadır. Daha sonra ise elde ettigi ortalamaya göre beş farklı kategoride (A, B, C, D, E) kümelemektedir.
Fig. 3 .Fig. 3. Test verisi üretimi için kullanılan mimari
Table 2 .Problemlerin karakteristikleriProgramSatır SayısıDöngüsel KarmaşaCFG Dügüm SayısıDegişken Sayısı1 Triangle2392332 Even Odd62513 Largest Number114834 Leap Year74815 Quadratic Equation 1541236 Remainder73627 Mark1911223
Table 3 .TLBO ve HS algoritmaları karşılaştırma sonuçlarıTest verisi üretimi problemi NP-Hard türünde oldukça zor bir problem türüdür. Deterministik yöntemler ile çözülmesi oldukça zordur ve çok uzun sürelerde gerçekleşebilmektedir. Programdaki döngüler, işaretçiler, sınıf yapıları bu problemi çok daha zor hale getirmektedir. Sezgisel algoritmalar ile kabul edilebilir zaman dilimlerinde makul çözümler üretmek mümkündür. Bu nedenle arama tabanlı test verisi üretiminin sürekli popülerlik kazanmaktadır.KapsamaİterasyonZamanEven100.0000 ∓ 0.00002.0000 ∓ 0.00000.0372 ∓ 0.0291Odd(100.0000)(2.0000)(0.0318)TLBOLargest Number Leap Year100.0000 ∓ 0.0000 (100.0000) 100.0000 ∓ 0.0000 (100.0000)4.0000 ∓ 0.0000 (4.0000) 21.0333 ∓ 27.0038 (11.0000)0.0748 ∓ 0.0280 (0.0692) 0.2186 ∓ 0.2454 (0.1231)Mark100.0000 ∓ 0.0000 (100.0000)512.4000 ∓ 79.3137 (505.0000)5.3441 ∓ 0.8162 (5.2652)Quadratic92.0000 ∓ 4.8423275.5000 ∓ 112.51412.7435 ∓ 1.0981Equation(90.0000)(272.0000)(2.7063)Remainder100.0000 ∓ 0.0000 (100.0000)2.0667 ∓ 0.2537 (2.0000)0.0400 ∓ 0.0288 (0.0340)Triangle100.0000 ∓ 0.0000 (100.0000)45.1667 ∓ 38.1658 (36.0000)0.5147 ∓ 0.3882 (0.4177)Even100.0000 ∓ 0.00002.0000 ∓ 0.00000.0416 ∓ 0.1098Odd(100.0000)(2.0000)(0.0215)Largest100.0000 ∓ 0.00004.0000 ∓ 0.00000.0559 ∓ 0.0513HSNumber Leap(100.0000) 93.3333 ∓ 8.9115(4.0000) 153.5667 ∓ 88.5405(0.0465) 0.6123 ∓ 0.3516Year(100.0000)(147.5000)(0.5771)Mark99.4667 ∓ 2.0297 (100.0000)279.5333 ∓ 89.9646 (272.0000)1.3765 ∓ 0.4257 (1.3366)Quadratic84.0000 ∓ 4.9827444.0667 ∓ 80.92692.0352 ∓ 0.3679Equation(80.0000)(500.0000)(2.2647)Remainder100.0000 ∓ 0.0000 (100.0000)15.1333 ∓ 20.6994 (9.5000)0.0830 ∓ 0.0904 (0.0532)Triangle99.5960 ∓ 1.5376 (100.0000)235.2333 ∓ 99.8615 (200.5000)1.1494 ∓ 0.4952 (0.9725)5 Degerlendirme
Fitness function design to improve evolutionary structural testing AndréBaresel HarmenSthamer MichaelSchmidt Proceedings of the Genetic and Evolutionary Computation Conference the Genetic and Evolutionary Computation Conference
San Francisco, CA, USA
 Morgan Kaufmann Publishers Inc 2002 GECCO '02 An evaluation of differential evolution in software test data generation RLandaBecerra RSagarna XYao IEEE Congress on Evolutionary Computation IEEE 2009. 2009 Automatic generation of random self-checking test cases DLBird CUMunoz IBM Syst. J 22 3 September 1983 Application of artificial bee colony algorithm to software testing SSDahiya JKChhabra SKumar Software Engineering Conference (ASWEC), 2010 21st Australian April 2010 Pso based pseudo dynamic method for automated test case generation using interpreter SurenderSingh Dahiya JitenderKumar Chhabra ShaktiKumar Proceedings of the Second International Conference on Advances in Swarm Intelligence -Volume Part I, ICSI'11 the Second International Conference on Advances in Swarm Intelligence -Volume Part I, ICSI'11
Berlin, Heidelberg
 Springer-Verlag 2011 Automated unique input output sequence generation for conformance testing of fsms KarnigDerderian RobertMHierons MarkHarman QiangGuo Comput. J 49 3 May 2006 A new heuristic optimization algorithm: Harmony search ZongWoo Geem Joong HoonKim GVLoganathan SIMULATION 76 2 feb 2001 Search-based software engineering MarkHarman BryanFJones Information and Software Technology 43 14 2001 Search-based software engineering: Trends, techniques and applications MarkHarman SAfshinMansouri YuanyuanZhang ACM Comput. Surv 45 1 61 December 2012 A theoretical and empirical study of search-based testing: Local, global, and hybrid search MarkHarman PhilMcminn IEEE Trans. Softw. Eng 36 2 March 2010 Search based software engineering: Techniques, taxonomy, tutorial MarkHarman PhilMcminn JerffesonteixeiraDe Souza ShinYoo Empirical Software Engineering and Verification Lecture Notes in Computer Science BertrandMeyer MartinNordio
Berlin Heidelberg
 Springer 2012 7007 An idea based on honey bee swarm for numerical optimization DKaraboga 2005 Erciyes University, Engineering Faculty, Computer Engineering Department Technical Report TR06 Particle swarm optimization JKennedy RCEberhart IEEE International Conference on Neural Networks 1995. 1995 4 Automated software test data generation BKorel IEEE Trans. Softw. Eng 16 8 August 1990 Dynamic method of test data generation for distributed software Korel Wedde Ferguson Information and Software Technology 34 8 1992 Automated generation of independent paths and test suite optimization using artificial bee colony SomaSekhara BabuLam MHari PrasadRaju UdayKiran M SwarajCh PraveenRanjan Srivastav International Conference on Communication Technology and System Design 2012. 2011 30 Automatic test data generation for software path testing using evolutionary algorithms IoanaGentiana OctavianLatiu AugustinCret LuciaVacariu Proceedings of the 2012 Third International Conference on Emerging Intelligent Data and Web Technologies, EIDWT '12 the 2012 Third International Conference on Emerging Intelligent Data and Web Technologies, EIDWT '12
Washington, DC, USA
 IEEE Computer Society 2012 Abc tester artificial bee colony optimization for software test suite optimization DJeyaMala VMohan IJSE International Journal Of Software Engineering 2 2 2009 Automated software test optimisation framework -an artificial bee colony optimisation-based approach DJeyaMala VMohan MKamalapriya IET Software 4 5 334 2010 A non-pheromone based intelligent swarm optimization technique in software test suite optimization DJMala MKamalapriya RShobana VMohan IAMA 2009. International Conference on 2009. July 2009 Intelligent Agent Multi-Agent Systems Article: Comparison of search based techniques for automated test data generation RuchikaMalhotra ChandAnand NikitaJain ApoorvaMittal International Journal of Computer Applications 95 23 June 2014 Test suite optimization using mutated artificial bee colony RuchikaMalhotra ManjuKhari Proc. of Int. Conf. on Advances in Communication Network and Computing, CNC of Int. Conf. on Advances in Communication Network and Computing, CNC 2014 Search-based software testing: Past, present and future PMcminn Software Testing, Verification and Validation Workshops (ICSTW) 2011. March 2011 IEEE Fourth International Conference on Input domain reduction through irrelevant variable removal and its effect on local, global, and hybrid search-based structural test data generation PMcminn MHarman KLakhotia YHassoun JWegener Software Engineering 38 2 March 2012 IEEE Transactions on Search-based software test data generation: A survey: Research articles PhilMcminn Softw. Test. Verif. Reliab 14 2 June 2004 Software test data generation automatically based on improved adaptive particle swarm optimizer XiaoMei Zhu XianFeng Yang International Conference on Computational and Information Sciences IEEE 2010. dec 2010 Generating software test data by evolution CCMichael GMcgraw MASchatz IEEE Trans. Softw. Eng 27 12 December 2001 Automatic generation of floating-point test data WMiller DLSpooner Software Engineering 2 3 Sept 1976 IEEE Transactions on Teaching-learning-based optimization: An optimization method for continuous non-linear large scale problems RVRao VJSavsani DPVakharia Information Sciences 183 1 2012 A survey on search-based software design OutiRäihä Computer Science Review 4 4 2010 Standish group report: There's less development chaos DRubenstein 2007 A hybrid pso approach to automate test data generation for data flow coverage with dominance concepts H M Rai SanjaySingla DharminderKumar PritiSingla International Journal of Advanced Science and Technology 37 2011 Object-Oriented and Classical Software Engineering StephenSchach 2010 McGraw-Hill Education Optimal test sequence generation using firefly algorithm PraveenRanjan Srivatsava BMallikarjun Xin-SheYang Swarm and Evolutionary Computation 8 2013 Differential evolution -a simple and efficient heyristic for global optimization over continuous spaces RainerStorn KennethPrice Journal of Global Optimization 11 4 1997 Path based test suite augmentation using artificial bee colony algorithm Dr BhartiSuri PrabhneetKaur International Journal For Research in Applied Science and Engineering Technology 2 2014 Test case generation for modified code using a variant of particle swarm optimization (PSO) algorithm ShaileshTiwari KKMishra AKMisra 10th International Conference on Information Technology: New Generations IEEE 2013. apr 2013 Evolutionary testing of classes PaoloTonella SIGSOFT Softw. Eng. Notes 29 4 July 2004 An automated framework for structural test-data generation NTracey JClark KMander JMcdermid Proceedings of the 13th IEEE International Conference on Automated Software Engineering, ASE '98 the 13th IEEE International Conference on Automated Software Engineering, ASE '98
Washington, DC, USA
 IEEE Computer Society 1998 285 Evaluation of different fitness functions for the evolutionary testing of an autonomous parking system JoachimWegener OliverBühler Genetic and Evolutionary Computation -GECCO 2004 Lecture Notes in Computer Science KalyanmoyDeb
Berlin Heidelberg
 Springer 2004 3103 Verifying timing constraints of realtime systems by means of evolutionary testing JoachimWegener MatthiasGrochtmann Real-Time Systems 15 3 1998 Applying particle swarm optimization to software testing AndreasWindisch StefanWappler JoachimWegener Proceedings of the 9th Annual Conference on Genetic and Evolutionary Computation, GECCO '07 the 9th Annual Conference on Genetic and Evolutionary Computation, GECCO '07
New York, NY, USA
 ACM 2007 Application of Genetic Algorithms to Software Testing SXanthakis CEllis CSkourlas ALe SGal KKatsikas Karapoulios International Conference on Software Engineering 1992 Nature-Inspired Metaheuristic Algorithms Xin-SheYang 2008 Luniver Press