Otomatik Sanal Servis Olusturma

Abstract

Service Oriented Architectures (SOA), API and Cloud based applications are widely used in industry. Testing such complicated systems can be challenging due to multiple reasons including unavailability of components, high cost of using services or high overhead of transactions. Virtual services are employed to simulate the response behaviour of the real service to oversome these challenges. Virtual services are created

-

by analyzing service speci cations (such as WSDL), by recording and replaying transactions, or by determining the behavior manually. There is currently a lack of studies that presents intelligent and automated methods for service virtualization. In this paper, we develop FancyMock tool which is a service virtualization tool that makes use of bioinformatics and machine learning algorithms. Our virtual services can synthesize valid and logical responses in an acceptable amount of time in practice. We show the validity of our approach on three di erent data sets collected from real services and obtain promising results. 1

Giris

Gunumuzde yaz l m sistemleri uygulamalar n ve etkilesimlerin artmas yla gittikce daha karmas k bir hal almaktad r. Bunun yan nda Continuous Integration (CI) gibi kavramlar de gun gectikce populerlesmektedir. Butun bu gelismeler sistemin butun parcalar yla test edildigi entegrasyon testini zorunlu hale getirmektedir. Fakat gercek hayatta entegrasyon testinin onunde baz zorluklar bulunmaktad r [ 12 ]. Bu zorluklar aras nda ihtiyac duyulan servislerin tamamlanmam s olmas , servisin s n rl kapasitede olmas , servisin ucretli olmas , ve s n rl izinle kullan labilmesi gibi sebepler say labilir. Bu sebeplerden dolay bu tur sistemlerin testi genellikle gercek benzeri ortamlarda yap l r.

Populer gercek benzeri ortam yaratma yollar ndan birisi sanal makineleri kullan p bag ml uygulamalar n bir kopyas n yaratmakt r [ 6, 11 ]. Fakat sanal makinelerin kon gurasyonu ve bak m bazen maliyetli olabilir. Bunun yan nda ucuncu-parti servisler gibi baz parcalar n kopyas n yaratmak mumkun olmayabilir.

Sanal makinelerin bir alternati bag ml servislerin ogrenilip sentetik cevaplar n uretildigi servis sanallast rmad r. Servis sanallast rma kavram sanal sunucular ile kar st r lmamal d r. Servis sanallast rma sadece ilgili servisin istek-cevap davran s n simule etmeyi amaclar [ 2 ]. Bunun yan nda servis sanallast rma konsepti, mocking 'le de kar st r labilir. Fakat mock objeleri belli bir gelistirme ihtiyac n gidermek icin o anl k uretilmis basit davran slar taklit eden objelerdir. Buna kars n sanal servisler butun gelistirme ihtiyaclar n kars lar, tekrar tekrar kullan labilir ve uretim zincirinin herhangi bir an nda konusland r labilir.

Otomatik sanal servis yaratman n iki yolu vard r. Birinci metod sanallast r lacak servisin WSDL gibi servis spesi kasyonlar n veren bir dokuman n elde oldugunu varsayar. Bu yontem gelen bir istege gecerli bir cevap donulecegini garanti eder. Fakat bu yontemin bir tak m k s tlar vard r. O rnegin sanallast r lmak istenen servis ucuncu-parti bir servis olabilir. Bunun yan nda bu yontem zaman ac s ndan maliyetlidir [ 8 ].

I_kinci ve ayn zamanda bizim kulland g m z yontem servis ayaktayken, test edilecek yaz l m ve servis aras nda kaydedilmis istek-cevap ikililerini kullan r [ 13 ]. Yaklas m m zda, servis henuz ayaktayken kaydedilmis istek-cevap ikililerinden servisi ogrenerek yeni gelen bir istege cevap sentezlemeye cal s yoruz. Kulland g m z teknikler mesaj format ndan bag ms z cal s r. Yaklas m m z n temel hatlar Sekil 1'de gorulebilir.

Sekil 1. FancyMock'a genel bak s. (a) Sanallast r lacak servisin ulas labilir oldugu durum. Servis ve test edilecek olan uygulama aras nda duran bir kaydedici istek-cevap ikililerini bir etkilesim kutuphanesine kaydeder. (b) Sanallast r lacak servisin ulas lamaz oldugu durum. Uygulama sanal servise bir istek gonderir ve Cevap Sentezleme Motoru (CSM) analiz safhas n n s g nda bir cevap uretip gonderir.

Yaklas m m z n temel katk lar soyledir: { Bu cal smada mesaj format ndan bag ms z cal san otomatik bir servis sanallast rma yaklas m sunduk. { Kay tl istek-cevap ikililerini islemek icin bioinformatik ve makine ogrenmesi algoritmalar kulland k. { Bu cal smada sundugumuz teknik mesaj uzunlugu konusunda herhangi bir s n rlama getirmez ve uretilen cevaplar mesaj format na uygundur. { Butun gelistirmelerimizi FancyMock ad n verdigimiz bir arac olarak gerceklestirdik ve yaklas m m z gercek servisler uzerinde dogrulad k.

Bildirinin geri kalan su sekilde duzenlenmistir: I_kinci k s m bu konuda daha once yap lm s cal smalar anlat r. Ucuncu k s m yaklasm m z n detaylar n verir. Dorduncu k s m deneyleri sunarak yaklas m z degerlendirir. Son olarak besinci k s m ise k sa bir ozetle bildiriyi sonland r r. 2

I_lgili Cal smalar

Servis sanallast rma oldukca yeni bir kavramd r. Bu sebeple, bu konu uzerine yap lm s cok say da akademik cal sma bulunmamaktad r. Fakat farkl alanlarda benzer problemlere baz cozumler onerilmistir. O rnegin Cui vd. [ 7 ] bir uygulaman n network izlerini inceleyerek uygulaman n kulland g protokol mesaj formatlar n c karan bir arac sunmustur. Bu arac protokolden bag ms z cal s r fakat bu yontem sanal servislerin yarat lmas icin uygulanamaz.

Servis temelli ortamlar n test edilmesinin zorluklar n inceleyen cal smalar da bulunmaktad r. Morris vd. [ 14 ] bu tur mimarilerin test edilmesinin zorluklar n ve bu konuda sanal servislerin nerede durdugunu anlatan genis bir cal sma yay nlam st r. Bozkurt vd. [ 5 ] ise servis odakl mimarilerin test edilmesindeki ve entegrasyon testindeki zorluklar anlatan kapsaml bir derleme makalesi yay mlam st r. Nizamic vd. [ 16 ] gercek is hayat nda sanal servislerin kullan lmas n gosteren bir vaka cal smas yapm st r.

Servis sanallast rma konusuna odaklanan son cal smalar [ 8,9,18,20,21 ]'de sunulmustur ve yazarlar sanal servis yaratmay ele alan bir dizi cozum onermistir. Bu cal smalar da bioinformatik algoritmalar ndan faydalanmaktad r. Bu cal smalardan sonuncusu daha oncekilerde onerilen cozumleri ilerleterek Opaque Service Virtualization (OSV) ad yla yeni bir arac sunmustur. OSV kaydet-oynat yap s yla cal smaktad r ve mesaj format ndan (XML, JSON vs.) bag ms zd r. Fakat OSV'nin basar l bir sekilde cal sabilmesi icin mesajlar n ya belirli bir uzunlukta olmas ya da uzunluk bilgisinin mesaja gomulmus olmas onerilmektedir [ 1 ]. Bunun yan nda Deneyler k sm nda gosterildigi gibi kaydedilen mesajlar n say s artt g nda oldukca kotu bir performans gostermektedir.

Sanal makineler ya da Docker [ 4 ] gibi yeni c kan konteyner tarz araclar servis sanallast rmaya bir alternatif degildir; bu kavramlar birbirini tamamlay c niteliktedir. O rnegin bir sanal servis bir konteynerin icinde cal st r labilir. 3

Yontem

FancyMock arac n n genel semas Sekil 1'de gorulmektedir. Sekil 1(a) servis hala ulas labilirken yasan lan senaryoyu gostermektedir. Bu senaryoda, uygulama servisle etkilesime gecer. Bu etkilesim devam ederken istekler ve ilgili cevaplar etkilesim kutuphanesine bir kaydedici vas tas yla kaydedilmektedir. Sekil 1(b) ise servisin herhangi bir sebepten dolay ulas lamad g durumu gostermektedir. Bizim katk m z da bu durumda ortaya c kmaktad r. I_lk olarak Analiz k sm nda etkilesim kutuphanesindeki veri analiz edilir ve gerekli bilgiler ogrenilir. Bu bilgiler s g nda Cevap Sentezleme Motoru (CSM) yarat l r. Sanal servise yeni bir istek ulast g nda, Cevap Sentezleme Motoru yeni bir cevap uretir.

Asag daki k s mlarda Analiz motoru ve Cevap Sentezleme Motorunun detaylar anlat lmaktad r. 3.1

Analiz Motoru

Bu k s mda ilk olarak her bir istek ve cevap tipi icin bir sablon olustururuz. Cevap Sentezleme Motoru bu sablonlar daha once kaydedilmemis bir istek geldiginde yeni bir cevap sentezlemek icin kullan r. I_stegin kay tl oldugu durumlarda dogru cevap etkilesim kutuphanesinde kolayca bulunabilir.

Genel olarak, eger iki istek birbirine benziyorsa bunlar n cevaplar da birbirine benziyor demektir. Fakat buna hata mesajlar ya da durumsal servisler gibi iki istisna gosterebiliriz. Hata mesajlar bizim onerdigimiz cozumde goz onunde bulundurulmustur. Fakat durumsal servisler bu cal sman n kapsam d s ndad r. I_steklerin birbirine benzeme durumu ikililer aras ndaki uzakl ga bakarak karar verilir. Uzakl k ise biyoinformatikte kullan lan Needlman-Wunsch ikili hizalama algoritmas n n [ 15 ] c kt s ndaki eslesmeler ve hizalama uzunlugu uzerinden hesaplan r.

Tablo 1. I_ki farkl tipte (searchsong, searchuser) istekten olusan yapay bir etkilesim

kutuphanesi. Ayn ID'li istekler ve cevaplar birbirlerine kars l k gelmektedir. ID I_stekler

1 ftype: searchsong, title: somesong, singer: somesingerg

2 ftype: searchuser, username: rstg

3 ftype: searchuser, username: secondg

4 ftype: searchuser, username: thirdg

5 ftype: searchuser, username: fourthg

6 ftype: searchsong, title: anothersong, singer: somesingerg

ID Cevaplar

1 ftype: searchsong, title: somesong, streamurl: someurlg

2 ftype: searchuser, fname: John, lname: Doeg

3 ftype: searchuser, errormessage: Not Foundg

4 ftype: searchuser, errormessage: Not Foundg

5 ftype: searchuser, fname: Jane, lname: Roeg

6 ftype: searchsong, title: anothersong, streamurl: anotherurlg

Etkilesim kutuphanesinde kay tl olmayan bir istege en yak n istegi bulman n en sade yolu yeni gelen istegin butun isteklerle olan uzakl g n hesaplamakt r. Fakat, bu kontrolu her seferinde gerceklestirmek ozellikle buyuk etkilesim kutuphaneleri icin buyuk bir vakit kayb olabilir.

Bunun yerine birbirine benzer kay tl mesajlar orijinal kNN [ 17 ] algoritmas n n bizim taraf m zdan modi ye edilmis versiyonunu kullanarak bir araya getirme yolunu izledik. Orijinal kNN algoritmas obekleme icin kullan lan bir makine ogrenmesi algoritmas d r. Modi ye edilmis kNN Algoritma 1'de gosterilmistir. Modi ye edilmis kNN algoritmas na gore belli bir uzakl g n icindeki mesajlar ayn kumeye konulur. Eger ikililerin aralar ndaki uzakl k belli bir esik degerinin uzerindeyse yeni bir kume olusturulur. Bu esik degeri deneylerden yola c karak 0.8 olarak belirlenmistir. Hatas z bir durumda her bir kumenin icinde sadece bir tek tip istek veya cevap bulunur ve tipleri ayn olan iki istek farkl kumelerde bulunmaz. O rnegin butun searchsong tipli istekler ayn kumede bulunur ve bu kumenin d s nda bir searchsong bulunmaz. Kumeleme islemi yap ld ktan sonra her bir kume/tip icin bir sablon c kar l r. Boylece sanal servise yeni bir istek geldiginde eger o istek daha once kaydedilmemis ise, ona en yak n mesajlar bulmak icin sadece sablonlarla kars last rmak yeterli olacakt r. Kumeleme islemi hem istekler hem de cevaplar icin ayr ayr yap l r. Tablo 1'de veriler icin muhtemel kumeler asag daki gibi olur: I_stek Kumeleri: f 1:f1, 6g, 2:f2, 3, 4, 5gg Cevap Kumeleri: f 1:f1, 6g, 2:f2, 5g, 3:f3, 4gg Algorithm 1 Modi ye Edilmis K-Nearest Neighbour Input: < : I_stek veya cevaplar n bulundugu bir liste.

: Kume ay rma esigi.

K : K parametresi.

Output:

C : Anahtarlar istek veya cevaplar, degerleri kume numaralar olan bir sozluk. 1: kumeNumaras 0 2: C[<[0]] kumeNumaras 3: kumelenmisMesajlar.ekle(<[0]) 4: for each r in < do 5: uzakl klar, numaralar 6: if min(uzakl klar )> 7: kumeNumaras ++ 8: C[r] kumeNumaras 9: else 10:

KNearestNeighbourBul(K,r,kumelenmisM esajlar) then

C[r] enCokBulunanEleman Al(numaralar) . En yak n K tane aras nda en cok bulunan kume numaras . 11: end if 12: kumelenmisMesajlar.ekle(r) 13: end for . Birinci elemana kume numaras atan r.

. Yeni bir kume yarat.

Kumeleme islemi bittikten sonra istek kumeleri ve cevap kumeleri aras ndaki iliskinin bulunmas gerekir. Bunun sebebi ayn istek kumesinde olan mesajlar n cevaplar n n farkl kumelerde olabilme ihtimalidir. O rnegin 2 ve 3 numaral istekler, 2 kumesinde bulunurken, cevaplar s ras yla 2 ve 3 kumelerinde bulunur. Cevap Sentezleme Motoru cevaplar uretirken daha gercekci cevaplar icin bu iliskiyi goz onunde bulundurur. Bu isleme kume eslestirmesi ad verilmistir. Pre-sampling Kumeleme isleminin bize h z kazand rd g n ve sadece bir kere yap lmas gerektigini daha once anlatm st k. Fakat kumeleme islemi de her ikili aras ndaki uzakl g bulmak gerektiginden oldukca maliyetli bir istir. Bu cal smada, performans art rmak icin, basit ama etkili bir cozum olarak kumelerin eleman say s na bir ust s n r koyduk ve bu isleme pre-sampling ad n verdik. Pre-sampling yontemiyle oncekiyle ayn say da kume olmas na ragmen ikililerin kars last rma say s azald g icin kumeleme islemi h z kazanacakt r. Cunku kumeleme isleminin karmas kl g kareselden dogrusala duser. O rnegin, eger kume ust s n r n 3 secerek pre-sampling uygulam s olsayd k, 2 sunun gibi olurdu: 2:f2, 3, 4g

Pre-sampling'in cevap uretimine olan etkisini Deneyler k sm nda degerlendirecegiz. Sablon C karma Bu asamada bir coklu dizi hizalama algoritmas olan ClustalW'yi [ 19 ] kullanarak her bir kumeyi temsil eden bir sablon c karacag z. Sablon c karma islemi hem istek hem de cevap kumeleri icin yap l r.

Coklu dizi hizalama islemi yap ld ktan sonra, ayn indisteki karakterler aras nda bir uyum yoksa sablonun o indisine bir joker karakter konulur. Uyum o indisteki karakterlerin %80'inin ayn olmas olarak belirlenmistir. Eger bir uyum varsa sablonun o indisine uyumu saglayan karakter konulur. Bu tan ma gore istek kumesi 2'nun ve cevap kumesi 1'in sablonu asag daki gibi olur: sablon 2: ftype:searchuser, username:#######g sablon 1: ftype:searchsong, title:########, streamurl:#######g Bu yaklas m dizilerin as l k s mlar n tutarken degisken k s mlar n joker karakterlerle (#) degistirir.

Asag daki iki sablon gecersiz sablonlara ornektir. Birinci sablonda degisken olan bir k s m tamamiyle joker karakterlerden olusmamaktad r. I_kinci sablonun problemi ise degisken olmayan bir k sm n joker karakterleri bar nd rmas d r. ftype:searchsong, title:####s###, streamurl:#######g ftype:sear##song, title:########, streamurl:#######g

Hat rlanacag uzere, sablonlar, bir istegin hangi kumeden olduguna karar vermek icin kumelerdeki butun elemanlar yerine sadece bir kars last rma yapmak icin uretilirler.

Bu cal smada sablon c kar l rken [ 21 ]'de anlat lan yontemden esinlenilmistir. Mesajlardaki Degisken K s mlar n Analizi O nceki cal smalar gercekci cevaplar uretmek konusunda k s tl yeteneklere sahiptir [ 9, 21 ]. Biz bu cal smada, cesitli ve gercekci cevaplar uretebilmeyi amacl yoruz. Bu ad mda kay tl butun cevap mesajlar n n butun degisken k s mlar n bulmay hede iyoruz. Degisken k s mlar yani mesajlar n parametrelerini bulmak icin mesaj o kumenin sablonu ile hizalar z. Bu hizalamada sablonun joker karakterleriyle eslesen k s mlar o mesaj n degisken k s mlar olur. Bu k s mlar c kar ld ktan sonra bir sozluk yap s nda tutulur. Asag da bir ornek gosterilmistir.

ftype:searchsong, title:somesong, streamurl:someurlg ftype:searchsong, title:########, streamurl:#######g

Yukar daki hizalamaya bakarak somesong ve someurl in bir degisken k s m oldugunu kolayca anlayabiliriz. Bu islem butun cevap kumelerinin butun mesajlar na uygulan r ve degiskenK s mSozlugu ismiyle bir sozluk yarat l r. O rnek bir degiskenK s mSozlugu Tablo 2'de gosterilmistir.

Tablo 2. Tablo 1 icin degiskenK s mSozlugunun anahtar ve degerleri gosterilmistir.

Ornegin (2,1) ikinci kumenin birinci degisken k sm anlam na gelmektedir.

Key Value (1,1) [somesong, anothersong, ...] (1,2) [someurl, anotherurl, ...] (2,1) [John, Jane, ...] (2,2) [Doe, Roe, ...] 3.2

Cevap Sentezleme Motoru

Cevap Sentezleme Motoru (CSM), Analiz k sm n n c kt lar n kullanarak kabul edilebilir, gercege yak n ve cesitlendirilmis cevaplar uretir. Analiz k sm n n c kt lar sablonlar, kumeler ve degiskenK s mSozlugudur.

CSM, servise yeni bir istek geldiginde ona cevap sentezlemek icin harekete gecer ve toplamda 3 ana ad mdan olusur: 1. Cevap sentezlemede temel al nacak mesaj n secilmesi. (Temel Mesaj Secimi): (a) En benzer istek kumesinin sablonunu bul. (b) Secilen istek kumesinin iliskili oldugu cevap kumelerini bul. (c) Secilen cevap kumesinden bir mesaj sec (Temel cevap) ve bu cevab n istegini bul (Temel istek ). 2. Simetrik K s mlar n Yerlestirilmesi (SKY) prosedurunu uygula: (a) Temel istek ve Temel cevap aras nda ayn olan degisken k s mlar n indislerini bul. (b) Bu indislerden yola c karak Gelen istegin ilgili alanlar n Temel cevaba kopyala. 3. Temel cevab n geri kalan degisken alanlar n degiskenK s mSozlugu yard m yla degistir.(Cesitlendirme).

Temel Mesaj Secimi O ncelikle, yeni gelen bir istegi butun istek kumelerinin sablonlar yla kars last r r ve en yak n n buluruz. Ayn tipteki istekler farkl tiplerdeki cevaplarla yan tlanabildiginden muhtemel cevap kumelerinden birini secebiliriz. Burada en yuksek ihtimalli cevap kumesini secmek uygun olur. Daha sonra secilen bu cevap kumesinden rastgele bir mesaj al n r (Temel cevap) ve buna kars l k gelen istek bulunur (Temel istek ).

Simetrik K s mlar n Yerlestirilmesi (SKY) Bu ad mda Temel istek ve Temel cevap aras nda tamamen ayn olan degisken k s mlar bulunur. Asag daki ornekte goruldugu gibi somesong bu ikili aras nda ayn olan bir degisken k s md r. Cal smam zda sadece degisken k s mlar aras ndaki simetri hesaba kat lm st r. O rnegin searchsong asag daki ikili aras nda simetrik olarak kabul edilmemistir. Cunku bu alan sablonun kendisinde bulunmaktad r (kumedeki butun mesajlarda ortakt r).

Temel istek: ftype:searchsong, title:somesong, singer:somesingerg Temel cevap: ftype:searchsong, title:somesong, streamurl:someurlg Bu alanlar bulunduktan sonra Temel cevap uzerinde degisiklikler yap larak yeni gelen istege kars l k gelen cevap sentezlenmeye baslan r. [ 21 ]'deki cal sman n aksine biz sadece degisken k s mlar aras ndaki simetriyi hesaba katar z, sablon uzerindeki simetriyi goz ard ederiz. Bunun yan nda yeni yerlestirilen degisken k s m Temel cevab n ilgili k sm ndan daha k saysa o k s m kuculur, eger daha uzunsa buyur. Bu bize degisen uzunluktaki mesajlar n ustesinden gelmemizi saglar. Eger mesajlar aras nda simetrik bir degisken k s m yoksa bu ad m atlan r. Cesitlendirme Temel cevab n simetrik olmayan degisken k s mlar degiskenK s mSozlugunun ilgili yerinden secilerek degistirilir. Bu sekilde, sentezlenen cevaplar cesitlendirilir ve bu, yaz l m n daha kapsaml sekilde test edilmesine yard mc olur. Asag da ornek bir Cesitlendirme islemi gosterilmistir.

Yeni gelen istek 1 ve Sentezlenen Cevap 1: ftype:searchsong, title:awesomesong, singer:coolsingerg ftype:searchsong, title:awesomesong, streamurl:randomurl1g 4

Deneyler

Bu k s mda FancyMock'u degerlendirmek icin yapt g m z deneyleri sunacag z. Bu cal smada FancyMock'u Baseline ad n verdigimiz bir referans implementasyonla kars last rd k. Baseline implementasyonunda pre-sampling, degisken k s m analizi ve cesitlendirme ad mlar yoktur. SKY prosedurunun ilkel bir versiyonu dahil edilmistir. Bu haliyle Baseline [ 21 ]'de anlati lan teknigin (OSV) bizim taraf m zdan kodlanm s versiyonudur.

Yaklas m m z degerlendirmek icin deneylerde 4 olcum yapt k: sentezlenen cevaplar n gecerliligi, sentezlenen cevaplar aras ndaki ortalama uzakl k (cesitlilik), analiz safhas cal sma suresi ve ortalama cevap sentezleme suresi. Bunun yan nda pre-samplingin sablon c karma uzerinde olan etkisini de degerlendirdik.

Deneyler 32 GB haf zal ve Intel Xeon E5520 2.27 GHz islemcili bir sunucuda kosulmustur. 4.1 Veri setleri

Yaklas m m z uc farkl veri seti uzerinde test ettik. Daha gercekci sonuclar icin butun veriler gercek sistemlerden toplanm st r. Veriler bilgisayar ortam ndan otomatik olarak sorgu atan kucuk kod parcalar yla toplanm st r. Birinci veri seti I_kamet Bilgisi Sorgu Sistemi (I_BSS) ad verilen bir sistemden toplanm st r. Bu sistemde kisi bir id veya tam isimle sorgu yapabilir. Bu isteklere donen cevaplar ise sorgulanan kisinin dogum tarihi, dogum yeri adres vs. gibi detayl bilgilerini icermektedir. I_kinci veri seti SoundCloud uygulamas n n API'sinden toplanm st r. SoundCloud herkese ac k olarak RESTful bir API sunmaktad r. Son olarak, WeatherUnderground API'sinden gecmisteki bir gune ait bir hava durumu verisi toplad k. Bu API de SoundCloud gibi RESTful bir API'dir. Tablo 3 istek tiplerinin ve toplanan mesajlar n toplam say s n gostermektedir.

Tablo 3. Veri Setleri I_sim I_BSS XML SoundCloud API JSON WeatherUnderground API JSON

Format #Request Type #Traces

Bu deneyde her bir sentezlenen cevab n gecerli olup olmad g kontrol edilmistir. Bir mesaj iki durumda gecersiz olabilir: Ya sentezlenen cevap beklenen mesaj format na uygun degildir (JSON, XML, etc.) ya da beklenen cevap tipine ait degildir. O rnegin searcsong tipli cevap beklerken searchuser tipli cevap uretilmesi gibi. Gecerlilik deneyinde sadece kay tl olmayan (egitim setinde olmayan) mesajlar kullan lm st r.

Tablo 4. Sentezlenen cevaplar n gecerlilik Tablo 5. Butun sentezlenen cevap ciftlerinin yuzdesi. aras ndaki ortalama uzakl k.

I_sim

Baseline FancyMock I_sim

Baseline FancyMock I_BSS 48.6% SoundCloud API 18.3% WeathrUndrgrnd API 21.2%

Bu deneyde cesitliligi uretilen cevaplar aras ndaki farkl l k olarak tan mlad k. Cesitliligin olcumunu ise uretilen cevaplardan ayn tipte olan her ikili aras ndaki uzakl g hesaplayarak yapt k. O rnegin tipi searchuser olan butun cevaplar n aralar ndaki uzakl g ikili ikili hesaplad k. Daha sonra bu uzakl klar n ortalamas n ald k.

Tablo 5 Baseline yaklas m taraf ndan uretilen cevaplar n s n rl bir cesitliligi oldugunu gosteriyor. Diger taraftan, FancyMock birbirinden farkl cevaplar uretebilmektedir.

Analiz Safhas n n Cal sma Suresi Degerlendirmesi

Bu deneyle analiz safhas n n cal sma suresini degerlendirdik. FancyMock'u, pre-sampling ad m n icermeyen Baseline yaklas m yla kars last rd k.

Tablo 6. Analiz Safhas Cal sma Suresi (hh:mm:ss)

Baseline FancyMock 400 800 1200 400 800 1200 I_BSS 01:53:03 08:47:17 20:11:08 01:22:07 02:37:08 03:54:12 SoundCloud API 00:08:47 00:16:03 00:41:06 00:18:23 00:35:12 00:52:34 WeathrUndrgrnd API 00:10:30 00:39:43 01:24:34 00:16:04 00:32:58 00:52:12

Bu deneyi performanstaki degisimi gorebilmek icin farkl buyukluklerdeki (400, 800, 1200) verilerle gerceklestirdik. Tablo 6 sonuclar gostermektedir. Tablodan anlas ld g uzere pre-sampling teknigi ozellikle etkilesim kutuhanesi buyudugunde faydal olmaktad r. Gercek hayatta buyuk etkilesim kutuphaneleri daha s k kars las lan bir senaryodur. Analiz safhas n n cal sma suresini etkileyen bir diger faktor etkilesim kutuphanesindeki mesajlar n ortalama uzunlugudur. SoundCloud veri setinde Baseline yaklas m n n FancyMock'tan daha iyi performans gostermesinin sebebi mesajlar n oldukca k sa olmas d r. FancyMock mesajlar uzad kca daha buyuk bir fark yarat r. 4.5

Ortalama Cevap Sentezleme Suresi

Bu deneyde, cevap sentezleme suresi, servise bir istegin ulasmas yla, bu servisin bir cevap dondurmesi aras nda gecen zaman olarak tan msanm st r. Tablo 7 ortalama cevap uretim surelerini gostermektedir. Bu deneyde gercek servisten toplad g m z cevap donme surelerini de kars last rd k. Tabloya gore bizim onerdigimiz yaklas mla bir sanal servisten cevap almak genelde daha uzun surmektedir. Bunun sebebi uretilen mesajlar n gecerlilik oran n ve cesitliligini art rmak icin Cevap Sentezleme Motoruna ekledigimiz ad mlard r. WeatherUnderground API' nda istisnai bir durum olarak FancyMock daha iyi performans gostermistir. Bunun sebebi istekler ve cevaplar aras nda simetrik degisken k s mlar bulunmad g icin SKY ad m n n FancyMock'ta atlanm s olmas d r. Baseline yaklas m nda ise mesaj n degisken olmayan k s mlar aras nda da yerlestirme yap lmaktad r.

Tablo 7. Ortalama Cevap Uretim Suresi (saniye)

Baseline FancyMock Gercek Servis

Min Max Ort Min Max Ort Min Max Ort I_BSS 1.42 1.91 1.68 2.50 3.92 3.09 0.02 8.94 0.61 SoundCloud API 0.47 0.91 0.72 0.33 1.22 0.86 0.10 0.54 0.45

WeathrUndrgrnd API 0.69 0.84 0.74 0.57 1.31 0.66 0.05 0.96 0.63 4.6

Pre-sampling'in Sablon C karma U zerine Etkisi

Son olarak, pre-sampling tekniginin sablon c karma uzerine olan etkisini inceleyecegiz. Bir sablonda mesaj n degisken olmayan k s mlar n n korunmas ve butun degisken k s mlar n joker karakterleriyle doldurulmus olmas beklenmektedir. Dogru ve bozuk sablon ornekleri Sablon C karma basl g alt nda gorulebilir.

Bu olcum veri setinden ve mesajlar n istek ya da cevap olmas ndan bag ms zd r. Bu sebeple bu deneyde I_BSS veriseti kullan lm st r. Kume ust s n r olarak 5, 10, 20, 25 ve s n rs z (Baseline yaklas m ndaki gibi) sectik ve daha dogru bir sonuc icin bu deneyi 10 kere tekrarlay p ortalamas n ald k.

Tablo 8 deneyin sonuclar n gostermektedir. Tablodan goruldugu uzere kume ust s n r artt kca sablonun dogrulugu artmaktad r. Fakat belli bir yerde dogruluk oran doyum noktas na ulasmaktad r. Buna gore eger butun kumeyi almak yerine pre-sampling yaparak kume ust s n r n uygun bir buyuklukte secersek, ikili uzakl k bulma islemi azalacag ndan h z konusunda belirli bir art s elde edebiliriz.

Tablo 8. Pre-sampling'in Sablon C karma Uzerine Etkisi

Kume Ust S n r Sablon Gecerlilik Oran (%)

5 10 20 25 Butun Kume

Bu cal smay yaparken yaklas m m z n belli k s tlar oldugunu gorduk. Bizim kulland g m z modi ye edilmis kNN teknigi ancak uygun bir esik degeri secilirse dogru cal sabilir. Bunun yerine DBSCAN [ 10 ] ya da OPTICS [ 3 ] daha gelismis kumeleme teknikleri kullan labilir. Bunun d s nda FancyMock ornegin bir saniyenin alt nda gibi cok k sa bir surede cevap bekleyen uygulamalar ve sifreli mesajlar kullanan protokoller icin uygun degildir. 5

Sonuc

Bu cal smada ozgun bir servis sanallast rma teknigi gelistirdik. Bizim yaklas m m zda servis henuz ayaktayken istekler ve cevaplar kaydedilir. Daha sonra belirli tekniklerle bir sablon c kar l r ve sonuc olarak yeni gelen bir istek icin sentetik bir cevap yarat l r.

FancyMock mesaj format ndan bag ms z cal s r yani sanallast r lacak servisin belirli bir mesaj format nda cal st g n varsaymaz. I_kinci olarak, uretilen sentetik cevaplar hem mesaj format n ihlal etmez hem de dogru tiptedir. Bu sebeple uretilen cevaplar n gecerlilik oran yuksektir. U cuncu olarak uretilen cevaplar olabildigince cesitlendirilerek yapmac kl ktan olabildigince uzaklas lm st r ve son olarak FancyMock'un performans pratikte kabul edilebilir s n rlar icerisindedir.

FancyMock'la yapt g m z deneyler yaklas m m z n faydalar n gostermistir. Bir sonraki cal sma olarak durumsal servislerin sanallast r lmas uzerine yogunlasmay planl yoruz.

Kaynaklar

References

1. ODP manual page . https://docops.ca.com/devtest-solutions/9- 5/en/using/using-ca -service-virtualization/using-devtest-workstation-withca-service-virtualization/creating-service-images/create-a-service-image-byrecording/transport-protocols/opaque-data-processing-transport-protocol , accessed: 2017-08-26

2. Smartbear ( 2017 ), https://smartbear.com/learn/software-testing/what-is-servicevirtualization/, [Online; accessed 23-May-2017]

3. Ankerst , M. , Breunig , M.M. , Kriegel , H.P. , Sander , J.: Optics: ordering points to identify the clustering structure . In: ACM Sigmod record . vol. 28 , pp. 49 { 60 . ACM ( 1999 )

4. Boettiger , C. : An introduction to docker for reproducible research . ACM SIGOPS Operating Systems Review 49 ( 1 ), 71 { 79 ( 2015 )

5. Bozkurt , M. , Harman , M. , Hassoun , Y. : Testing and veri cation in service-oriented architecture: a survey . Software Testing, Veri cation and Reliability 23 ( 4 ), 261 { 313 ( 2013 )

6. Chen , P.M. , Noble , B.D. : When virtual is better than real [operating system relocation to virtual machines] . In: Hot Topics in Operating Systems , 2001 . Proceedings of the Eighth Workshop on. pp. 133 { 138 . IEEE ( 2001 )

7. Cui , W. , Kannan , J. , Wang , H.J. : Discoverer: Automatic protocol reverse engineering from network traces . In: Usenix Security . vol. 158 ( 2007 )

8. Du , M. , Schneider , J.G. , Hine , C. , Grundy , J. , Versteeg , S. : Generating service models by trace subsequence substitution . In: Proceedings of the 9th international ACM Sigsoft conference on Quality of software architectures . pp. 123 { 132 . ACM ( 2013 )

9. Du , M. , Versteeg , S. , Schneider , J.G. , Han, J ., Grundy , J.: Interaction traces mining for e cient system responses generation . ACM SIGSOFT Software Engineering Notes 40 ( 1 ), 1{ 8 ( 2015 )

10. Ester , M. , Kriegel , H.P. , Sander , J. , Xu , X. , et al.: A density-based algorithm for discovering clusters in large spatial databases with noise . In: Proceedings of the Second International Conference on Knowledge Discovery and Data Mining . vol. 96 , pp. 226 { 231 ( 1996 )

11. Hine , C. : Emulating enterprise software environments . Ph.D. thesis , Swinburne University of Technology ( 2012 )

12. Hurwitz , K. : Service Virtualization for dummies . John Wiley & Sons ( 2013 )

13. Michelsen , J. , English , J.: What is service virtualization? In: Service Virtualization , pp. 27 { 35 . Springer ( 2012 )

14. Morris , E.J. , Anderson , W.B. , Balasubramanian , S. , Carney , D.J. , Morley , J. , Place , P.R. , Simanta , S.: Testing in service-oriented environments . Tech. rep., Software Engineering Institute , Carneige Mellon University ( 2010 )

15. Needleman , S.B. , Wunsch , C.D.: A general method applicable to the search for similarities in the amino acid sequence of two proteins . Journal of molecular biology 48(3) , 443 { 453 ( 1970 )

16. Nizamic , F. , Groenboom , R. , Lazovik , A. : Testing for highly distributed serviceoriented systems using virtual environments . Proceedings of 17th Dutch Testing Day ( 2011 )

17. Roussopoulos , N. , Kelley , S. , Vincent , F. : Nearest neighbor queries . In: ACM Sigmod record . vol. 24 , pp. 71 { 79 . ACM ( 1995 )

18. Schneider , J.G. , Mandile , P. , Versteeg , S. : Generalized su x tree based multiple sequence alignment for service virtualization . In: Software Engineering Conference (ASWEC) , 2015 24th Australasian. pp. 48 { 57 . IEEE ( 2015 )

19. Thompson , J.D. , Higgins , D.G. , Gibson , T.J.: Clustal w: improving the sensitivity of progressive multiple sequence alignment through sequence weighting, positionspeci c gap penalties and weight matrix choice . Nucleic acids research 22 ( 22 ), 4673 { 4680 ( 1994 )

20. Versteeg , S. , Du , M. , Bird , J. , Schneider , J.G. , Grundy , J ., Han, J .: Enhanced playback of automated service emulation models using entropy analysis . In: Continuous Software Evolution and Delivery (CSED), IEEE/ACM International Workshop on. pp. 49 { 55 . IEEE ( 2016 )

21. Versteeg , S. , Du , M. , Schneider , J.G. , Grundy , J ., Han, J ., Goyal , M. : Opaque service virtualisation: a practical tool for emulating endpoint systems . In: Proceedings of the 38th International Conference on Software Engineering Companion . pp. 202 { 211 . ACM ( 2016 )