Durumsal Servislerin Sanallast r lmas

Abstract

Software systems are becoming more complicated with increasing number of dependent applications, heterogeneous technologies and common usage of Service Oriented Architectures (SOA). This trend makes testing of such systems challenging. For testing these software systems, the concept of service virtualization is an attractive solution. Service virtualization is an automated technique to mimic the behavior of a given real service. Services are in two types namely, stateless or stateful services. Many services are stateful in nature. In this work, we bring a solution to automated stateful service virtualization. We employ classi cation based and sequence-to-sequence based machine learning algorithms in our solutions. We demonstrate the validity of our approach on two data sets collected from real life services and obtain successful results.

Keywords

• Service Virtualization Testing

Giris

Gunumuz yaz l m sistemlerinde, Servis Temelli Mimariler (STM) sirketlere ihtiyac duyduklar esnekligi ve olceklenebilirligi saglamaktad r. Bu tur mimariler birbirine bagl servislerin ve tak mlar n say s nda art sa sebep olmaktad r. Bunun yan nda STM'de bircok farkl teknoloji ayn yaz l m sisteminde kullan lmaktad r. Yaz l m testcileri ve gelistiricileri asag daki sebeplerden dolay bagl olduklar servislere ulasmakta s k nt cekebilmektedirler: { Henuz gelistirilmesi tamamlanmam s servisler. { S n rl kapasiteli servisler. { Ucuncu-partiler taraf ndan saglanan servislerin maliyeti. { Ayn anda birden cok gelistirici veya testci taraf ndan ihtiyac duyulan servisler.

Bu sebeplerden dolay yaz l m gelistirmede test ikizleri ne ihtiyac duyulmaktad r. Servis sanallast rma ile ihtiyac duyulan servisin sanal bir kopyas yarat larak, Test Edilen Sistemi (TES) bag ml l klar ndan kurtarmak mumkundur. Sanal servisler, gercek servislerin yerine kullan larak, ozellikle buyuk yaz l m sistemlerinin testini kolaylast rmaktad r. Buna ek olarak sanal servisler, gercek servislerin hem performans hem de veri ozelliklerini taklit edebilmektedir.

Servis sanallast rma Sekil 1'de goruldugu gibi yakala, modelle, ve taklit-et sekline isimlendirebilecegimiz uc ana ad mdan olusmaktad r. Yakala ad m nda bir servisi sanallast rmak icin gerekli olan istek-cevap ikilileri kaydedilmektedir. Daha sonra kay tl veriden bir model c kar l r. Son olarak da, sanal servis gercek

Sekil 1. Servis sanallast rmaya genel bak s.

servisin yerine gorevlendirilir ve gelen isteklere gercege benzer yada gercekle ayn sentetik cevaplar uretir.

Servisler durumsal ve durumsal olmayan olmak uzere iki s n fa ayr labilir. Durumsal servislerde bir istek servisin durumunu degistirebilir. Durumsal servislerdecevaplar o andaki duruma bagl bir fonksiyondan uretilir. Bu tur servislere ornek olarak al sveris sepeti servisi ornegi verilebilir. Kullan c sepetin icerigini gormek ya da odemeye gitmek istediginde, servis dogru cevaplar uretebilmek icin daha once eklenmis ya da c kar lm s maddeleri hesaba katmak zorundad r. Durumsal olmayan servislerde ise cevap uretmek icin gerekli olan butun bilgiler istekte gonderilmektedir, baska bir soyleyisle servisin durumu onemli degildir. Bu tur bir servise ornek olarak bir sehirdeki otellerin isimlerini listeleyen bir servis verilebilir.

Bu bildirideki katk lar m z soyle s ralanabilir: { Durumsal servislerin sanallast r lmas na iki farkl cozum getirdik. { Sanal servis yaratmak icin makine ogrenmesi metodlar ndan faydaland k. { Bu bildiride onerdigimiz teknikleri bir arac haline getirdik ve gercek servisler uzerinde dogrulamas n yapt k. { Bu bildiride onerdigimiz teknikleri literaturdeki bir durumsal model c karma arac yla kars last rd k.

Bu bildirinin ikinci k sm nda ilgili cal smalar, ucuncu k sm nda on bilgiler, dorduncu k sm nda onerilen tekniklerin detaylar ve besinci k s mda degerlendirme detaylar anlat lmaktad r. Son olarak alt nc k s mda sonuclar ve gelecek cal smalar tart s lm st r. 2

I_lgili Cal smalar Michelsen ve ark. [ 17 ] cal smas nda servis sanallast rman n temellerini, detaylar n ve faydalar n anlatm st r. Servis sanallast rman n kullan m na dair bir vaka cal smas [ 20 ]'de gosterilmistir. Servis sanallast rmaya cozum getiren son cal smalar [ 6, 23, 7, 25, 26 ] durumsal olmayan servislerin sanallast r lmas icin bioinformatik algoritmalar ndan faydalanm st r. Bu cal smalardan sonuncusu [ 26 ], eski cal smalarda elde edilen sonuclar gelistirerek durumsal olmayan servislerin sanallast r lmas icin Opaque Service Virtualization (OSV) ad yla bir arac sunmustur. Eniser ve ark. [ 9 ] OSV'de elde edilen sonuclar daha da iyilestirmislerdir. Bunun d s nda [ 8 ]'de yazarlar durumsal servislerin sanallast r lmas icin literaturde bilinen ilk yontemleri sunmustur.

Akademideki cal smalar n yan s ra, IBM, HP, CA, SmartBear ve Parasoft gibi rmalar kendi servis sanallast rma araclar n gelistirmislerdir. Bu araclar n bir kars last rmas [ 10, 19 ]'de bulunabilir. Gercek kullan c lar uzerinde, bahsi gecen servis sanallast rma araclar yla alakal yap lm s bir anket bulunmaktad r [ 13 ].

Bunun d s nda kara-kutu durum modeli c karma teknikleri [ 2, 3, 22, 21, 15, 16, 27 ] sanallast r lmak istenen servisin modelini c karmak icin uygun bir yontem gibi gorunmektedir. Fakat daha onceki cal smalar n bu problem ozelinde uygulanmas icin problemin baska bir sekilde formulize edilmesi gerekmektedir. Fakat deneylerde gosterdigimiz gibi bu islem yuksek bir maliyet getirmektedir ve sonuclar memnun edici olmamaktad r. 3

Yontem

Bu k s mda, ornek bir durumsal servis anlatt ktan sonra durumsal servislerin sanallast r lmas icin iki farkl yontem sunacag z. Bu yontemlerde bir servise gelen herhangi bir istek icin dogru cevab tahmin etmeye cal sacag z. Sekil 1'de gosterildigi gibi daha once kaydedilmis istek-cevap dizilerinden ogrenme yoluyla bir model olusturacag z ve bu modeli gelen isteklere cevap sentezlemek icin kullanacag z. I_lk olarak bahsi gecen modeli s n and rma yontemiyle ogrenmeyi daha sonra ise derin ogrenme tekniklerini kullanarak ogrenmeyi gosterecegiz. S n and rma tabanl yontemde sentezlenmeye cal s lan cevab n her bir icerigi bir s n f olarak dusunulmus ve bu icerikler tahmin edilmeye cal s lm st r. Derin ogrenme tabanl yontemde ise modeli egitirken direk olarak istekleri ve onlara kars l k gelen cevaplar verdik ve boylece modelin istekten cevaba ceviri yapmay ogrenmesini saglad k. 3.1

O rnek Bir Durumsal Servis

Bu k s mda durumsal servis ornegi olarak takvim servisini anlatacag z. Bir kullan c takvim servisini kullanarak, etkinlik yaratabilir, etkinlik silebilir, bir etkinligin detaylar n gorebilir ya da etkinligin bilgilerini guncelleyebilir. Boyle bir servise ait istek-cevap dizileri Sekil 2'de gorulebilmektedir. Bu dizide istekler kesikli cizgilerin uzerinde, cevaplarsa alt nda gorunmektedir. I_stek tipleri (createEvent, updateEvent vs.) ve cevap tipleri (success, fail) kal n olarak yaz lm st r. Geriye kalan k s mlar ise istek ve cevaplar n iceriklerini olusturmaktad r.

Bu diziye gore ilk once bir etkinlik yarat lm s (createEvent), sonra etkinlik tarihi guncellenmis (updateEvent) daha sonra da etkinlik detaylar istenmistir (getEvent). Sonras nda etkinlik silinmis (deleteEvent) ve tekrar detaylar istenistir (getEvent). Fakat bu kez etkinlik silindigi icin cevap degismis ve hata al nm st r. Devam nda da baska bir etkinlik yarat lm s (createEvent) ve onun detaylar istenmistir (getEvent).

Bu dizi durumsal bir serviste dogru cevab n sentezlenebilmesi icin, sadece gelen istegin degil gelen istekle beraber gecmisin de hesaba kat lmas gerektigini gostermektedir. Cunku ornekte goruldugu gibi gecmisteki istek-cevap ikilileri yeni gelen bir istegin cevab n degistirebilmektedir. 3.2

S n

and rma Tabanl Sanallast rma (STS) S n and rma, girdiler ve c kt lar aras ndaki iliskiyi ogrenmek icin kulland g m z bir makine ogrenmesi yontemidir. S n and rmada verilen bir girdi mumkun olan s n ardan birisine atan r.

createEvent it1: 1‘e2v/e0n2t/11’8 → -----------success 200, OK updateEvent 16/01/18 -----------success 200, OK

getEvent → ‘-e--v-e--n-t--1-’-success ‘event1’ 16/01/18 200, OK deleteEvent ‘event1’ → -----------success 200, OK → getEvent ‘event1’ -----------fail 401, Not found.

createEvent → ‘0e9ve/0n9t2/1’8 ------------success 200, OK

getEvent → ‘-e-v--e-n--t-2--’success ‘event2’ 09/09/18 200, OK

Sekil 2. Takvim servisine ait ornek bir istek-cevap dizisi.

Durumsal bir serviste bir istegin cevab gecmisteki istek-cevap ikililerinden etkilenebilmektedir. Dolay s yla durumsal servis sanallast rma icin bir model egitirken verilen bir istegin kendisi ve gecmis istek-cevap ikilileri ile bu istegin cevab aras ndaki ilisikiyi ogrenmek isteriz. Gercek hayattaki servislerin istek tipleri, icerikleri ve cevaplar cogunlukla kategorik veri ozelligi gosterir. Kategorik verilerde iki veri noktas aras ndaki mesafe butun veri ikilileri icin esittir (O rn. I_stanbul, Ankara, I_zmir). Bu tur bir veriyi bir makine ogrenmesi algoritmas na girdi olarak verirken one-hot encoding yontemiyle yeniden formatlamak gerekir. Sekil 3'de ornek bir istek-cevap gecmisi ve ona kars l k gelen s n f atamalar gorulmektedir.

Girdiler Çıktılar 1

Sekil 3. Takvim servisine ait bir veri noktas nda ornek bir one-hot encoding uygulamas .

STS yontemi ham isteklerin ve cevaplar n istek tipi, istek icerigi, cevap tipi ve cevap icerigi seklinde cozumlenmesini gerektirmektedir. Girdi k sm nda, cozumlenen her bir alana one-hot encoding uygulan r, c kt k sm ndaysa tahmin edilmesi beklenen cevap icerikleri numaraland r l r. Sonuc olarak bu sekilde bir veri noktas olusturulmus olur.

O rnekte goruldugu gibi eger birden fazla s n f tahmin edilecekse ve her bir tahmin icin ikiden fazla s n f ihtimali varsa bu tur bir s n and rma problemine coklu c kt l coklu s n and rma problemi ismi verilir.

Biz bu cal smada, bahsedilen s n and rma problemi icin kural tabanl bir s n and rma yontemi olan Repeated Incremental Pruning to Produce Error Reduction (RIPPER) algoritmas n [ 5 ] kulland k. RIPPER s n f ayr st rmas icin ifthen kurallar ogrenir ve s n f atamalar n bu kurallara gore yapar. Farkedilecegi gibi dogru if-then kurallar n ogrenmek servis sanallast rma probleminde dogru cevaplar uretmek icin uygun bir yontemdir. Dolay s yla RIPPER burada en uygun s n and rma cozumu olarak durmaktad r. Bunun d s nda RIPPER' n egitme suresi de diger s n and rma algoritmalar na gore (orn: yapay sinir aglar ) oldukca iyidir.

Model, egitilmesi tamamland ktan sonra gelen bir istege cevap uretmek icin kullan lmaya haz rd r. Modele yeni bir istek ulast g nda, bu istek, gecmis istekcevap ikilileriyle birlikte one-hot encoding kullan larak modele uygun hale getirilir. Eger bir istegin gecmisinde veya kendisinde daha once kaydedilmemis bir icerik varsa bu icerik butun diger istek tipi, icerik vs.den farkl bir sekilde one-hot encoding yap s na cevirilir. Bir istek gecmisiyle birlikte bu sekilde modele girdi olarak verildikten sonra, model ilgili cevab tahmin edecektir.

Bu yontemi JSON, XML gibi cok kullan lan mesaj formatlar yla haberlesen servislerde kullanmak daha uygun olacakt r. Cunku ozel bir mesaj format yla haberlesen servislerden kaydedilen mesajlar n cozumlenmesi oldukca zor olabilir ve her bir ozel mesaj format icin ayr bir cozumleyici gerekmektedir. 3.3

Derin O grenme Tabanl Sanallast rma

Bu k s mda, durumsal servislerin sanallast r lmas icin derin ogrenme tabanl bir yontem sunacag z. Derin sinir aglar kavram ozellikle cok katmanl ve farkl mimarilerdeki yapay sinir aglar icin kullan lmaktad r. Derin ogrenme ise derin sinir aglar n n kullan ld g ogrenme yontemlerine denir. Biz durumsal servis sanallast rma icin Long Short Term Memory (LSTM) [ 12 ] yapay sinir ag mimarisi ile diziden-diziye ismi verilen bir model cesidi egittik. Diziden-diziye modelleri girdi olarak bir soz dizisi al r ve c kt olarak baska bir soz dizisi verir. Bu yontem ozel mesaj formatlar icin kullan labilir cunku dizilerin cozumlenmesi gerekmez.

Diziden-diziye modelleri girdinin bir dizi olarak ele al nmas gerektigi ceviri [ 24 ] ve otomatik chat-bot yaratma [ 28, 29 ] gibi konularda basar l sonuclar vermektedir. Diziden-diziye modellerinde devirli sinir aglar n n ozel bir formu olan LSTM'ler [ 12 ] kullan lmaktad r. LSTM'ler gecmisteki bir bilginin daha sonraki ad mlarda kullan lmas na olanak veren bir mimariye sahiptir. Bu ozellik durumsal servis sanallast rma ac s ndan onemlidir cunku doru cevab uretmek icin gecisteki istek-cevap ikililerini de hesaba katmak gerekir.

Diziden-diziye modellerinin genel yap s Sekil 4'de gorulmektedir. Bu yap embedding ad m ile birlikte bir kodlay c ve bir cozucuden olusur. Kodlay c ve cozucu birer LSTM ag d r.

DTS'ya ilk olarak bir sozluk olusturarak baslad k. Bu sozlugu Etkilesim Kutuphanesi'ndeki kay tl istek ve cevaplardan olusturduk. Daha onceki cal smalar [ 28, 24 ] sozlugu kelime baz nda olustururken biz bu sozlugu elimizde bir cozumleyici olmad g n varsayd g m z icin karakterler aras ndan olusturduk. Diziden-diziye modellerinde ilk olarak sozlukteki karakterle numaralan r ve girdiler kodlay c girmeden once yeni bir formata cevirilir. Yeni bir formata girdikten sonra girdi kodlay c ya verilir ve c kt olarak bu girdiyi temsil eden belli uzunlukta bir yoney elde edilir. Cozucu bu yoneyi alarak tekrardan girdiye kars l k gelen bir diziye cevirir.

Biz durumsal servislerin sanallast rmas nda gelen bir istegin gecmisini ve bu istege kars l k gelen cevab n aras ndaki iliskiyi bulmas icin bir diziden-diziye modeli egittik. Bu egitim yap l rken basar m n artmas icin belli teknikler uygulamak mumkundur. O rnegin biz bu cal smada, gecmisin tamam n tek bir seferde

Bugün Çözücü hava güneşli Bugün 1

Embedding hava 2 nasıl? 3 5 6 7

Sekil 4. Diziden-diziye modellerinin genel yap s kodlay c ve cozucu adl iki k s mdan

olusur. Bugun hava nas l? dizisi Bugun hava gunesli dizisine cevirilmis. vermek yerine gecmisteki her bir istek icin yeni bir veri noktas olusturup bunlar da modelin egitiminde kulland k. Bu sayede basar m m z n artt g n gorduk. 4

Degerlendirme

Bu k s mda, bu bildiride sundugumuz durumsal servis sanallast rma yontemlerinin gercek servislerin yerine gecmede ne kadar basar l olduklar n gosterdik ve egitme surelerini kars last rd k. K sacas deneyler ile (1) yontemlerimizin durumsal servis sanallast rmada ne kadar etkili olduklar n ve (2) yontemlerimizin h z n n ne oldugunu arast rd k. Bunun d s nda yontemlerimizi literaturdeki bir kara-kutu model c karma algoritmas (EFSM arac [ 27 ]) ile kars last rd k. 4.1

Degerlendirmede Kullan lan Servisler Yontemlerimizi degerlendirmek icin gercek hayattan iki tane servisi ele ald k. Bu servisler s ras yla ozel bir servis olan Havayolu Biletleme Servisi (HBS) herkesin kullan m na ac k olan Google Calendar API'd r (Takvim). Takvim servisi JSON format yla haberlesirken, HBS ozel bir mesaj format yla haberlesmektedir. Her iki servisin de gercek hayattan al nm s olmas ve farkl mesaj formatlar yla haberlesmeleri bu servisleri secmemizde etkili olmustur. HBS 26 farkl istek tipi icerirken, Takvim servisinde 5 farkl istek tipi kullan lm st r. Degerlendirme asamas nda STS yontemini HBS servisi uzerinde denemek icin ozel bir cozumleyici yazd k. HBS'den toplanan istek-cevap ikilileri bir havayolunun biletleme operasyonlar nda kulland g istekler ve cevaplara kars l k gelmektedir. Takvim servisi icin bir Python betigi vas tas yla rastgele istekler gondererek veri toplad k. Toplamda her bir servis icin her biri 10 istek-cevap ikilisi iceren 400 istek-cevap dizisi toplad k. Deneylerimiz bu say lar n yeterli oldugunu gosterdi. O lcutler: STS ve DTS yontemlerini hem dogruluk hem de performans ac s ndan degerlendirdik. Burada performans modellerin egitim suresine kars l k gelmektedir. STS yonteminin dogrulugunu olcmek icin Kesin Eslesme O lcutu (KEO ) ve Altkume Eslesme O lcutu (AEO ) [ 18 ] olmak uzere iki farkl olcut hesaplad k. DTS yontemi icin ise Kesinlik olcutunu hesaplad k. Yontemlerimizin dogas geregi ikisi icin de ayn olcutu kullanmak mumkun degildir. Fakat Kesin Eslesme O lcutu ve Kesinlik birbiriyle kars last r labilmektedir. I_ki yontemin kars last rmas bu olcut uzerinden yap labilir.

Kesin Eslesme O lcutu'nde bir tahminin dogru say labilmesi icin modelin c kt s ndaki s n f atamalar n n tamam n n dogru olmas gerekir. Goruldugu gibi bu olcut tahminlerdeki k smen dogru yap lan s n f atamalar n goz ard etmektedir. Buna kars n Altkume Eslesme O lcutunde bir tahminin dogrulugu model c kt s ndaki dogru s n f atamalar toplam s n f atamas na bolunmesiyle bulunur. O rnegin dogru c kt [ 1, 6, 3 ] iken egittigimiz modelin c kt s [ 1, 2, 3 ] ise Kesin Eslesme O lcutunde bu bu c kt n n dogrulugu 0 olarak hesaplan rken Altkume Eslesme O lcutunde dogruluk 23 olarak hesaplan r.

Bunun d s nda deneylerimizde STS yontemi icin mikro- ve makro-ortalamal F-skorunu da hesaplad k. F-skor temelde ikili s n and rma icin tan mlanm st r. Diger bir deyisle basit F-skor atama yap labilecek sadece iki s n f varken kullan l r. Fakat bunun skorun coklu-s n f s n and rma problemleri icin baska bir versiyonu mevcuttur. Biz de bu cal smada coklu-s n ar icin onerilmis F-skor versiyonunu kulland k.

Yukar da bahsettigimiz gibi DTS'de dogrulugu olcerken Kesinlik olcutu kullan l r. DTS'nin c kt s karakterlerden olusan bir dizidir. Kesinlik olcutune gore eger bu dizi beklenen c kt ile tam olarak uyumlu ise dogru say l r. Yanl zca bir karakterin bile yanl s olmas c kt n n yanl s olarak degerlendirilmesine sebep olur.

Deneylerin Tasar m : Deneylerimizde, her bir sanallast rma yontemiyle farkl uzunluklarda (k=1, k=5 ve k=10) gecmis istek-cevap dizilerinin hesaba kat ld g uc farkl sanal servis olusturduk. k=1 icin sadece son istek-cevap ikilisini hesaba katarken k=5 (k=10) icin son 5 (10) istek-cevap ikilisini ele ald k.

STS yonteminde faydaland g m z RIPPER yontemi icin Weka makine ogrenmesi kutuphanesini [ 11 ] kulland k. Weka icinde bir cok algoritman n haz r olarak bulundugu birlesik bir veri isleme arac d r. Bunun d s nda STS'yi kullan rken HBS icin bir cozumleyici yazmam z gerekiyordu, fakat, Takvim servisi icin Python'un kendisinde bulunan JSON cozumleyicisini kulland k.

DTS yontemiyle sanallast rma yaparken Tensor ow [ 1 ] kutuphanesinden faydaland k. Fakat Tensor ow'u direk kullanmak yerine Keras'tan [ 4 ] faydaland k. Keras, Tensor ow gibi farkl makine ogrenmesi kutuphanelerinin uzerinde cal san yuksek-duzeyli bir sinir ag API'sidir. DTS yontemini kullanarak sanallast r lacak her bir servis icin 1, 5 ve 10 uzunlugundaki gecmis istek-cevap dizilerini kullanarak 3 farkl sanal servis olusturduk. Egittigimiz diziden-diziye modeli 1 kodlay c , 2 cozucu ve 1 tane de ek katman olmak uzere toplam 4 gizli katmandan olusmaktad r. Kodlay c ve cozumleyici katmanlar 128'er norondan Servis k STS HBS 1 76.6 Takvim 1 70.3 HBS 5 82.7 Takvim 5 81.1 HBS 10 82.7 Takvim 10 82.0 olusmaktad r. Egitim s ras nda girdileri 128'erlik gruplar halinda verdik ve toplamda 1000 tekrarlama ile egitimi tamamlad k. Modelin egitimi icin ADAM oprimizasyon yontemini [ 14 ] kulland k ve kay p fonksiyonu olarak kategorik ters entropiden faydaland k.

EFSM arac n internetten indirerek kulland k ve deneylerimizde mumkun olan s n and rma parametreleri aras ndan J48'i sectik. Bu parametre EFSM arac n n en iyi cal st g parametre olarak gosterilmistir [ 27 ]. J48 secenegi bir cesit karar agac c karmaktad r. Bu arac kullanmak icin servis sanallast rma problemini bir model c karma problemi olarak formule ettik.

Deneylerimiz her bir servis icin uc ana ad mdan olusmaktad r: 1. Gercek servisten istek-cevap ikililerini toplama 2. Bu ikilileri kullanarak bir model ogrenme 3. O grenilen modelin dogrulugunu ve performans n olcme Bunun d s nda deneylerde STS yontemi ve EFSM arac icin 5-katl capraz gecerlilik uygulad k ve deneylerimizi 16 GB haf zal ve Intel Xeon E5-2630L v2 2.40GHz CPU islemcili bir sunucuda gerceklestirdik. 4.3

Deney Sonuclar Bu k s mda yapt g m z deneylerin sonuclar ndan bahsedecegiz. Dogruluk ve performans deneylerimizin sonucar Tablo 1 ve Tablo 2'da gorulmektedir.

Tablo 1. STS ve DTS yontemlerinin farkl k degerleri icin dogruluk sonuclar . k say s hesaba kat lan gecmis istek-cevap dizisinin uzunlugudur.

EFSM Arac

DTS KE O(%) AE O(%) Fmacro Fmicro KE O(%) AE O(%) Fmacro Fmicro Kesinlik Dogruluk Sonuclar : Tablo 1 goruldugu uzere butun olcutlerde en yuksek dogruluk oranlar her zaman k=10 icin elde edilmistir. Bu durum her iki servis icin de gecerlidir. F-mikro ve F-makro degerleri deneylerde al nan gorece yuksek KEO , AEO ve kesinlik olcutlerini desteklemektedir.

Bunun d s nda, STS kulland g m zda HBS'de Takvim servisine gore daha iyi sonuclar elde ettigimizi gorduk. Bunun sebebi de HBS'nin s n rl say da icerik veya cevap iceriginin olmas d r. Buna kars n Takvim servisinde cok farkl say da icerik bulunmaktad r.

Tablo 1'in gosterdigine gore en iyi sonuclar DTS ile elde edilmistir. Bu durum her iki servis icin de gecerlidir. DTS teknigi ile elde edilen sonuclar her zaman (KEO goz onunde bulunduruldugunda) STS ile elde edilenden iyi olmustur. En yuksek dogruluk oran ysa k=10 icin al nm st r. DTS yontemi k=10 icin hem HBS hem de Takvim servisinde %100'e yak n bir basar elde etmistir. Veriye daha detayl bakt g m zda %100'e ulasman n imkans z oldugunu farkettik. Bunun sebebi baz cevaplar n gecmis istek-cevap ikililerinde bulunan bilgilerden tamamen farkl iceriklerden olusuyor olmas d r. O rnegin gecmis istek-cevap ikililerinden bag ms z olarak cevapta o gunun saat ve tarihi bulunabilmektedir.Bu tur bir cevab tahmin etmek icin bu bildirideki yontemleri kullanmak gercekci degildir. Fakat bu tur bir problem kullan c taraf ndan kucuk bir manuel eforla halledilebilir.

EFSM arac n n sonuclar na bakt g m zda, degerlerin genellikle STS ile birbirine yak n olmas na ragmen cogu zaman STS'den dusuk oldugunu gormekteyiz.

O zetlemek gerekirse, DTS kullan larak olusturulan sanal servisler %90' n uzerinde bir dogrulukla cal sabilmektedir. STS kullan larak olusturulan servislerse daha dusuk dogruluk oranlar na sahiptir dolay s yla daha dusuk eslesme olcutunun yeterli oldugu durumlarda kullan labilir.

Tablo 2. STS ve DTS yontemlerinin farkl k degerleri icin performans sonuclar . k say s hesaba kat lan gecmis istek-cevap dizisinin uzunlugunu gostermektedir. Tabloada gosterilen egitim suresi su formattad r: (hh:mm).

Servis k DTS STS EFSM Arac HBS 1 01:42 00:01 00:06 Takvim 1 02:21 00:01 00:06

HBS 5 08:51 00:03 00:11 Takvim 5 09.54 00:03 00:14 HBS 10 14:42 00:04 00:18

Takvim 10 16:19 00:04 00:19 Performans Sonuclar : Tablo 2 goruldugu gibi STS yontemiyle sanal servis olusturmak DTS yontemine gore cok daha h zl d r. RIPPER s n and rma algoritmas n n kullan ld g STS yontemi dakikalar icerisinde egitilirken, DTS yontemiyle sanal servis olusturmak saatler almaktad r. Bu genel olarak egitmesi zor olan derin sinir aglar n kullanman n bir sonucudur. Fakat DTS'nin performans sonuclar n n iyilestirmenin CPU yerine GPU kullanarak mumkun olabilecegini dusunmekteyiz. EFSM arac ise DTS'den cok daha h zl cal s yor olmas na ragmen STS'den daha yavas cal smaktad r.

Sonuc olarak eger egitme suresi onem arzediyorsa STS yontemini kullanmak mant kl olacakt r. Diger yandan sanal servisin olusturulmas nda dogruluk daha onemli ise DTS yontemiyle olusturmak daha iyi sonuclar verecektir. 5

Sonuc

Yaz l mda Servis Temelli Mimariler sirketlere bir cok fayda saglasa da yaz l m gelistirme ve yaz l m testinde yuksek karmas kl kl ktan dolay s k nt lara sebep olabilmektedir. Biz bu cal smada yaz l m bilesenlerinin birbirine bag ml l klar ndan dolay ortaya c kacak sorunlar n ortadan kald r lmas icin otomatik servis sanallast rma yontemleri gelistirdik. Yontemlerimiz sanallast rmas cok daha zor olan durumsal servisler uzerinde cal sabilmektedir. Yontemlerimizde makine ogrenmesi algoritmalar ndan faydaland k. Sundugumuz yontemlerin birincisinde (STS) servis sanallast rma problemini bir s n and rma problemi olarak formulize ettik. I_kinci yontemde ise (DTS) diziden-diziye modellerini yani LSTM yap s ndaki yapay sinir aglar n kullanarak sanallast rma yapt k. Deneylerimizde yontemlerinizin gelen isteklere dogru cevaplar uretmede basar l oldugunu ve EFSM arac yla kars last r ld g nda hem dogruluk hem de performans ac s ndan daha iyi sonuclar verdigini gosterdik. STS yonteminin egitme suresi ac s ndan daha iyi sonuc verdigini, DTS yonteminin ise dogruluk ac s ndan en basar l performans gosterdigini gorduk. Bunun d s nda dizi uzunlugunun dogru cevap uretmede oldukca onemli oldugunu gorduk. Gelecekte istek-cevap ikililerini kullanarak servislerin sonlu durum makinesini c karmay planl yoruz. C kard g m z sonlu durum makineleri servis sanallast rma probleminin yeniden formulize edilmesini gerektirmeyecektir ve bu makinelerin dogrulugu yuksek olacakt r. Bunun yan nda halihaz rdaki yontemlerimizin dogrulukla beraber performans n da art rmay dusunuyoruz.

References

1. Abadi , M. , Agarwal , A. , Barham , P. , Brevdo , E. , Chen , Z. , Citro , C. , Corrado , G.S. , Davis , A. , Dean , J. , Devin , M. , et al.: Tensor ow: Large-scale machine learning on heterogeneous distributed systems . arXiv preprint arXiv:1603.04467 ( 2016 )

2. Beschastnikh , I. , Brun , Y. , Ernst , M.D. , Krishnamurthy , A. : Inferring models of concurrent systems from logs of their behavior with csight . In: International Conference on Software Engineering ( 2014 )

3. Beschastnikh , I. , Brun , Y. , Schneider , S. , Sloan , M. , Ernst , M.D.: Leveraging existing instrumentation to automatically infer invariant-constrained models . In: ACM SIGSOFT symposium and European conference on Foundations of software engineering ( 2011 )

4. Chollet , F. , et al.: Keras. https://github.com/fchollet/keras ( 2015 )

5. Cohen , W.W. : Fast e ective rule induction . In: 12th International Conference on Machine Learning ( 1995 )

6. Du , M. , Schneider , J.G. , Hine , C. , Grundy , J. , Versteeg , S. : Generating service models by trace subsequence substitution . In: International ACM Sigsoft conference on Quality of software architectures ( 2013 )

7. Du , M. , Versteeg , S. , Schneider , J.G. , Han, J ., Grundy , J.: Interaction traces mining for e cient system responses generation . SIGSOFT Software Engineering Notes 40 ( 1 ) ( 2015 )

8. Eniser , H.F. , Sen , A. : Testing service oriented architectures using stateful service visualization via machine learning . In: Proceedings of the 13th International Workshop on Automation of Software Test . pp. 9 { 15 . ACM ( 2018 )

9. Eniser , H.F. , Sen , A. , Polat , S.O. : Fancymock: creating virtual services from transactions . In: Proceedings of the 33rd Annual ACM Symposium on Applied Computing . pp. 1576 { 1578 . ACM ( 2018 )

10. Giudice , D.L. : Service virtualization and testing solutions . Forrester Wave ( 2014 )

11. Hall , M. , Frank , E. , Holmes , G. , Pfahringer , B. , Reutemann , P. , Witten , I.H. : The WEKA data mining software: an update . SIGKDD Explorations 11 ( 1 ), 10 { 18 ( 2009 )

12. Hochreiter , S. , Schmidhuber , J.: Long short-term memory . Neural computation 9(8) , 1735 { 1780 ( 1997 )

13. IT- Central-Station: Service virtualization a peek into what real users think . https://goo.gl/oN23qH ( 2017 ), accessed at December 2017

14. Kingma , D.P. , Ba , J.: Adam: A method for stochastic optimization . arXiv preprint arXiv:1412.6980 ( 2014 )

15. Krka , I. , Brun , Y. , Medvidovic , N. : Automatic mining of speci cations from invocation traces and method invariants . In: ACM SIGSOFT International Symposium on Foundations of Software Engineering . pp. 178 { 189 . ACM ( 2014 )

16. Lorenzoli , D. , Mariani , L. , Pezze , M.: Automatic generation of software behavioral models . In: International conference on Software engineering . pp. 501 { 510 . ACM ( 2008 )

17. Michelsen , J. , English , J.: What is service virtualization? In: Service Virtualization , pp. 27 { 35 . Springer ( 2012 )

18. Mohammad , S.S.: A literature survey on algorithms for multi-label learning . Oregon State University, Corvallis 73 ( 2010 )

19. Murphy , T.E. , Wilson, N.: Magic quadrant for integrated software quality suites . Gartner Research ( 2013 )

20. Nizamic , F. , Groenboom , R. , Lazovik , A. : Testing for highly distributed serviceoriented systems using virtual environments . Dutch Testing Day ( 2011 )

21. Ohmann , T. , Herzberg , M. , Fiss , S. , Halbert , A. , Palyart , M. , Beschastnikh , I. , Brun , Y. : Behavioral resource-aware model inference . In: International conference on Automated software engineering ( 2014 )

22. Ohmann , T. , Thai , K. , Beschastnikh , I. , Brun , Y. : Mining precise performanceaware behavioral models from existing instrumentation . In: International Conference on Software Engineering . pp. 484 { 487 . ACM ( 2014 )

23. Schneider , J.G. , Mandile , P. , Versteeg , S. : Generalized su x tree based multiple sequence alignment for service virtualization . In: Australasian Software Engineering Conference (ASWEC) ( 2015 )

24. Sutskever , I. , Vinyals , O. , Le , Q.V. : Sequence to sequence learning with neural networks . In: Advances in neural information processing systems ( 2014 )

25. Versteeg , S. , Du , M. , Bird , J. , Schneider , J.G. , Grundy , J ., Han, J .: Enhanced playback of automated service emulation models using entropy analysis . In: International Workshop on Continuous Software Evolution and Delivery (CSED) ( 2016 )

26. Versteeg , S. , Du , M. , Schneider , J.G. , Grundy , J ., Han, J ., Goyal , M. : Opaque service virtualisation: a practical tool for emulating endpoint systems . In: International Conference on Software Engineering Companion ( 2016 )

27. Walkinshaw , N. , Taylor , R., Derrick , J.: Inferring extended nite state machine models from software executions . Empirical Software Engineering 21 ( 3 ), 811 { 853 ( 2016 )

28. Xu , A. , Liu , Z. , Guo , Y. , Sinha , V. , Akkiraju , R.: A new chatbot for customer service on social media . In: Conference on Human Factors in Computing Systems ( 2017 )

29. Zhou , X. , Hu , B. , Chen , Q. , Tang , B. , Wang , X. : Answer sequence learning with neural networks for answer selection in community question answering . arXiv preprint arXiv:1506.06490 ( 2015 )