<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Archiving and Interchange DTD v1.0 20120330//EN" "JATS-archivearticle1.dtd">
<article xmlns:xlink="http://www.w3.org/1999/xlink">
  <front>
    <journal-meta />
    <article-meta>
      <title-group>
        <article-title>Teknolo jisinin Yazılım Testlerinde Kullanımı Performans</article-title>
      </title-group>
      <fpage>477</fpage>
      <lpage>485</lpage>
      <abstract>
        <p>Özet. Yazılım test işlemi, yazılım geliştirmenin kritik bir adımı olmasının yanında, maliyet, iş gücü ve yüksek kaynak kullanımı gerektiren bir süreçtir. Bulut bilişim ise, sağladığı yüksek bellek ve işlemci gücü sayesinde son dönemin popüler teknolojileri arasındadır. Bulut bilişim teknolojisinin yazılım testlerinde kullanımı, yazılım test işleminde harcanan efor ve maliyeti etkiler mi? Yazılım testlerini yerel kaynaklar yerine bir dış kaynak olarak bulut teknolojisinde sağlamanın yararları ve dezavantajları nelerdir? Küçük ölçekli sistemler için, ücretsiz sunulan bulut test uygulamaları hangi düzeyde yazılım testi gerçekleştirmektedir ve hangi düzeyde sonuç üretebilmektedir? Bu çalışmada, bu üç kritik soruya cevap aranmıştır ve deneysel uygulama çalışması ile bulut üzerinde yazılım test işlemi incelenmiştir.</p>
      </abstract>
    </article-meta>
  </front>
  <body>
    <sec id="sec-1">
      <title>-</title>
      <p>Anahtar kelimeler. Bulut bilişim, Yazılım testi, Yazılım performans
testleri
Usage of Cloud Computing on Software</p>
      <p>Performance Testing</p>
      <p>Gürkan Alpaslan1 and Oya Kalıpsız2</p>
    </sec>
    <sec id="sec-2">
      <title>1;2Department of Computer Engineering, Yildiz Technical University, Istanbul,</title>
      <p>Turkey
1gurkana@yildiz.edu.tr,2oya@ce.yildiz.edu.tr
1</p>
      <sec id="sec-2-1">
        <title>Giriş</title>
        <p>
          Bulut bilişim, dış sistemler tarafından sağlanan kaynakların yerel bilgisayarlar
üzerinden erişilmesidir [
          <xref ref-type="bibr" rid="ref1">1</xref>
          ]. Bu teknolojide sanallaştırılmış makinelere uzaktan
erişim vasıtasıyla erişilerek, erişilen makinelerin bellek ve işlemci gücünden
faydalanılır. Ayrıca makineler üzerindeki uygulama ve programlar sayesinde,
uygulama ve yazılım düzeyinde bulut teknolojisinden faydalanılabilir. Bu sayede,
internet ağları üzerinden dünya üzerinde lokasyon önemi olmadan, bulut
içerisindeki verilere erişilebilir [
          <xref ref-type="bibr" rid="ref5">5</xref>
          ], [
          <xref ref-type="bibr" rid="ref8">8</xref>
          ].
        </p>
        <p>
          Bu teknolojide, veri güvenliği, sistem bakımı gibi sürdürülebilir yapılar da
bulut sağlayıcısı tarafından karşılanmaktadır [
          <xref ref-type="bibr" rid="ref2">2</xref>
          ]. Ayrıca bulut bilişim teknolojisi
ölçeklenebilir bir yapıdadır. Yani anlık olarak yüksek kaynaklara ulaşılabilmekte;
ihtiyaç düzeyinde kaynak tüketimi düzenlenebilmektedir. Bu sayede, belli bir
zaman dilimi için yüksek kaynak kullanımı gerektiren bir durum olduğunda, anlık
olarak sistemimizi bu duruma adapte ederek talep karşılanabilir. Bu durumu,
yerel imkanlar ile şirket bünyesinde gerçekleştirmek zaman, deneyim, yetişmiş
personel ve yüksek maliyet gerektirecektir [
          <xref ref-type="bibr" rid="ref10">10</xref>
          ]. Bulut bilişimde ise, saniyeler
içinde, sadece kullanılan maliyetin ödenmesi ile adaptasyon sağlanabilir [
          <xref ref-type="bibr" rid="ref3">3</xref>
          ]. Bu
özelliklerine ek olarak, dağıtık sistem uygulamaları için, bulut bilişim avantajlar
sunmaktadır. Farklı lokasyonlardaki sistemler ortak bulut ağı üzerinden birbirleri
ile etkileşim kurabilmektedir [
          <xref ref-type="bibr" rid="ref4">4</xref>
          ].
        </p>
        <p>
          Uygulama düzeyinde bulut kullanımı ile, bulut üzerindeki uygulama ve
programlardan ağ üzerinde erişen tüm sistemler faydalanmaktadır. Bu anlamda,
yerelde olmayan uygulamalardan, yerel bilgisayarlara yüklemeden faydalanılması
sağlanır. Bu uygulamaların bir kategorisi de yazılım test uygulamalarıdır [
          <xref ref-type="bibr" rid="ref6">6</xref>
          ].
        </p>
        <p>Yazılım test aşaması, oluşturulan yazılımın uygunluğunu ve doğruluğunu
denetleme sürecidir. Bu aşamada analiz aşamasında belirlenen gereksinimlerin
karşılanıp karşılanmadığı kontrol edilir. Test aşamaları, incelediği yazılım parçası
özelliklerine ve uyguladığı teste göre çeşitlere ayrılmaktadır. Bu test çeşitleri
ikinci bölümde anlatılmıştır. Bulut teknolojisi kullanılarak, özellikle yükleme,
stres ve performans testleri uygulanmaktadır.</p>
        <p>Bu bildiri çalışması şu bölümlerden oluşmaktadır. İkinci bölümde bulut
bilişim üzerinde test sürecinin nasıl gerçeklendiği; avantaj ve dezavantajları
anlatılmıştır. Üçüncü bölümde, yapılan uygulama çalışması anlatılmış, dördüncü
bölümde uygulama çalışmasının bulguları değerlendirilmiştir. Beşinci bölümde,
sonuç ve öneriler belirtilmiştir.
2</p>
      </sec>
      <sec id="sec-2-2">
        <title>Bulut Bilişim ile Yazılım Testi</title>
        <p>
          Bulut bilişimde test süreci, üçüncü parti yazılımlar üzerinden bulut ortamında
oluşturulan simülasyon uygulamaları ile gerçeklenmektedir. Simülasyon ortamı,
test işlemi gerçekleştirmek amacı için sanal kullanıcılar üretir. Bu sanal
kullanıcılar tarafından uygulamaya kullanım talepleri gönderilir ve uygulamanın
bu talepleri karşılama kalitesi gözlenir. Elde edilen sonuçlar, grafik ve şemalar
ile desteklenerek, geliştirici ve ürün kullanıcısına uygulamanın kalitesi hakkında
bilgi verir. Bu yazılımlar ile kısa süre içinde yüksek kaynak kullanımı ile test
işlemi yapılabilmektedir. Bulut bilişim ortamında performans ölçümüne dayalı
yazılım testleri olarak aşağıdaki test işlemleri uygulanabilir [
          <xref ref-type="bibr" rid="ref7">7</xref>
          ], [
          <xref ref-type="bibr" rid="ref13">13</xref>
          ], [
          <xref ref-type="bibr" rid="ref14">14</xref>
          ] :
– Performans testi, yazılımın çalışma anında komutları gerçekleme hızı test
edilir.
– Yükleme testi, yazılımın yüksek veri girişine imkan verebilme oranı kontrol
edilir.
– Stres testi, yazılımın yüksek veriye olan dayanıklılığı kontrol edilir.
– Gecikme testi, web uygulamaları için sayfanın cevap verme hızı test edilir.
– Ölçeklenebilirlik testi, yazılımın farklı kaynak düzeyleri için esnekliği test
edilir.
2.1
        </p>
        <sec id="sec-2-2-1">
          <title>Avantajları</title>
          <p>
            Yazılım test sürecinin bulut bilişim teknolojisi ile yapılmasının sağladığı
avantajlar şunlardır [
            <xref ref-type="bibr" rid="ref9">9</xref>
            ], [
            <xref ref-type="bibr" rid="ref12">12</xref>
            ] :
– Test işleminin kaynakları buluttan sağlanır. Bu sayede yerel kaynak ayırma
zahmetinden kurtarır.
– Maliyeti düşürür.
– Donanım ve yazılım bakımı bulut sağlayıcısı gerçekleştirir.
– Ölçeklenebilmesi sayesinde o an istediğimiz kadar bellek ve işlemci kullanımı
sağlar.
– "Harcadığın kadar öde" mantığı uygulanır. Kullanılmayan alan için masraf
üretmez.
– Gerçek ortam ile daha efektif test sağlanır. Simülasyon ortamları, gerçek
işlemlerin test edilmesini ve sonuçların doğruluğunu arttırır.
– Son teknolojinin takibini sağlar. Bulut sağlayıcılar, sistemlerini sürekli olarak
güncellemektedir. Bu sayede son çıkan yeniliklerden faydalanılır.
2.2
          </p>
        </sec>
        <sec id="sec-2-2-2">
          <title>Dezavantajları</title>
          <p>
            Yazılım test sürecinin bulut bilişim teknolojisi ile yapılmasının sağladığı
dezavantajlar şunlardır [
            <xref ref-type="bibr" rid="ref11">11</xref>
            ]:
– Güvenlik konusu endişe yaratabilir. Yüksek gizlilik gerektiren uygulamalar
için, lokal kaynaklar kullanılması güvenlik için tercih edilebilir.
– Virüs saldırılarına açık bir ortamdır. Sizin kaynaklarınız saldırı riski
taşımasa bile, bulut altyapısındaki diğer kaynaklara düzenlenecek saldırılardan
etkilenebilirsiniz.
– %100’e yakın erişim garantisi vermesine rağmen, acil durumlarda erişim
sıkıntısı yaratabilir ve bu durum yerel kaynaklar ile düzeltilemez, kontrol
bulut sağlayıcısındadır.
3
          </p>
        </sec>
      </sec>
      <sec id="sec-2-3">
        <title>Uygulama Çalışması</title>
        <p>Bulut bilişim ile test işlemi gerçekleştirmemizi sağlayan çeşitli ürün sağlayıcı
servisler bulunmaktadır. Bu uygulama çalışmasında bulut süreç ile test işlemi
sağlayıcılarından dört adet seçerek, ücretsiz olarak sundukları hizmetlerden
yararlanılmıştır. Bu sağlayıcılar:
– LoadFocus
– RedLine 13
– Blaze Meter
– LoadStorm</p>
        <p>Yıldız teknik üniversitesinin web sayfası olan "www.yildiz.edu.tr" adresi,
üstteki dört yazılım üzerinden test işlemine tabi tutulmuştur. Test işlem adımları,
giriş için istenilen ve çıkış olarak verilen bilgiler değerlendirilmiştir.
4
4.1</p>
      </sec>
      <sec id="sec-2-4">
        <title>Bulgular ve Tartışma</title>
        <sec id="sec-2-4-1">
          <title>LoadFocus</title>
          <p>Bulut üzerinden yükleme ve performans testleri yapmamıza olanak veren bir
sağlayıcıdır. Test işlemini yapmak için girilen giriş değerleri şunlardır.
LoadFocus 1 test işlemi arayüzü Şekil 1’de gösterilmiştir.</p>
        </sec>
      </sec>
    </sec>
    <sec id="sec-3">
      <title>1 https://loadfocus.com/</title>
      <p>Şekil. 1. LoadFocus ile Test İşlemi Arayüzü
Sunucunun lokasyonu: Bulut sağlayıcı kaynakların bulundukları konumu belirtir.
Müşteri sayısı: Simülasyonun kaç sanal müşteri üzerinden yapılacağını belirtir.
Süre : Test simülasyonunun ne kadar süre boyunca gerçekleştirileceğini belirtir.
Gecikme : Milisaniye cinsinden değer alır. Müşteriler arası gecikme süresinin
değerini belirtir. Anlık olarak ne yoğunlukta sistemi meşgul edileceğini belirtir.
Müşteri tekrar sayısı : Müşterilerin gönderdikleri istek miktarını belirtir. Bir
müşteri için kaç tekrar yapılacağı buradan ayarlanır.</p>
      <p>Metot : “Get” ve “Post” olmak üzere iki değer alır. Bu sayede get ve post
metotların simülasyonu gerçekleştirilir.</p>
      <p>Protokol :Web sayfasının test işleminin hangi protokol üzerinden
gerçekleştirileceği kararlaştırılır. “Http” ve “Https” olarak iki değer alabilir.</p>
      <p>Url : Test işlemine tutulacak web sayfasının adresini belirtir.</p>
      <p>Değişkenler : Web sayfasına değişken göndererek test işlemine tabi tutmamızı
sağlar.</p>
      <p>Şekil. 2. LoadFocus Test Sonuçları</p>
      <p>Yapılan test işlemi sonucunda elde edilen sonuç arayüzü Şekil 2’de
gösterilmiştir. Bu sonuçlara göre verilen çıktılar şunlardır:
– Cevap süresi : Milisaniye cinsinden değer alır. Test edilen web sayfasının
gönderilen isteklere cevap verebilme yeteneğini belirtir. Ortalama değer burada
gösterilir. Bu sebeple test sürelerinin mümkün olduğunca arttırılması daha
doğru sonuçların alınabilmesi için önem taşımaktadır.
– Hatalar : Web sayfasının test işlemi sırasında karşılaşılan hata sayısını
belirtir. Örneğin, test için istek gönderilen web sayfasından cevap dönmemesi bir
hatadır.
– Gecikme : Milisaniye cinsinden değer döndürür. Gönderilen isteklerde
ortalama gecikme süresi bu veri ile gösterilir.
– Anlık istek miktarı (Hits/s) : Bir saniyede ortalama gönderilen istek
miktarını belirtir.
– Anlık dönüş miktarı (Throughput/s) : Bir saniyede ortalama alınan dönüş
miktarını belirtir.
– Boyut : Kilobyte cinsinden değer gösterir. Değerlendirilen veri boyutunu
belirtir.</p>
      <p>Şekil. 3. RedLine 13 Test Sonuçları
4.2</p>
      <sec id="sec-3-1">
        <title>RedLine 13</title>
        <p>RedLine 13 2 uygulamasında, LoadFocus uygulamasından farklı olarak, gecikme
birimlerini minimum ve maksimum olarak değerler verilebilmektedir. Ayrıca,
kendi kod parçalarımızı sisteme ekleyerek bulut üzerinde web sayfasının test</p>
      </sec>
    </sec>
    <sec id="sec-4">
      <title>2 https://www.redline13.com/blog/</title>
      <p>işlemini gerçekleştirme imkanı sunmaktadır. Bu sayede yazılımın sunduğu
imkanlara ek olarak farklı testlerin de yapılması sağlanmaktadır.</p>
      <p>RedLine 13 ile Yıldız Teknik Üniversitesi web sayfasının test işlemine
tutulması sonucunda, ortalama sayfa yüklenme hızı 1.5764 saniye olarak verilmiştir.
Ayrıca yazılım, grafiksel gösterim imkanı da sunmaktadır. Bu sayede her sayfanın
saniyede istek sayısı ve saniyede cevap sayısı grafiksel olarak sunulmaktadır.
Bunlara ek olarak, anlık işlemci kullanım oranı da grafik üzerinde gösterilmektedir.
Şekil 3’de, yaptığımız test sonuçlarından bir örnek gösterilmiştir.
4.3</p>
      <sec id="sec-4-1">
        <title>Blaze Meter</title>
        <p>Blaze Meter 3 yazılımı deneme sürümü kapsamında, diğer yazılımlara göre daha
uzun süre yükleme testi gerçekleştirmiştir. Blaze Meter ile 15 dakika boyunca
yükleme testi simülasyonu gerçekleştirildi. Elde edilen sonuçlar Şekil 4’de
gösterilmektedir.</p>
        <p>Şekil. 4. Blaze Meter Test Sonuçları
4.4</p>
      </sec>
      <sec id="sec-4-2">
        <title>Load Storm</title>
        <p>Load Storm 4 yazılımı, yük testi üzerine yoğunlaşmış bir uygulamadır. Test işlemi
süresince oluşturulan grafik anlık olarak güncellenerek hangi durumlarda cevap
verme oranının düştüğü gözlemlenebilmektedir. Load Storm ile yapılan çalışma
sonuçları Şekil 5’de gösterilmektedir.</p>
      </sec>
    </sec>
    <sec id="sec-5">
      <title>3 https://www.blazemeter.com/</title>
    </sec>
    <sec id="sec-6">
      <title>4 https://loadstorm.com/</title>
      <p>Şekil. 5. Load Storm Test Sonuçları
4.5</p>
      <sec id="sec-6-1">
        <title>Değerlendirme</title>
        <p>Uygulamalar, aynı web sitesi üzerinde deneme yapılması ve aynı deney ortamında
çalıştırılmasına rağmen, ortalama cevap süresi ve ortalama gecikme süresi gibi
değerlerde, bir miktar değişkenlik görülmüştür. Bant genişliğinin anlık
değişiminin, bu değişkenliğe sebep verebildiği burada görülmektedir. Dört uygulama
arasında "Redline 13" uygulaması, sağladığı kapsamlı simülasyon desteği ile
diğerlerinden ayrılmaktadır. Bu özelliği sayesinde, anlık olarak değişim
gözlemlenebilmektedir. Ayrıca, sayfa bazında performans analizi ile, sistemi yoran web
sayfalarının tespiti ve düzenlenmesi sağlanabilir. "Load storm" uygulaması da,
yükleme testi sonuçlarını kapsamlı olarak çok sayıda farklı parametre ile
değerlendirmesi avantajlıdır.</p>
        <p>"Load focus" uygulaması ise, web sayfasının "get" ve "set" metotlarını
kapsamlı test edebilme yeteneği ile dikkat çekmektedir. Web sayfasına parametre
göndererek, sayfa performansını test edebilmektedir. Bu özellik ile cevap süreleri
daha kapsamlı değerlendirilebilir.
5</p>
        <sec id="sec-6-1-1">
          <title>Sonuç ve Öneriler</title>
          <p>Bulut bilişimin yazılım testlerinde kullanılması, özellikle küçük ve orta düzeyde
yazılım şirketleri için maliyet yönünden avantaj sağlayacağı söylenebillir. Bu
yazılım şirketleri için son teknoloji yazılımlar ve donanım ile test yapmanın
maliyeti, bakım ve yetişmiş eleman ihtiyaçları da göz önüne alınırsa, dış
kaynak kullanılarak bulut ile sağlamak fayda getirecektir.</p>
          <p>Ayrıca, yazılım test sürecini sürekli olarak uygulamayan, veya doğrudan bir
yazılım şirketi olmamasına rağmen, yazılım testi gereksinimi bulunan kuruluşlar
için de, bulut bilişimin ihtiyaç anında kullanım sunması avantaj olmaktadır.
Yazılım testleri içerisinde, yüksek işlem gücü gerektiren test işlemleri için bulut
teknolojiyi kullanmak daha verimlidir. Bu amaç ile yükleme, performans, stres
testlerinin bulut teknoloji içerisinde kullanımı, zaman yönünden fayda
getirmektedir.</p>
        </sec>
      </sec>
    </sec>
  </body>
  <back>
    <ref-list>
      <ref id="ref1">
        <mixed-citation>
          1.
          <string-name>
            <surname>Armbrust</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Fox</surname>
            ,
            <given-names>A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Griffith</surname>
            ,
            <given-names>R.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Joseph</surname>
            ,
            <given-names>A.D.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Katz</surname>
            ,
            <given-names>R.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Konwinski</surname>
            ,
            <given-names>A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Lee</surname>
            ,
            <given-names>G.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Patterson</surname>
            ,
            <given-names>D.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Rabkin</surname>
            ,
            <given-names>A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Stoica</surname>
            ,
            <given-names>I.</given-names>
          </string-name>
          , et al.:
          <article-title>A view of cloud computing</article-title>
          .
          <source>Communications of the ACM</source>
          <volume>53</volume>
          (
          <issue>4</issue>
          ),
          <fpage>50</fpage>
          -
          <lpage>58</lpage>
          (
          <year>2010</year>
          )
        </mixed-citation>
      </ref>
      <ref id="ref2">
        <mixed-citation>
          2.
          <string-name>
            <surname>Chana</surname>
            ,
            <given-names>I.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Rana</surname>
            ,
            <given-names>A.</given-names>
          </string-name>
          , et al.:
          <article-title>Empirical evaluation of cloud-based testing techniques: a systematic review</article-title>
          .
          <source>ACM SIGSOFT Software Engineering Notes</source>
          <volume>37</volume>
          (
          <issue>3</issue>
          ),
          <fpage>1</fpage>
          -
          <lpage>9</lpage>
          (
          <year>2012</year>
          )
        </mixed-citation>
      </ref>
      <ref id="ref3">
        <mixed-citation>
          3.
          <string-name>
            <surname>Dad</surname>
            ,
            <given-names>F.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Hameed</surname>
            ,
            <given-names>A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Imad</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Salman</surname>
            ,
            <given-names>M.:</given-names>
          </string-name>
          <article-title>A comparative study of conventional software testing using cloud</article-title>
          .
          <source>IJMCA</source>
          <volume>5</volume>
          (
          <issue>2</issue>
          ),
          <fpage>047</fpage>
          -
          <lpage>053</lpage>
          (
          <year>2017</year>
          )
        </mixed-citation>
      </ref>
      <ref id="ref4">
        <mixed-citation>
          4.
          <string-name>
            <surname>Dikaiakos</surname>
            ,
            <given-names>M.D.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Katsaros</surname>
            ,
            <given-names>D.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Mehra</surname>
            ,
            <given-names>P.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Pallis</surname>
            ,
            <given-names>G.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Vakali</surname>
            ,
            <given-names>A.</given-names>
          </string-name>
          :
          <article-title>Cloud computing: Distributed internet computing for it and scientific research</article-title>
          .
          <source>IEEE Internet computing 13(5)</source>
          (
          <year>2009</year>
          )
        </mixed-citation>
      </ref>
      <ref id="ref5">
        <mixed-citation>
          5.
          <string-name>
            <surname>Furht</surname>
            ,
            <given-names>B.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Escalante</surname>
            ,
            <given-names>A.</given-names>
          </string-name>
          :
          <article-title>Handbook of cloud computing</article-title>
          ,
          <source>vol. 3</source>
          . Springer (
          <year>2010</year>
          )
        </mixed-citation>
      </ref>
      <ref id="ref6">
        <mixed-citation>
          6.
          <string-name>
            <surname>Gao</surname>
            ,
            <given-names>J.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Bai</surname>
            ,
            <given-names>X.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Tsai</surname>
          </string-name>
          , W.T.:
          <article-title>Cloud testing-issues, challenges, needs and practice</article-title>
          .
          <source>Software Engineering: An International Journal</source>
          <volume>1</volume>
          (
          <issue>1</issue>
          ),
          <fpage>9</fpage>
          -
          <lpage>23</lpage>
          (
          <year>2011</year>
          )
        </mixed-citation>
      </ref>
      <ref id="ref7">
        <mixed-citation>
          7.
          <string-name>
            <surname>Incki</surname>
            ,
            <given-names>K.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Ari</surname>
            ,
            <given-names>I.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Sözer</surname>
          </string-name>
          , H.:
          <article-title>A survey of software testing in the cloud</article-title>
          .
          <source>In: Software Security</source>
          and
          <string-name>
            <given-names>Reliability</given-names>
            <surname>Companion (SERE-C)</surname>
          </string-name>
          ,
          <year>2012</year>
          IEEE Sixth International Conference on. pp.
          <fpage>18</fpage>
          -
          <lpage>23</lpage>
          . IEEE (
          <year>2012</year>
          )
        </mixed-citation>
      </ref>
      <ref id="ref8">
        <mixed-citation>
          8.
          <string-name>
            <surname>Jadeja</surname>
            ,
            <given-names>Y.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Modi</surname>
            ,
            <given-names>K.</given-names>
          </string-name>
          :
          <article-title>Cloud computing-concepts, architecture and challenges</article-title>
          .
          <source>In: Computing, Electronics and Electrical Technologies (ICCEET)</source>
          , 2012 International Conference on. pp.
          <fpage>877</fpage>
          -
          <lpage>880</lpage>
          . IEEE (
          <year>2012</year>
          )
        </mixed-citation>
      </ref>
      <ref id="ref9">
        <mixed-citation>
          9.
          <string-name>
            <surname>Jun</surname>
            ,
            <given-names>W.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Meng</surname>
            ,
            <given-names>F.</given-names>
          </string-name>
          :
          <article-title>Software testing based on cloud computing</article-title>
          .
          <source>In: Internet Computing &amp; Information Services (ICICIS)</source>
          , 2011 International Conference on. pp.
          <fpage>176</fpage>
          -
          <lpage>178</lpage>
          . IEEE (
          <year>2011</year>
          )
        </mixed-citation>
      </ref>
      <ref id="ref10">
        <mixed-citation>
          10.
          <string-name>
            <surname>Katherine</surname>
            ,
            <given-names>A.V.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Alagarsamy</surname>
            ,
            <given-names>D.K.</given-names>
          </string-name>
          :
          <article-title>Conventional software testing vs. cloud testing</article-title>
          .
          <source>International Journal Of Scientific &amp; Engineering Research</source>
          <volume>3</volume>
          (
          <issue>9</issue>
          ) (
          <year>2012</year>
          )
        </mixed-citation>
      </ref>
      <ref id="ref11">
        <mixed-citation>
          11.
          <string-name>
            <surname>Katherine</surname>
            ,
            <given-names>A.V.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Alagarsamy</surname>
            ,
            <given-names>K.</given-names>
          </string-name>
          :
          <article-title>Software testing in cloud platform: A survey</article-title>
          .
          <source>International Journal of computer applications 46(6)</source>
          ,
          <fpage>21</fpage>
          -
          <lpage>25</lpage>
          (
          <year>2012</year>
          )
        </mixed-citation>
      </ref>
      <ref id="ref12">
        <mixed-citation>
          12.
          <string-name>
            <surname>Liu</surname>
            ,
            <given-names>Y.</given-names>
          </string-name>
          :
          <article-title>Cloud-based testing: Opportunities and challenges</article-title>
          .
          <source>Cloud-Based Software Engineering</source>
          pp.
          <fpage>40</fpage>
          -
          <lpage>45</lpage>
          (
          <year>2013</year>
          )
        </mixed-citation>
      </ref>
      <ref id="ref13">
        <mixed-citation>
          13.
          <string-name>
            <surname>Nachiyappan</surname>
            ,
            <given-names>S.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Justus</surname>
            ,
            <given-names>S.</given-names>
          </string-name>
          :
          <article-title>Cloud testing tools and its challenges: A comparative study</article-title>
          .
          <source>Procedia Computer Science</source>
          <volume>50</volume>
          ,
          <fpage>482</fpage>
          -
          <lpage>489</lpage>
          (
          <year>2015</year>
          )
        </mixed-citation>
      </ref>
      <ref id="ref14">
        <mixed-citation>
          14.
          <string-name>
            <surname>Riungu-Kalliosaari</surname>
            ,
            <given-names>L.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Taipale</surname>
            ,
            <given-names>O.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Smolander</surname>
            ,
            <given-names>K.</given-names>
          </string-name>
          :
          <article-title>Testing in the cloud: Exploring the practice</article-title>
          .
          <source>IEEE software 29(2)</source>
          ,
          <fpage>46</fpage>
          -
          <lpage>51</lpage>
          (
          <year>2012</year>
          )
        </mixed-citation>
      </ref>
    </ref-list>
  </back>
</article>