O¨ zet Yazılım testinde uygulanabilecek en basit yakla¸sım verilen bir kod par¸casındaki bu¨tu¨n olasılıkları test etmektir. Bu durum zaman ve bu¨tc¸e kısıtları nedeniyle pratikte imkansızdır. Yazılım hata tahmini yo¨ntemleri proje y¨oneticileri tarafından, test a¸samasında, kısıtlı olan kaynakları efektif bir ¸sekilde dag˘ıtmak i¸cin kullanılmaktadır. Bu alandaki ¸calı¸smalar o¨zellikle 2005 yılından itibaren artarak devam etmektedir. Bu c¸alı¸smada literatu¨rde var olan metriklerin web uygulamaları ic¸in yeterli olup olmadı˘gı sorgulanmı¸stır. Web uygulamaları u¨zerinde yaptıg˘ımız deneyler hata tahmininin web uygulamaları u¨zerinde optimum sonuc¸lar vermekten uzakta oldu˘gunu go¨stermektedir. Bu tip uygulamaları geli¸stirmede kullanılan ya¸sam d¨ongu¨su¨, dig˘er uygulamalar ic¸in kullanılanlarla aynı olsa da teknik bakımdan ayrı¸stıkları bazı noktalar bulunmaktadır. Bu nedenle yazılım hata tahmini alanında web uygulamalarına ¨ozel metrikler olu¸sturulmasını o¨nermekteyiz.
y¨ontemler yazılım testinde g¨orev yapan ki¸silere test senaryolarının ne ¸sekilde
u¨retetilece˘gine ve organize edileceg˘ine karar vermelerine yardımcı olmaktadır.
Hatalı modu¨llerin do˘gru tahmin edilmesi yazılım testinin masrafını azaltır ve
proje y¨oneticileri kısıtlı kaynaklarını i¸slere atama konusunda daha rahat hareket
edebilirler [
Bu alanda c¸alı¸san ara¸stırmacılar ¸simdiye kadar hata tahmini modellerini
kurarken statik kod metrikleri, kod deg˘i¸sim metrikleri, geli¸stirici ve modu¨l
a˘gları gibi farklı metrik ku¨melerinden yararlandılar. Bunlar arasında statik
kod metrikleri 1970’lerden beri kullanılmaktadır [
2012 yılı verilerine g¨ore Kuzey Amerika’nın %78’i, Avrupa’nın %63’u¨
Internet kullanmaktadır [
Ancak web uygulamalarındaki hatalar firmalara milyonlarca dolar
kaybettirmeye devam etmektedir. Web uygulamalarının masau¨stu¨ uygulamalardan farklı
olarak yu¨ksek eri¸silebilirli˘ge sahip olması gerekmektedir. Uygulamada ya¸sanacak
en ufak sıkıntıların firmalara faturası bu¨yu¨k olmaktadır. O¨ rne˘gin 2001 yılı ¸su¨kran
gu¨nu¨ tatilinde Amazon’un ya¸sadıg˘ı sıkıntılar 20 dakikada 500 bin dolar
kaybetmesine neden olmu¸stur [
Web uygulamalarını geli¸stirmede kullanılan ya¸sam d¨ongu¨su¨, di˘ger uygulamalar i¸cin kullanılanlarla aynı olsa da teknik bakımdan ayrı¸stıkları bazı noktalar bulunmaktadır.
– O¨ ncelikle web uygulamalarının geli¸stirilmesinde birden fazla programlama dili, tasarım o¨zellig˘i, dı¸sarıdan kullanılmakta olan ku¨tu¨phane ve bile¸senler bulunur. Bunlara ¨ornek olarak geleneksel programlama dilleri, script dilleri, du¨z HTML sayfaları, XML tabanlı ¸sablon dosyaları, veritabanları, resimler ve CSS kodları verilebilir. – Geli¸stirilen uygulamalar tarayıcılara ba˘gımlı halde ¸calı¸smaktadır. Aynı kod farklı tarayıcıda farklı ¸sekilde c¸alı¸sabilmektedir. Bunu o¨nlemek i¸cin kodun tarayıcı ba˘gımsız ¸calı¸sacak ¸sekilde yazılması ve uygulamanın farklı tarayıcılar i¸cin test edilmesi gerekmektedir. – Gu¨venlik zafiyeti daha fazladır. O¨ ncelikle kullanıcı tarafında ¸calı¸san kodlara eri¸sip incelemek ¸cok kolaydır. Ayrıca Internet aracılıg˘ıyla daha geni¸s bir kullanıcı kitlesine hitap etti˘ginden daha fazla tehdite maruz kalmaktadır. – Dı¸s du¨nya deg˘i¸simlerinden daha ¸cok etkilenmektedir. Internet ba˘glantısının kaybolması veya yava¸slaması durumları geli¸stirme sırasında hesap edilmezse istenmeyen durumlarla kar¸sıla¸sma ¸sansı yu¨ksektir. – Uygulama bile¸senleri ger¸cek ortamda ve hatta geli¸stirme sırasında farklı makinelere da˘gıtılmı¸s halde bulunabilir ve bu halde birbirleriyle uyumlu ve bir bu¨tu¨n ¸calı¸smak durumundadırlar.
Bu¨tu¨n bunlar uygulamanın karma¸sıklı˘gını arttırıcı fakto¨rlerdir [
Ara¸stırma sorumuzu yanıtlayabilmek i¸cin a¸cık kaynak 6 web uygulamasının hataya yatkınlıklarını dosya bazında inceledik. Bu i¸slem i¸cin yaygın olarak kullanılmakta olan metrikler ve sınıflandırma algoritmalarını kullandık. Aldıg˘ımız sonu¸clar mevcut hata tahmini yo¨ntemlerinin web uygulamaları ic¸in halen du¨¸su¨k performansla c¸alı¸stı˘gını g¨ostermektedir. 2
I˙lgili C¸ alı¸smalar
Yazılım hata tahmini alanındaki c¸alı¸smalar ¨ozellikle 2005 yılından itibaren
artarak devam etmektedir [
Yazılım hata tahmininde kullanılan metrik setlerinden bir dig˘eri kod deg˘i¸sim
(code churn) metrikleridir [
Bunlar dı¸sında dig˘erlerine go¨re nispeten daha yeni bir metrik tipi olarak
sosyal a˘g metrikleri de yazılım hata tahmininde kullanılmaktadır [
3.1
Bu bo¨lu¨mde c¸alı¸smada kullanılan veri ku¨meleri ve ara¸stırma y¨ontemleri a¸cıklanmaktadır.
Ara¸stırma su¨recinde ilk olarak literatu¨rde var olan metriklerin web uygulamaları i¸cin yeterli olup olmadı˘gı sorgulanmı¸stır. Bu metrikler web uygulamalarına o¨zel ortaya atılmı¸s olmasa bile programlama dillerinin genel yapısından dolayı uygunluk g¨ostermeleri olasıdır. PHP tabanlı 6 uygulama incelenerek, statik kod metrikleri ve kod de˘gi¸sim metrikleri kullanılarak uygulamalardaki hatalar tahmin edilmeye c¸alı¸sılmı¸stır. Uygulamalar hakkında bazı istatistikler Tablo 1’den g¨oru¨lebilir. Yapılan denemelerde her proje ic¸in 2 farklı tipte metrik seti ic¸in farklı algoritmalar kullanılmı¸stır. Sonu¸cların deg˘erlendirilmesi ic¸in 10 katlı ¸capraz gec¸erleme kullanılmı¸stır. 3.2
Bu c¸alı¸smada makine ¨o˘grenmesi yo¨ntemlerine dayanan bir hata tahmin y¨ontemi uygulanmı¸stır. Kullanılan y¨ontemin g¨orsel temsili S¸ekil 1’de g¨oru¨lebilir. Versiyon kontrol sistemleri kodlara ve kod ge¸cmi¸slerine ula¸smak, buralardan metrikler c¸ıkarmak i¸cin kullanılmı¸stır. Uygulamalarda yer alan dosyaların hataya
Uygulama Adı Su¨ru¨m Geli¸stirici Sayısı Satır Sayısı Dosya Sayısı Commit Sayısı Hatalı Dosya Oranı Laravel 3.0 54 51448 308 2559 %34 Symfony 2.2 753 285875 4048 13144 %49 phpMyAdmin 3.5 330 1140741 1142 70113 %24
Guzzle 3.0 29 48052 413 632 %15 Wordpress 3.0 53 382600 1246 25712 %44
Joomla 3.1 239 581606 5573 15726 %30
meyilli olup olmadıkları farklı tipte metrikler ve sınıflandırma algoritmaları
kullanılarak tahmin edilmeye ¸calı¸sılmı¸stır. Sınıflandırma i¸cin Naive Bayes, Bayes
Net ve Random Forest algoritmaları kullanılmı¸stır. Bu algoritmalar yazılım hata
tahmini alanında yaygın olarak kullanıldıkları ve genelde iyi sonu¸c verdikleri
g¨ozlendi˘gi i¸cin tercih edilmi¸stir [
Veri C¸ ıkarma Veri c¸ıkarma i¸slemi her proje i¸cin benzer ¸sekilde ilerlemi¸stir. O¨ ncelikle proje kodları Tablo 1’de belirtilen su¨ru¨mler ic¸in Github sayfalarından indirilmi¸stir. Hatalı modu¨llerin i¸saretlenmesi ic¸in indirilen su¨ru¨mler temel alınarak 1 sene i¸cinde hata olarak i¸saretlenmi¸s kod deg˘i¸simleri ¸cıkarılmı¸stır ve de˘gi¸stirilmi¸s dosyalar hatalı olarak i¸saretlenmi¸stir. Bir kod deg˘i¸simini hata olarak i¸saretleyebilmek i¸cin kod teslim mesajında (bug, error, fix, fail) gibi anahtar kelimeler aranmı¸stır.
Statik kod metriklerini ¸cıkarmak i¸cin Understand [
Tablo 2: Kullanılan Metrikler
Satır sayısı Kod satır sayısı
Bo¸s satır sayısı Yorum satır sayısı Yorum/kod oranı
I˙fade sayısı D¨ongu¨sel karma¸sıklık Tasarımsal karma¸sıklık Temel karma¸sıklık
Yol sayısı Kod blok seviyesi
Kod teslimi sayısı Kod teslim eden ki¸si sayısı
Eklenen satır sayısı
Silinen satır sayısı
Son su¨ru¨mde kod teslimi sayısı Son su¨ru¨mde kod teslim eden ki¸si sayısı
Son su¨ru¨mde eklenen satır sayısı
Son su¨ru¨mde silinen satır sayısı
Popu¨ler kod teslim eden ki¸si yu¨zdesi
Performans O¨ l¸cu¨mu¨ C¸ alı¸smada tahmin modellerinin performansı hata
tahmini ¸calı¸smalarında yaygın olarak kullanılan do˘gru pozitif oranı (DPO) ve yanlı¸s
pozitif oranı (YPO) ¨ol¸cu¨mleri kullanılmaktadır [
S¸ekil 2: ROC e˘grisinde bo¨lgeler
Dog˘ru tahmin bir modelin ba¸sarısını belirlemek ic¸in ¨onemli bir etkendir
ancak yanlı¸s tahmin de olduk¸ca ¨onemlidir. Bu durum S¸ekil 2’de g¨osterilmi¸stir.
Risk odaklı b¨olgedeki tahmin modelleri yu¨ksek DPO’ya sahip olmakla beraber
YPO’ları da oldukc¸a yu¨ksektir. Bu durum hata i¸cermeyen c¸ok sayıda dosyanın
hatalı olarak i¸saretlenmesi anlamına gelip, gereg˘inden fazla dosyanın incelenmesi
sonucunu do˘gurur. Bu da test a¸samasının masrafının artmasına neden
olmaktadır. Hatasızlı˘gın c¸ok o¨nemli oldug˘u projeler i¸cin bu kabul edilebilir bir durum
olmakla beraber projelerin c¸o˘gu bu kategoride yer almamaktadır. Masraf odaklı
b¨olge orta-du¨¸su¨k DPO’ya ve ¸cok du¨¸su¨k YPO’ya sahiptir. Bu b¨olgeye du¨¸sen
tahmin modelleri sınırlı kaynaklara sahip projeler ic¸in daha kullanı¸slıdır [
Veri da˘gılımının normal da˘gılıma uyaca˘gını do˘grudan farz edemeyeceg˘imiz i¸cin uygulanacak farklı yo¨ntemlerle bulunan sonuc¸ların birbirinden farklı olup olmadı˘gının kontrolu¨ Mann-Whitney U testi kullanarak yapıldı.
DP O = Y P O =
DP DP + Y N
Y P
Y P + DN Denge = 1 −
Y P O2 + (1 − DP O)2
√2
Tablo 3: Karma¸sıklık matrisi Tahmin Edilen
Gerc¸ek Durum
Hatalı Hatasız Hatalı DP YP
Hatasız YN DN 4
Ara¸stırma sorumuzu cevaplayabilmek i¸cin 6 veri seti u¨zerinde 10 katlı ¸capraz ge¸cerleme ile 3 farklı sınıflandırma algoritması kullanılmı¸stır. Sonu¸clar Tablo 4 ve 5’de go¨ru¨lebilir. Tahmin modellerinin ba¸sarılarına denge o¨l¸cu¨mu¨ kullanılarak karar verilmi¸stir. Sonu¸clar kar¸sıla¸stırılırken Mann-Whitney U testi kullanılmı¸stır. Bu sonu¸clardan bazı ¸cıkarımlar yapmak mu¨mku¨ndu¨r. Uygulama bazında kullanılan farklı algoritmalar arasında ba¸sarısı daha yu¨ksek olanlar koyu yazılmı¸stır. Sınıflandırma algoritmaları arası performans kar¸sıla¸stırması yapıldıg˘ında Random Forest ve Bayes Net algoritmalarının Naive Bayes’e g¨ore daha iyi sonuc¸lar verdig˘i g¨oru¨lebilir.
Metrik setleri ac¸ısından baktıg˘ımızda kod deg˘i¸sim metriklerinin statik kod
metriklerine go¨re daha iyi sonuc¸lar verdi˘gi g¨oru¨lebilir. Ortalama denge sonu¸cları
arasındaki farklar istatistiksel a¸cıdan anlamlı bulunmu¸stur. Bu sonu¸clar ¨onceki
¸calı¸smaları [
Bu ara¸stırmada yazılım hata tahmininde uygulanmakta olan tekniklerin web uygulamalarında ne kadar uygulanabilir oldug˘u ara¸stırılmı¸stır. Web paradigması yu¨kseli¸sini 2000’li yılların ba¸sında yapmı¸s olsa da gu¨nu¨mu¨zde halen gayet revac¸ta olan bir alandır. Bu tip uygulamalarda yapılan hatalar firmalara ¸cok daha pahalıya mal olmaktadır. Dog˘aları gereg˘i barındırdıkları teknik detaylar nedeniyle web uygulamalarınının ayrı bir yere konması gerekmektedir. Yazılım hata tahmini alanında bugu¨ne kadar yapılmı¸s ¸cok sayıda ¸calı¸sma var olsa
Tablo 4: Statik Kod Metrikleri
Naive Bayes Bayes Net Random Forest
DPO YPO Denge DPO YPO Denge DPO YPO Denge Laravel 0.39 0.21 0.54 0.78 0.44 0.65 0.88 0.48 0.65 Symfony 0.90 0.65 0.53 0.72 0.32 0.70 0.88 0.65 0.53 phpMyAdmin 0.40 0.16 0.56 0.42 0.20 0.57 0.42 0.14 0.58
Guzzle 0.90 0.53 0.62 0.78 0.31 0.73 0.94 0.70 0.50 Wordpress 0.89 0.72 0.48 0.76 0.60 0.54 0.73 0.42 0.65
Joomla 0.12 0.03 0.38 0.75 0.19 0.78 0.89 0.30 0.77 Ortalama 0.6 0.38 0.52 0.70 0.34 0.66 0.79 0.45 0.61
Tablo 5: Kod Deg˘i¸sim Metrikleri bile bu ¸calı¸smalar ara¸stırmanın ana fikrinden farklı nitelikler ortaya koymaktadır. Var olan yo¨ntemlerin farklı uygulamalar ic¸in kullanılmasından ¸cıkarılan sonu¸c, yazılım hata tahmini yo¨ntemlerinden bu alanda yeterince faydalanamadıg˘ı kanısı dog˘urmu¸s ve bu alana ¨ozel bir ¸calı¸sma yapılması gerekti˘gi y¨onu¨ndeki fikrimizi gu¨¸clendirmi¸stir. I˙lgili c¸alı¸smalarda ortaya c¸ıkarılmı¸s olan veri setinin zenginle¸stirilmesi fikrine paralel olarak ilerisi ic¸in web uygulamalarında hata tahmini yapılması i¸cin ¨ozel bir metrik seti ¸cıkarılması, bu sayede hata tahmininde kullanılan veri setlerinin iyile¸stirilip bu tip uygulamalarda daha iyi sonuc¸lar alınması tavsiye edilmektedir. O¨ zellikle kozmetik hataların o¨ne c¸ıktıg˘ı bu tip uygulamalarda HTML/CSS ic¸in metrik seti ¸cıkarılması du¨¸su¨nu¨lebilir.