Özet Yazılım testinde uygulanabilecek en basit yaklaşım verilen bir kod parçasındaki bütün olasılıkları test etmektir. Bu durum zaman ve bütçe kısıtları nedeniyle pratikte imkansızdır. Yazılım hata tahmini yöntemleri proje yöneticileri tarafından, test aşamasında, kısıtlı olan kaynakları efektif bir şekilde dagıtmak için kullanılmaktadır. Bu alandaki çalışmalar özellikle 2005 yılından itibaren artarak devam etmektedir. Bu çalışmada literatürde var olan metriklerin web uygulamaları için yeterli olup olmadıgı sorgulanmıştır. Web uygulamaları üzerinde yaptıgımız deneyler hata tahmininin web uygulamaları üzerinde optimum sonuçlar vermekten uzakta oldugunu göstermektedir. Bu tip uygulamaları geliştirmede kullanılan yaşam döngüsü, diger uygulamalar için kullanılanlarla aynı olsa da teknik bakımdan ayrıştıkları bazı noktalar bulunmaktadır. Bu nedenle yazılım hata tahmini alanında web uygulamalarına özel metrikler oluşturulmasını önermekteyiz.
Bir yazılım projesinin başarısını belirleyen ana faktör kalitesidir [33]. Yazılım kalitesi için birden fazla tanım bulunmakla birlikte bunlar içinde öne çıkanı "yazılımın ne kadar iyi tasarlandıgı ve çıkan ürünün bu tasarıma ne kadar uydugu"dur [32]. Yazılımın kalitesi geliştirme sürecinin test aşamasıyla çok yakından ilişkilidir. Bu ilişki projenin zaman ve bütçe kısıtlarını da çok yakından etkiler. Örnegin 2002'deki IEEE Metrik Paneli'nde [5] araştırmacılar harcanan eforun yarısının aslında önlenebilecegini, bunların %80'inin de hataların küçük bir kısmından (yaklaşık %20) kaynaklandıgını öne sürmüşlerdir. Bu tip önlenebilir eforlar daha önceden keşfedilip daha az masrafla çözülebilecek veya tamamen önlenebilecek hatalardan kaynaklanmaktadır [7]. Dikkatli tasarlanmış test aktiviteleri başarılı ürünler dogururken kaotik, rastgele veya dogru yapılmayan test aktiviteleri kısıtları aşmış veya iptal edilmiş ürünlere yol açar. Yazılım testinde uygulanabilecek en basit yaklaşım verilen bir kod parçasındaki bütün olasılıkları test etmektir. Bu durum zaman ve bütçe kısıtları nedeniyle pratikte imkansızdır. Bu nedenle yazılım proje yöneticileri ürünlerindeki hataya yatkınlıgı ölçmek için çogunlukla ögrenme tabanlı tahmin yöntemleri kullanmaktadır.
Yazılım hata tahmini yöntemleri proje yöneticileri tarafından, test aşamasında, kısıtlı olan kaynakları efektif bir şekilde dagıtmak için kullanılmaktadır. Bu yöntemler yazılım testinde görev yapan kişilere test senaryolarının ne şekilde üretetilecegine ve organize edilecegine karar vermelerine yardımcı olmaktadır. Hatalı modüllerin dogru tahmin edilmesi yazılım testinin masrafını azaltır ve proje yöneticileri kısıtlı kaynaklarını işlere atama konusunda daha rahat hareket edebilirler [34]. İdealde bir hata tahmini modeli bütün hataları dogru tahmin ederken hatasız modülleri hatalı olarak işaretlememelidir. Ancak pratikte bu duruma çok az rastlanır [2]. En yeni tahmin modelleri bile bu noktaya erişmekten çok uzaktadır [15,23]. Yüksek tahmin oranına sahip modeller yüksek yanlış alarm oranına sahiptir. Yüksek yanlış alarm oranları hatasız kodların boş yere test edilmesine yol açar. Bu durum yüksek güvenlik gerektiren uygulamalar için bir soruna yol açmaz çünkü bu tip uygulamalarda karşılaşılacak bir hatanın bedeli çok yüksektir. Ama bu durum kaynak açısından kritik projeler için ciddi bir problemdir [13,14,20]. Kodun gereksiz yere gözden geçirilmesi test aşamasını uzattıgından bütçe ve zaman kısıtlarını aşma riskini arttırır. Bu nedenle mühendisler dogru ve yanlış tahmin oranlarını dengeleme yoluna gitmelidir [20].
Bu alanda çalışan araştırmacılar şimdiye kadar hata tahmini modellerini kurarken statik kod metrikleri, kod degişim metrikleri, geliştirici ve modül agları gibi farklı metrik kümelerinden yararlandılar. Bunlar arasında statik kod metrikleri 1970'lerden beri kullanılmaktadır [1,4,19]. Otomatik araçlar yardımıyla da projelerden metrikleri çıkarmak çok daha kolay hale gelmiştir. Geçen yıllarda araştırmacılar kullanılan metrik setlerinin tavan performansa ulaştıgını göstermiştir [23]. Bu tavan etkisini ortadan kaldırmanın 2 yolu vardır:
-Var olan metrik setlerine yeni veri madenciligi teknikleri uygulamak -Var olan veri madenciligi tekniklerini yeni metriklere uygulamak Araştırmalarda hata tahmini modellerinin performansını arttırmak için yeni veri madenciligi teknikleri bulmaya çalışmanın harcanan emege degmeyecegi gösterilmiştir [23]. Bundan dolayı egitim verisinin kalitesini arttırmak veya kullanılan metrik setlerinde yenilikçi davranmak tahmin modellerinin performansını arttırmak için daha efektif bir yöntem olacaktır.
2012 yılı verilerine göre Kuzey Amerika'nın %78'i, Avrupa'nın %63'ü Internet kullanmaktadır [40]. Dünya çapında yapılan Internet tabanlı işlemlerin yıllık tutarı trilyon dolarlarla ölçülmektedir [35]. E-ticaret dışında her gün milyonlarca kullanıcının arama motorları (örn: Google), sosyal paylaşım platformları (örn: Facebook, Twitter), bilgi paylaşımı (örn: Wikipedia) gibi farklı amaçlarla farklı web sitelerini kullandıkları bilinmektedir. Bu kadar büyük bir Internet kullanımı karşısında firmalar açısından erişilebilir olmak günümüzde büyük bir ihtiyaç halini almıştır. Son yıllarda kızışan tarayıcı savaşları ve buna paralel gelişen teknoloji ve performans artışı geliştiricilerin bu alanda ilerlemesine imkan saglamıştır. Bu alanda geliştirme yaparken kullanılan teknolojilerin de ilerlemesiyle web geliştiricileri artık daha özgürce daha iyi uygulamalar çıkarabilmektedir. Mobil cihaz kullanımındaki artışla birlikte web uygulamalarına artık çok daha farklı tipte ekranlardan erişilebilmek gibi gereksinimler eklenmeye başlanmıştır.
Ancak web uygulamalarındaki hatalar firmalara milyonlarca dolar kaybettirmeye devam etmektedir. Web uygulamalarının masaüstü uygulamalardan farklı olarak yüksek erişilebilirlige sahip olması gerekmektedir. Uygulamada yaşanacak en ufak sıkıntıların firmalara faturası büyük olmaktadır. Örnegin 2001 yılı şükran günü tatilinde Amazon'un yaşadıgı sıkıntılar 20 dakikada 500 bin dolar kaybetmesine neden olmuştur [3]. Hataların görünmeyen faturası ise daha büyüktür, her hata kullanıcı sadakatinin bozulmasına ve müşteri kaybına neden olmaktadır [30].
Web uygulamalarını geliştirmede kullanılan yaşam döngüsü, diger uygulamalar için kullanılanlarla aynı olsa da teknik bakımdan ayrıştıkları bazı noktalar bulunmaktadır.
-Öncelikle web uygulamalarının geliştirilmesinde birden fazla programlama dili, tasarım özelligi, dışarıdan kullanılmakta olan kütüphane ve bileşenler bulunur. Bunlara örnek olarak geleneksel programlama dilleri, script dilleri, düz HTML sayfaları, XML tabanlı şablon dosyaları, veritabanları, resimler ve CSS kodları verilebilir. -Geliştirilen uygulamalar tarayıcılara bagımlı halde çalışmaktadır. Aynı kod farklı tarayıcıda farklı şekilde çalışabilmektedir. Bunu önlemek için kodun tarayıcı bagımsız çalışacak şekilde yazılması ve uygulamanın farklı tarayıcılar için test edilmesi gerekmektedir. -Güvenlik zafiyeti daha fazladır. Öncelikle kullanıcı tarafında çalışan kodlara erişip incelemek çok kolaydır. Ayrıca Internet aracılıgıyla daha geniş bir kullanıcı kitlesine hitap ettiginden daha fazla tehdite maruz kalmaktadır. -Dış dünya degişimlerinden daha çok etkilenmektedir. Internet baglantısının kaybolması veya yavaşlaması durumları geliştirme sırasında hesap edilmezse istenmeyen durumlarla karşılaşma şansı yüksektir. -Uygulama bileşenleri gerçek ortamda ve hatta geliştirme sırasında farklı makinelere dagıtılmış halde bulunabilir ve bu halde birbirleriyle uyumlu ve bir bütün çalışmak durumundadırlar.
Bütün bunlar uygulamanın karmaşıklıgını arttırıcı faktörlerdir [29]. Bu çalışmada web uygulamaları için hata tahmini yapılarak performans degerlendirmesi yapılmaktadır. Araştırma sorumuz "Kullanılmakta olan yazılım hata tahmini yöntemleri web uygulamaları için ne kadar iyi sonuçlar vermektedir?" şeklindedir.
Araştırma sorumuzu yanıtlayabilmek için açık kaynak 6 web uygulamasının hataya yatkınlıklarını dosya bazında inceledik. Bu işlem için yaygın olarak kullanılmakta olan metrikler ve sınıflandırma algoritmalarını kullandık. Aldıgımız sonuçlar mevcut hata tahmini yöntemlerinin web uygulamaları için halen düşük performansla çalıştıgını göstermektedir.
Yazılım hata tahmini alanındaki çalışmalar özellikle 2005 yılından itibaren artarak devam etmektedir [8]. Bu çalışmalarda farklı tipte metrikler kullanılmakla birlikte statik kod metrikleri yaygın olarak kullanılan metrik tiplerinin başında gelmektedir [1,12,15,16,18,19,21,27,33]. Literatürdeki ilk hata tahmini çalışması satır sayısı kullanılarak yapılmıştır [1]. Daha sonra Halstead metrikleri [12] ve McCabe metrikleri [16] kullanılmaya başlanmıştır. Bu metrikler uygulamanın karmaşıklıgı ve boyutu hakkında fikirler vermektedir. Günümüzde en yaygın kullanılan metrik tipleri bunlardır. Ancak bu çalışmalarda genel olarak masaüstü uygulamalarından çıkarılan metrikler kullanılmış olup herhangi bir web uygulaması için çıkarılmış bir metrik seti bulunmamaktadır.
Yazılım hata tahmininde kullanılan metrik setlerinden bir digeri kod degişim (code churn) metrikleridir [9,10,26,28]. Bu metrik setleri Subversion ve GIT gibi versiyon kontrol sistemlerinden çıkarılmaktadır. Geliştiricilerin kod üzerinde yaptıgı degişiklikler kullanılarak, eklenen/silinen satır sayısı, yapılan degişiklik sayısı, degişiklik yapan geliştirici sayısı gibi özellikler çıkarılmaktadır. Kod degişim metrigi ilk olarak Munson tarafından [26] ortaya atılmıştır. Yapılan çalışmalarda statik kod metriklerinden daha iyi sonuç verdigi gözlenmiştir.
Bunlar dışında digerlerine göre nispeten daha yeni bir metrik tipi olarak sosyal ag metrikleri de yazılım hata tahmininde kullanılmaktadır [6,17,31,39,41]. Bu çalışmalarda kullanılan metrikler koddan bagımsız olup, sosyal aglar geliştirici veya dosyalardan oluşturulmaktadır. Bu alanda çalışanlar birbirine bagımlılıgı olan dosyalar veya aynı dosya üzerinde çalışmış olan geliştiricileri birbirleriyle baglayarak sosyal aglar kurmuş bu aglardan sosyal ag analizi yöntemleri ile metrikler çıkarmışlardır.
Bu bölümde çalışmada kullanılan veri kümeleri ve araştırma yöntemleri açıklanmaktadır.
Araştırma sürecinde ilk olarak literatürde var olan metriklerin web uygulamaları için yeterli olup olmadıgı sorgulanmıştır. Bu metrikler web uygulamalarına özel ortaya atılmış olmasa bile programlama dillerinin genel yapısından dolayı uygunluk göstermeleri olasıdır. PHP tabanlı 6 uygulama incelenerek, statik kod metrikleri ve kod degişim metrikleri kullanılarak uygulamalardaki hatalar tahmin edilmeye çalışılmıştır. Uygulamalar hakkında bazı istatistikler Tablo 1'den görülebilir. Yapılan denemelerde her proje için 2 farklı tipte metrik seti için farklı algoritmalar kullanılmıştır. Sonuçların degerlendirilmesi için 10 katlı çapraz geçerleme kullanılmıştır.
Bu çalışmada makine ögrenmesi yöntemlerine dayanan bir hata tahmin yöntemi uygulanmıştır. Kullanılan yöntemin görsel temsili S ¸ekil 1'de görülebilir. Versiyon kontrol sistemleri kodlara ve kod geçmişlerine ulaşmak, buralardan metrikler çıkarmak için kullanılmıştır. Uygulamalarda yer alan dosyaların hataya Performans Ölçümü C ¸alışmada tahmin modellerinin performansı hata tahmini çalışmalarında yaygın olarak kullanılan dogru pozitif oranı (DPO) ve yanlış pozitif oranı (YPO) ölçümleri kullanılmaktadır [6,13,15,19,36]. Bu ölçümler tahmin algoritmalarının veri setleri kullanılarak egitilmesi ve oluşan tahmin modellerinin test edilmesiyle elde edilmektedir. DPO modelin gerçekten hataya yatkın olan modülleri bulmadaki başarısını gösterirken YPO aslında hatasız olan modülleri hatalı işaretledigini belirtir. Hata tahmininde DPO oranını yükseltip YPO oranını düşüren yöntemler daha degerli bulunmaktadır. Bu nedenle mümkün oldugunca (DPO, YPO) çiftini (1,0) ideal noktasına yaklaştıran tahmin yöntemlerine ulaşmaya ihtiyaç vardır. Maalesef bu ideal durum pratikte çok nadir görülmektedir. Ölçümlerin ideal duruma yakınlıgını ölçmek için denge adı verilen performans ölçütü kullanılmaktadır. Belirtilen ölçütler (1), ( 2) ve (3) kullanılarak Tablo 3'deki karışıklık matrisi yardımıyla hesaplanmaktadır. S ¸ekil 2: ROC egrisinde bölgeler Dogru tahmin bir modelin başarısını belirlemek için önemli bir etkendir ancak yanlış tahmin de oldukça önemlidir. Bu durum S ¸ekil 2'de gösterilmiştir. Risk odaklı bölgedeki tahmin modelleri yüksek DPO'ya sahip olmakla beraber YPO'ları da oldukça yüksektir. Bu durum hata içermeyen çok sayıda dosyanın hatalı olarak işaretlenmesi anlamına gelip, gereginden fazla dosyanın incelenmesi sonucunu dogurur. Bu da test aşamasının masrafının artmasına neden olmaktadır. Hatasızlıgın çok önemli oldugu projeler için bu kabul edilebilir bir durum olmakla beraber projelerin çogu bu kategoride yer almamaktadır. Masraf odaklı bölge orta-düşük DPO'ya ve çok düşük YPO'ya sahiptir. Bu bölgeye düşen tahmin modelleri sınırlı kaynaklara sahip projeler için daha kullanışlıdır [13].
Veri dagılımının normal dagılıma uyacagını dogrudan farz edemeyecegimiz için uygulanacak farklı yöntemlerle bulunan sonuçların birbirinden farklı olup olmadıgının kontrolü Mann-Whitney U testi kullanarak yapıldı.
(1) Metrik setleri açısından baktıgımızda kod degişim metriklerinin statik kod metriklerine göre daha iyi sonuçlar verdigi görülebilir. Ortalama denge sonuçları arasındaki farklar istatistiksel açıdan anlamlı bulunmuştur. Bu sonuçlar önceki çalışmaları [9,15,24,25] dogrulamaktadır. Ancak en başarılı olan skorların büyük çogunlugunda, tahmin oranı çogu projede yüksek çıkmasına ragmen hatalı tahmin oranı da oldukça yüksektir. Bu durumun kaynak açısından kısıtlı projeler için pratikte sagladıgı bir yarar bulunmamaktadır. C ¸ünkü bu durum hata içermeyen çok sayıda modülün de hatalı olarak işaretlenmesine neden olacagı için test aşamasında yüksek efor harcanmasına sebep olup, hata tahmininin kullanılma amacıyla örtüşmemektedir. Ortalama degerlere bakıldıgı zaman DPO, YPO ve denge degerlerinin bu alanda benzer performans kriterleri kullanılarak yapılmış diger çalışmalarda bulunan ölçümlerden [9,19,22,24,25,37] daha düşük oldugu görülebilir. Bu sonuçlar web uygulamalarına özel bir hata tahmini çalışması yapılmasının gerekli oldugu yönündeki düşüncemizi kuvvetlendirmiştir.
Bu araştırmada yazılım hata tahmininde uygulanmakta olan tekniklerin web uygulamalarında ne kadar uygulanabilir oldugu araştırılmıştır. Web paradigması yükselişini 2000'li yılların başında yapmış olsa da günümüzde halen gayet revaçta olan bir alandır. Bu tip uygulamalarda yapılan hatalar firmalara çok daha pahalıya mal olmaktadır. Dogaları geregi barındırdıkları teknik detaylar nedeniyle web uygulamalarınının ayrı bir yere konması gerekmektedir. Yazılım hata tahmini alanında bugüne kadar yapılmış çok sayıda çalışma var olsa