High-quality software is a result desired by all users. Software quality is a multidimensional concept and is influenced by many external and internal factors. Testability is one of the most important factors affecting the quality of the software. The higher the level testability of a software, lower the testing effort and cost will be; therefore more reliable and higher quality products will ultimately emerge. Unfortunately we cannot directly measure the testability of software since it is not an intrinsic property of the software. Therefore, many proposals are set forth in the literature in order to measure the testability. Most measurement proposals are carried out based on the source code, but we note that it is more costly and complex to eliminate errors resulting from the analysis or implementation phases. The purpose of this article is to perform a literature mapping on the existing models and techniques that are targeted to measuring or predicting the testability
McKinsey & Company ve Oxford Üniversitesi işbirliği ile 2010 yılında 5,400 bilişim projesi üzerinde gerçekleştirilen bir çalışmanın sonuçlarına göre, yazılım projelerinin %45’i planlanan bütçeyi; %7 si belirlenen geliştirme süresini aşmakta; %56’sı ise beklenen gereksinimlerin çok azını karşılayarak tamamlanabilmektedir [1]. Yazılım projelerinde görülen bu başarısızlıklar yalnızca zaman kaybına değil, çok büyük mali kayıplara da neden olmaktadır. Bu büyük kayıpların önüne geçmek için alınacak ilk tedbirlerden biri yazılımda kalitenin artırılmasına yönelik çalışmalardır. Yazılım kalitesi geliştiriciye ya da kullanıcıya göre değişebilen ve birçok boyutu olan bir kavramdır. Juran’a göre [2] kalite kullanıma uygunluk olarak tanımlanırken, Crosby [2] kaliteyi sistemin gereksinimleri karşılama düzeyi ile ölçer. Bazı durumlarda yazılımın eksiksiz ve hatasız olması kritikken, bazı durumlarda kullanım kolaylığı kalitenin ölçüsü olabilmekte ve yazılımda bulunan hataların bakım evresinde giderilmesi sorun teşkil etmemektedir.
ISO/IEC 9126-1 standardına [3] göre yazılım kalitesi; içsel kalite özellikleri,
dışsal kalite özellikleri, kullanımdaki kalite olarak modellenmektedir. Bu modele
göre yazılımın kalitesi işlevsellik, güvenilirlik, kullanılabilirlik, verimlilik, bakım
kolaylığı gibi özellikleri üzerinden değerlendirilmektedir. Kalite açısından önemli
bir kriter olan bakım kolaylığı “yazılımın değişiklik veya düzeltme isteklerine
adaptasyon yeteneği” olarak tanımlanmaktadır [
Yazılım testi, yazılımdaki hataları bulmak, riskleri tespit etmek ve mevcut
uygulamayı tanımlanan en yüksek kalite seviyesine ulaştırmak için yapılan testler
bütünüdür. Yazılım test faaliyetleri ile yazılımda yer alan eksiklikler ve hatalar
yazılım geliştirme sürecinin erken fazlarında fark edilir ve bunların giderilmesi ile
kaliteli, kullanıcıyı ve geliştiriciyi daha çok tatmin eden ürünler ortaya çıkar.
Daha az maliyetle daha kaliteli ürünler ortaya koymak için yazılımın test
edilebilirliğini artırmak gerekmektedir. [
Test edilebilirlik yazılım ürünlerinin içsel bir özelliği olmadığı için doğrudan ölçülmesi mümkün değildir. Bu nedenle yazılımın test edilebilirliğini ölçmek için metrikler, modeller ve metotlar önerilmiştir. Bu makalenin amacı test faaliyetlerini kolaylaştırmak adına, literatürde mevcut olan, yazılım test edilebilirliğini tahmin etmeye yönelik modelleri gözden geçirmektir. Makalenin ilerleyen kısımlarında; Bölüm 2’de ilgili çalışmalar verilmiştir. Bölüm 3’de bu çalışmada kullanılan literatür haritalama yöntemi tanımlanmıştır. Bölüm 4 literatürdeki çalışmaların bulgularının belirlediğimiz araştırma soruları kapsamında analizini içermektedir. Bölüm 5’de bu çalışmamızın sonuçları ve gelecekte ileriye yönelik yapılabilecek çalışmalar anlatılmıştır.
Kanıta-dayalı yaklaşım ilk olarak tıp alanında kullanılmış bir araştırma
yaklaşımıdır ve daha sonra pek çok bilimsel alanda kullanılmaya başlanmıştır. Bu
yaklaşımı ilk kez 2004 yılında Kitchenham ve arkadaşları “Kanıta-dayalı yazılım
mühendisliği” [
Sistematik literatür taramaları, araştırma konusuna yönelik katkı sağlayan birincil çalışmaları değerlendiren ikincil bir çalışmadır. Daha ayrıntılı bir tanım yapmak gerekirse; sistematik literatür taramaları belirli bir soruya yanıt ya da probleme çözüm oluşturmak için, o alanda yayınlanmış tüm çalışmaların kapsamlı bir biçimde taranarak, çeşitli dâhil etme ve dışlama kriterleri kullanarak ve araştırmaların kalitesi değerlendirilerek hangi çalışmaların derlemeye alınacağının belirlenmesi, derlemeye dâhil edilen araştırmalarda yer alan bulguların sentezlenmesidir. Tablo 1, bu çalışma ile ilgili yapılmış ikincil çalışmaları göstermektedir.
Tablo 1. İlgili çalışmalar (bu alanda yapılan ikincil çalışmalar)
iAtyssuorvftewyaoref rtoeloilasbility, maintainability, supportability, and testabil- 1991 Survey of source code metrics for evaluating testability of object 2010 oriented systems Measuring testability of object oriented design: a systematic review 2014 Testability and software robustness: a systematic literature review 2015 Testability and software performance: a systematic mapping study 2016 Yılı 1982
Ref. Çalışma
nın tipi
[
[
Birincil Çal. Say. 109 233 95 Sistematik literatür taramaları, 3 ana fazda özetlenebilecek ayrık faaliyetleri kapsar. Bu fazlar planlama, gerçekleştirme ve raporlama aşaması olarak adlandırılır. Sistematik eşleme çalışması ile incelenecek makaleler belirlendikten sonra Kitchenham’ın “Procedures for Performing Systematic Reviews” çalışmasında belirtilen prosedür takip edilerek literatür taraması gerçekleştirilmiştir.
Şekil 1. Sistematik haritalama süreci ve çalışma adımları 3.1
Bu literatür tarama çalışması aşağıdaki Haritalama Sorularını (HS) yanıtlamak için tasarlanmıştır: HS 1. Çalışmaların araştırmaya yönelik katkıları nelerdir? Çalışmaların kaç tanesi metot, teknik, model, araç veya süreç sunmaktadır? HS 2. Çalışmalarda kullanılan araştırma yöntemleri nelerdir? HS 3. Bir yazılımın test edilebilirlik düzeyi modeller kullanılarak nasıl tahmin edilebilir? Bu modellerin güvenilirlik düzeyleri nasıldır? HS 4. En çok atıf sayısına sahip makaleler hangileridir? HS 5. Yapılan çalışmaların endüstri/akademik olmalarına göre dağılımları nasıldır? 3.2
Haritalama sorularının belirlenmesinin ardından ilgili makalelere erişmek için anahtar sözcükler belirlendi ve bu anahtar sözcükler kullanılarak üç farklı dijital kütüphanede arama yapıldı. Konu ile alakalı olduğu düşünülen makaleler başlıklarına, özetlerine ve anahtar sözcüklerine bakılarak havuza dâhil edildi. Aramaların gerçekleştirildiği anahtar sözcükler şu şekilde gruplanmıştır: model AND {predict OR estimate OR estimation} AND {software testability} Tablo 2. Kaynakların arama aşaması sonucunda literatür taraması için seçilen kaynaklar 3.3
Dâhil etme ve dışlama kriterleri İkinci aşamada makaleler dâhil etme ve dışlama kriterleri göz önünde bulundurularak değerlendirildi ve sayısı 29’a düşürüldü. Bu çalışma boyunca göz önünde bulundurulan dâhil etme ve dışlama kriterleri her bir makale için şu şekilde belirlendi: o Tez şeklinde ya da dergide, konferansta ya da workshoplar kapsamında yayınlanmış olmalı, o İngilizce olarak yazılmış olmalı, o Konu ile doğrudan alakalı olmalı, o Sunularına dair geçerli bir kanıt sunmalı, o Son 20 yıl içerisinde yayınlanmış olmalı o Bir kestirim modeli önermeli Yapılan çalışmaların büyük çoğunlunun test edilebilirliği kaynak kod üzerinden ölçmek üzerine olduğu görüldü ve geliştirme aşamasına gelmeden test edilebilirliği ölçen çalışmaların kodun test edilebilirliğini tahmin ettiği düşünülerek havuza dâhil edildi. 3.4
Çalışmaların sınıflandırılması Ayrıntılı incelenecek makaleler belirlendikten sonra aşağıda belirtilen 4 grupta toplandı: A: Doğrudan test edilebilirliği tahmin etmek için modeller B: Test edilebilirliği yazılım geliştirme sürecinin erken fazlarında ölçmeyi öneren modeller (diagram veya doküman üzerinden) C: Test edilebilirliği inşa etmeyi öneren modeller D: Model önermeyen ancak konuya katkı sağlayan makaleler A kategorisinde yer alan makale sayısının çok az olması nedeniyle çalışmaya B kategorisinde yer alan makaleler de dahil edildi ve bu modeller haritalama sorusu 3’ün sonuçlarında özetlendi. Hangi kategoride kaç makalenin yer aldığı Tablo 3’te özetlendi.
Tablo 3. Kategorilere göre makale sayılarının dağılımı Havuza eklenen birincil çalışmaların kalite değerlendirmeleri Tablo 4’de verilen kontrol listesi kullanılarak gerçekleştirildi. Her soru için çalışmanın kalitesi ‘evet’, ‘kısmen’ veya ‘hayır’ olarak değerlendirildi. Cevapların ağırlığı sırasıyla 1, 0.5, ve 0 olarak belirlendi.
A ve B kategorisine ait çalışmalar yukarıda belirtilen 7 soru üzerinden değerlendirilerek kalite değerlendirmeleri gerçekleştirildi.
Tablo 4. Kaynakların çalışmaların kalite değerlendirmesinin yapılması
Çalışmanın amacı/araştırma soruları net bir şekilde belirlenmiş mi? Çalışmada ilişkili çalışmaların sonuçları değerlendirilmiş mi? Çalışmada gelecek çalışmalar için önerilerde bulunulmuş mu? Önerilen modelin varsayımları açıkça izah edilmiş mi? Önerilen modelin yapısı tam olarak tarif edilmiş mi? Model endüstri tabanlı bir vakada denenmiş mi? Çalışmada modelin uygulanması ile elde edilen bulgular belirtilmiş mi? Skor e/k/h e/k/h e/k/h e/k/h e/k/h e/k/h e/k/h Çalışmalara ait kalite değerlendirme sonuçlarının yıllara göre dağılımı Şekil 2’de gösterildi. İncelenen çalışmaların kalite değerlendirmelerinin ortalaması 5,1/7 olarak tespit edildi.
Şekil 2. Yıllara göre çalışmaların kalite değerlendirme sonuçları 3.6
Birincil çalışmalar İncelenecek birincil çalışmalara karar vermek adına sistematik haritalama çalışmasına başlandı. Belirlenen anahtar sözcüklerle arama yapıldığında toplam 689 makale bulundu. Konuyla alakalı olarak gözden kaçırılmış makalelerin olmaması içini havuzda yer alan ve en çok atıf sayısına sahip makalelerin referansları veya bu makaleleri referans olarak kullanan çalışmalar incelenerek havuz genişletildi. Havuzda yer alan makaleler başlık, özet ve anahtar sözcükleri ile incelenerek ilk gözden geçirme gerçekleştirildi ve makale sayısı 82’ye düşürüldü. Daha sonra yapılan incelemeye makalelerin giriş ve sonuç kısımları da dâhil edilerek birincil çalışmaların sayısı 29 olarak belirlendi.
Ardından bu 29 makale yayınlandıkları yıllara göre sınıflandırıldı. Bu makalelerin yıllara göre dağılımı Şekil 3’de gösterilmiştir. Test edilebilirliği tahmin etmeye yönelik çalışmalara belirli yıllarda yoğunlaşılmış olunsa da, son yıllarda popülaritesini kaybetmiş olduğu görülmektedir. Şekil 4 ilk yazarlarının ülkesine göre çalışmaların dağılımını göstermektedir. Seçilen son çalışmaların 12 farklı ülkede gerçekleştirildiği görülmektedir. Çalışmaların büyük çoğunluğu Kanada ve Fransa’da gerçekleştirilmiştir.
Şekil 4. Çalışmaların yapıldığı ülke dağılımı 3.7
Her çalışma için temel özellikler incelenerek özellikler belirlenmiş ve gruplanarak Tablo 5’te gösterilmiştir. ‘Soru’ başlıklı sütun, özelliklerin ve tanımlamaların ilişkili olduğu araştırma sorusunun numarasını göstermektedir.
HS1 HS2 HS3 HS4 HS5
Tablo 5. Veri çıkarımı aşamasında belirlenen özellikler (sistematik harita) Özellik Tanımlar Katkı türü Metot, araç, teknik, metrik, deneysel çalışma, diğer Çözüm önerisi (solution proposal), geçerleme çalışması Araştırma metodu (validation research), değerlendirme çalışması (evaluation research), deneyim makalesi (experience paper), diğer Tahminleme modeli
Atıf sayıları Çalışmanın özelliği
Atıf Sayısı: Sayı Yazarların Çevresi: {Akademik, Endüstri, Kombinasyonel}
Final havuzunda bulunan 29 makale katkı tiplerine göre sınıflandırıldı ve elde edilen sonuçlar aşağıdaki şekillerde gösterildi. Bu kısımda bir çalışma birden fazla özelliğe sahip olabildiği için toplam tip sayısı makale sayısından fazla olmaktadır. Şekil 5’te görüldüğü gibi çalışmalarda en çok metot/teknik ve model önerilmiştir. Çalışmaların 12 tanesi deneysel çalışmalarla desteklenmiş ve sunularının güvenilirliği artırılmıştır.
Şekil 5. Çalışmaların katkı türleri 4.2
Final havuzunda bulunan 29 makale, araştırma yöntemlerine göre sınıflandırıldı. Bu kısımda bir çalışma yalnızca bir araştırma yöntemine sahip olabilmektedir. Şekil 6’da görüldüğü gibi çalışmaların büyük çoğunluğu değerlendirme çalışması olarak gerçekleştirilmiştir. 7 adet geçerleme çalışması mevcut iken, 4 çalışma konuya çözüm önerileri ile yaklaşmıştır.
Şekil 6. Araştırma yöntemleri 4.3
Yapılan taramalar sonucunda test edilebilirliği tahmin etmeye yönelik 6 modelin
öne çıktığı görüldü. Test edilebilirliği anlamak için akış diyagramlarını ve UML
modellerini de kullanan 2 çalışma incelenerek bu kısımda sunuldu.
Çalışmalarda sunulan modeller, uygulandıkları test alanları (test domains),
modelin kullanım amacı ve kalite değerlendirmeleri Tablo 6 ile gösterildi.
Tabloda bahsedilen ölçme metotları “A Component Testability Model for
Verification and Measurement” [
Ölçme Yöntemi Prog.based Modelbased
Amacı e m ç l Ö im e T n litaK .eğd h a √ √ √ √ √ √ √ 5 5 5 5,5 6,5 6 3,5 4,5 Dependability asses.
√ √ √ √ √
Metrics
√
√
√
√
√
Önerilen
MTesotadbeillity
Growth Model
(MTMOOD)
Çalışmanın Adı
A testability growth model
and its application [
The Model of Testability
Measurement
A prediction system for evolu- Prediction
tionary testability applied to Model For
dynamic execution time analy- Evolutionary
sis [
Havuzda bulunan makaleler atıf sayılarına göre sınıflandırılmış ve en çok dikkat çeken 5 makale Tablo 7’da gösterilmiştir. √ √ √
Tablo 7. En çok atıf sayısına sahip 5 makale Çalışma adı A UML- based Approach to System Testing - Briand
A Prediction System for Evolutionary Testability Applied to Dynamic Execution Time Analysis A Model for the Measurement of the Runtime Testability of Component-based Systems A Component Testability Model for Verification and Measurement Atıf sa. 282
Çalışmaların yazarlarına göre akademik-endüstriyel ya da tümleşik olduklarına karar verilmiş ve sonuçlar Şekil 7’de gösterilmiştir. Şekil’de görüldüğü üzere bu konu hakkındaki çalışmalar genel olarak akademik kulvarda yürütülmektedir.
Şekil 7. Çalışmaların kaynağı (A: Akademik, I: Endüstriyel, C: Tümleşik) 5
Anahtar sözcüklerle arama yapıldığında farklı kaynaklardan toplam 689 makale bulundu. Gözden kaçırılmış önemli makalelerin olmaması için en çok atıf sayısına sahip makalelerin referansları ve onu referans alan makaleler incelenerek havuz genişletildi. Daha sonra başlık, özet ve anahtar sözcükleri incelenerek ilk gözden tarama gerçekleştirildi ve final havuzu sonuç kısımları ve referansları dikkatle incelenerek makale sayısı 82’ye indirildi. Daha sonra incelemeye giriş ve sonuç kısımları da dâhil ederek 9 makale ilişkili çalışma olarak değerlendirildi ve birincil çalışmaların sayısı 29 olarak belirlendi ve bu çalışmalar ayrıntılı olarak incelendi.Gelecek çalışmalar adına; bu çalışmayı geliştirerek daha derin bir sistematik literatür tarama (SLR) yapmayı planlıyoruz.
Kaynaklar 1. Michael Bloch, Sven Blumberg, and Jürgen Laartz, “Delivering large-scale IT projects on time, on budget, and on value”, http://www.mckinsey.com/business-functions/businesstechnology/, Last accessed: June 15, 2016 2. Kat Kadian-Baumeyer, “Deming, Juran & Crosby: Contributors to Total quality management (TQM)”, http://study.com/academy/lesson/deming-juran-crosby-contributors-totqm.html, Last accessed: June 15, 2016 3. ISO/IEC 9126-1: Information Technology - Software Product Quality - Part 1: Quality Model. ISO/IEC JTC1/SC7/WG6 (1999)