Yazılım test edilebilirliği: bir sistematik literatür haritalamasıEbruİrgeHanoğluebru.hanoglu@hacettepe.edu.trMaral Yazılım Mühendisliği Danışmanlık ve Ar-Ge CorpCalgaryKanadaAyçaTarhanatarhan@hacettepe.edu.trMaral Yazılım Mühendisliği Danışmanlık ve Ar-Ge CorpCalgaryKanadaVahidGarousivahid.garousi@hacettepe.edu.trMaral Yazılım Mühendisliği Danışmanlık ve Ar-Ge CorpCalgaryKanadaYazılımMühendisliğiMaral Yazılım Mühendisliği Danışmanlık ve Ar-Ge CorpCalgaryKanadaAraştırmaGrubuMaral Yazılım Mühendisliği Danışmanlık ve Ar-Ge CorpCalgaryKanadaMühendisliğiBölümüMaral Yazılım Mühendisliği Danışmanlık ve Ar-Ge CorpCalgaryKanadaHacettepeÜniversitesiMaral Yazılım Mühendisliği Danışmanlık ve Ar-Ge CorpCalgaryKanadaYazılım test edilebilirliği: bir sistematik literatür haritalaması80D830D763BAF4F21899D49E4A836C8DGROBID - A machine learning software for extracting information from scholarly documentsyazılım testiyazılım test edilebilirliğitahminleme modelisistematik literatür haritalaması Software testingsoftware testabilitysystematic mappingsystematic literature review
Yüksek kaliteli yazılımlar hem geliştiriciler hem kullanıcılar tarafından her zaman istenen bir sonuçtur. Çok boyutlu bir kavram olan yazılım kalitesi içsel ve dışsal pek çok faktör tarafından etkilenir. Test edilebilirlik yazılımın kalitesini etkileyen en önemli faktörlerden biridir. Bir yazılımın test edilebilirlik düzeyi ne kadar yüksekse, test eforu ve maliyeti o kadar düşük olacak; sonuçta ise güvenilir ve kaliteli ürünler ortaya çıkacaktır. Ne yazık ki test edilebilirlik yazılım ürünlerinin içsel bir özelliği olmadığı için doğrudan ölçülmesi mümkün değildir. Bu nedenle literatürde test edilebilirliği ölçmek adına pek çok öneriler ortaya konmuştur. Ölçümlerin çoğu kaynak kodları üzerinden gerçekleştirilmekte, ancak kodlama tamamlandıktan sonra gerek analizden kaynaklanan hataların gerek kodlama hatalarının giderilmesi daha maliyetli ve karmaşık olmaktadır. Bu makalenin amacı test edilebilirliği tahmin eden ya da ölçmeyi sağlayan modellerin varlığı üzerine bir literatür haritalaması gerçekleştirmektir.
Giriş
McKinsey & Company ve Oxford Üniversitesi işbirliği ile 2010 yılında 5,400 bilişim projesi üzerinde gerçekleştirilen bir çalışmanın sonuçlarına göre, yazılım projelerinin %45'i planlanan bütçeyi; %7 si belirlenen geliştirme süresini aşmakta; %56'sı ise beklenen gereksinimlerin çok azını karşılayarak tamamlanabilmektedir [1]. Yazılım projelerinde görülen bu başarısızlıklar yalnızca zaman kaybına değil, çok büyük mali kayıplara da neden olmaktadır. Bu büyük kayıpların önüne geçmek için alınacak ilk tedbirlerden biri yazılımda kalitenin artırılmasına yönelik çalışmalardır. Yazılım kalitesi geliştiriciye ya da kullanıcıya göre değişebilen ve birçok boyutu olan bir kavramdır. Juran'a göre [2] kalite kullanıma uygunluk olarak tanımlanırken, Crosby [2] kaliteyi sistemin gereksinimleri karşılama düzeyi ile ölçer. Bazı durumlarda yazılımın eksiksiz ve hatasız olması kritikken, bazı durumlarda kullanım kolaylığı kalitenin ölçüsü olabilmekte ve yazılımda bulunan hataların bakım evresinde giderilmesi sorun teşkil etmemektedir. ISO/IEC 9126-1 standardına [3] göre yazılım kalitesi; içsel kalite özellikleri, dışsal kalite özellikleri, kullanımdaki kalite olarak modellenmektedir. Bu modele göre yazılımın kalitesi işlevsellik, güvenilirlik, kullanılabilirlik, verimlilik, bakım kolaylığı gibi özellikleri üzerinden değerlendirilmektedir. Kalite açısından önemli bir kriter olan bakım kolaylığı "yazılımın değişiklik veya düzeltme isteklerine adaptasyon yeteneği" olarak tanımlanmaktadır [4] ve bu makalede üzerinde durulan test edilebilirlik özelliği, bakım kolaylığının bir alt kategorisi olarak tanımlanmıştır. Yazılım testi, yazılımdaki hataları bulmak, riskleri tespit etmek ve mevcut uygulamayı tanımlanan en yüksek kalite seviyesine ulaştırmak için yapılan testler bütünüdür. Yazılım test faaliyetleri ile yazılımda yer alan eksiklikler ve hatalar yazılım geliştirme sürecinin erken fazlarında fark edilir ve bunların giderilmesi ile kaliteli, kullanıcıyı ve geliştiriciyi daha çok tatmin eden ürünler ortaya çıkar. Daha az maliyetle daha kaliteli ürünler ortaya koymak için yazılımın test edilebilirliğini artırmak gerekmektedir. [5] Yazılım test edilebilirliği, bir yazılım ürününün test faaliyetlerini desteklemesinin ölçüsüdür. Bir yazılımın test edilebilirlik düzeyi ne kadar yüksekse, test eforu ve maliyeti o kadar düşük olacaktır [4]. Test edilebilirlik yazılım ürünlerinin içsel bir özelliği olmadığı için doğrudan ölçülmesi mümkün değildir. Bu nedenle yazılımın test edilebilirliğini ölçmek için metrikler, modeller ve metotlar önerilmiştir. Bu makalenin amacı test faaliyetlerini kolaylaştırmak adına, literatürde mevcut olan, yazılım test edilebilirliğini tahmin etmeye yönelik modelleri gözden geçirmektir. Makalenin ilerleyen kısımlarında; Bölüm 2'de ilgili çalışmalar verilmiştir. Bölüm 3'de bu çalışmada kullanılan literatür haritalama yöntemi tanımlanmıştır. Bölüm 4 literatürdeki çalışmaların bulgularının belirlediğimiz araştırma soruları kapsamında analizini içermektedir. Bölüm 5'de bu çalışmamızın sonuçları ve gelecekte ileriye yönelik yapılabilecek çalışmalar anlatılmıştır.
Bağlam ve ilgili çalışmalar
Kanıta-dayalı yaklaşım ilk olarak tıp alanında kullanılmış bir araştırma yaklaşımıdır ve daha sonra pek çok bilimsel alanda kullanılmaya başlanmıştır. Bu yaklaşımı ilk kez 2004 yılında Kitchenham ve arkadaşları "Kanıta-dayalı yazılım mühendisliği" [6] Measuring testability of object oriented design: a systematic review 2014 [11] SLR 29
Testability and software robustness: a systematic literature review 2015 [12] SLR 38
Testability and software performance: a systematic mapping study 2016 [13] SM 34
Literatür haritalama metodu
Literatür taraması kapsamında incelenecek makalelere karar verilmesi adına öncül bir sistematik haritalama çalışması gerçekleştirilmiştir. Bu çalışma aşağıda belirtilen adımlar izlenerek gerçekleştirilmiştir ve akış diyagramı Şekil 1 ile gösterilmiştir:
Haritalama sorularının tanımlanması Konuyla ilgili yayınlara ulaşmak için, elektronik veri tabanlarında ve diğer kaynaklarda aramaların yapılması ve incelenecek yayınların tespit edilmesi İçerme (include) ve dışarıda bırakma (exclude) kriterlerinin belirlenmesi Belirlenen kriterlere göre yayınların seçilmesi Yayınların içerikleri taranarak, sınıflandırmak için kullanılacak olan yayın tarihlerinin, ilişkili alanların, çalışma türlerinin ve yayın türlerinin saptanması Sistematik literatür taramaları, 3 ana fazda özetlenebilecek ayrık faaliyetleri kapsar. Bu fazlar planlama, gerçekleştirme ve raporlama aşaması olarak adlandırılır. Sistematik eşleme çalışması ile incelenecek makaleler belirlendikten sonra Kitchenham'ın "Procedures for Performing Systematic Reviews" çalışmasında belirtilen prosedür takip edilerek literatür taraması gerçekleştirilmiştir.
Şekil 1. Sistematik haritalama süreci ve çalışma adımları
Haritalama soruları
Bu literatür tarama çalışması aşağıdaki Haritalama Sorularını (HS) yanıtlamak için tasarlanmıştır:
HS 1. Çalışmaların araştırmaya yönelik katkıları nelerdir? Çalışmaların kaç tanesi metot, teknik, model, araç veya süreç sunmaktadır? HS 2. Çalışmalarda kullanılan araştırma yöntemleri nelerdir? HS 3. Bir yazılımın test edilebilirlik düzeyi modeller kullanılarak nasıl tahmin edilebilir? Bu modellerin güvenilirlik düzeyleri nasıldır? HS 4. En çok atıf sayısına sahip makaleler hangileridir? HS 5. Yapılan çalışmaların endüstri/akademik olmalarına göre dağılımları nasıldır?
Kaynakların (birincil çalışmaların) arama ve seçimi
Haritalama sorularının belirlenmesinin ardından ilgili makalelere erişmek için anahtar sözcükler belirlendi ve bu anahtar sözcükler kullanılarak üç farklı dijital kütüphanede arama yapıldı. Konu ile alakalı olduğu düşünülen makaleler başlıklarına, özetlerine ve anahtar sözcüklerine bakılarak havuza dâhil edildi. Aramaların gerçekleştirildiği anahtar sözcükler şu şekilde gruplanmıştır:
Çalışmaların sınıflandırılması
Ayrıntılı incelenecek makaleler belirlendikten sonra aşağıda belirtilen 4 grupta toplandı:
Kalite değerlendirmesi
Havuza eklenen birincil çalışmaların kalite değerlendirmeleri Tablo 4'de verilen kontrol listesi kullanılarak gerçekleştirildi. Her soru için çalışmanın kalitesi 'evet', 'kısmen' veya 'hayır' olarak değerlendirildi. Cevapların ağırlığı sırasıyla 1, 0.5, ve 0 olarak belirlendi. A ve B kategorisine ait çalışmalar yukarıda belirtilen 7 soru üzerinden değerlendirilerek kalite değerlendirmeleri gerçekleştirildi.
Veri çıkarımı ve sistematik harita
Her çalışma için temel özellikler incelenerek özellikler belirlenmiş ve gruplanarak Tablo 5'te gösterilmiştir. 'Soru' başlıklı sütun, özelliklerin ve tanımlamaların ilişkili olduğu araştırma sorusunun numarasını göstermektedir. A testability growth model and its application [15] Testability Growth Model
√ √ 5
An empirical analysis of a testability model for objectoriented programs [16] (MTMOOD)
√ √ √ 5
An analytic software testability model [17] The Model of Testability Measurement √ √ √ 5,5
HS 4-En çok atıf alan makaleler
Havuzda bulunan makaleler atıf sayılarına göre sınıflandırılmış ve en çok dikkat çeken 5 makale Tablo 7'da gösterilmiştir.
Tablo 3 .A: Doğrudan test edilebilirliği tahmin etmek için modeller B: Test edilebilirliği yazılım geliştirme sürecinin erken fazlarında ölçmeyi öneren modeller (diagram veya doküman üzerinden) C: Test edilebilirliği inşa etmeyi öneren modeller D: Model önermeyen ancak konuya katkı sağlayan makaleler A kategorisinde yer alan makale sayısının çok az olması nedeniyle çalışmaya B kategorisinde yer alan makaleler de dahil edildi ve bu modeller haritalama sorusu 3'ün sonuçlarında özetlendi. Hangi kategoride kaç makalenin yer aldığı Tablo 3'te özetlendi. Kategorilere göre makale sayılarının dağılımıTablo 7 . 4 . 5 HS 5 -Şekil 7 .En çok atıf sayısına sahip 5 makale Çalışma adı Atıf sa. A UML-based Approach to System Testing -Briand 282 A UML-based Approach to System Testing -Hartmann 69 A Prediction System for Evolutionary Testability Applied to Dynamic Execution Time Analysis 28 A Model for the Measurement of the Runtime Testability of Component-based Systems 30 A Component Testability Model for Verification and Measurement 43 Endüstri veya akademiden gelen makaleler Çalışmaların yazarlarına göre akademik-endüstriyel ya da tümleşik olduklarına karar verilmiş ve sonuçlar Şekil 7'de gösterilmiştir. Şekil'de görüldüğü üzere bu konu hakkındaki çalışmalar genel olarak akademik kulvarda yürütülmektedir. Çalışmaların kaynağı (A: Akademik, I: Endüstriyel, C: Tümleşik) 5 Sonuçlar ve gelecek çalışmalar Anahtar sözcüklerle arama yapıldığında farklı kaynaklardan toplam 689 makale bulundu. Gözden kaçırılmış önemli makalelerin olmaması için en çok atıf sayısına sahip makalelerin referansları ve onu referans alan makaleler incelenerek havuz genişletildi. Daha sonra başlık, özet ve anahtar sözcükleri incelenerek ilk gözden tarama gerçekleştirildi ve final havuzu sonuç kısımları ve referansları dikkatle incelenerek makale sayısı 82'ye indirildi. Daha sonra incelemeye giriş ve sonuç kısımları da dâhil ederek 9 makale ilişkili çalışma olarak değerlendirildi ve birincil çalışmaların sayısı 29 olarak belirlendi ve bu çalışmalar ayrıntılı olarak incelendi.Gelecek çalışmalar adına; bu çalışmayı geliştirerek daha derin bir sistematik literatür tarama (SLR) yapmayı planlıyoruz.
Makale Adı Yılı Ref. Çalışma- nın tipi Birincil Çal. Say.
olarak yazılım mühendisliği alanına uyarlamışlardır. Bubağlamda kanıtlar, özelleştirilmiş bir konu ya da soru üzerine gerçekleştirilmiş enkaliteli çalışmaların sentezi ile tanımlanır. Bu sentezi gerçekleştirmenin temelmetodu sistematik literatür taramaları gerçekleştirmektir.Sistematik literatür taramaları, araştırma konusuna yönelik katkı sağlayan birincilçalışmaları değerlendiren ikincil bir çalışmadır. Daha ayrıntılı bir tanım yapmakgerekirse; sistematik literatür taramaları belirli bir soruya yanıt ya da problemeçözüm oluşturmak için, o alanda yayınlanmış tüm çalışmaların kapsamlı birbiçimde taranarak, çeşitli dâhil etme ve dışlama kriterleri kullanarak vearaştırmaların kalitesi değerlendirilerek hangi çalışmaların derlemeye alınacağınınbelirlenmesi, derlemeye dâhil edilen araştırmalarda yer alan bulgularınsentezlenmesidir. Tablo 1, bu çalışma ile ilgili yapılmış ikincil çalışmalarıgöstermektedir.Tablo 1. İlgili çalışmalar (bu alanda yapılan ikincil çalışmalar)Design for testability: a survey1982[7]Normal survey109A survey of reliability, maintainability, supportability, and testabil-ity software tools1991[8]Normal survey233Survey of source code metrics for evaluating testability of object oriented systems2010[10]Normal survey95
model AND {predict OR estimate OR estimation} AND {software testability} Tablo 2. Kaynakların arama aşaması sonucunda literatür taraması için seçilen kaynaklar
3.3 Dâhil etme ve dışlama kriterleriİkinci aşamada makaleler dâhil etme ve dışlama kriterleri göz önündebulundurularak değerlendirildi ve sayısı 29'a düşürüldü. Bu çalışma boyunca gözönünde bulundurulan dâhil etme ve dışlama kriterleri her bir makale için şuşekilde belirlendi:o Tez şeklinde ya da dergide, konferansta ya da workshoplar kapsamındayayınlanmış olmalı,o İngilizce olarak yazılmış olmalı,o Konu ile doğrudan alakalı olmalı,o Sunularına dair geçerli bir kanıt sunmalı,o Son 20 yıl içerisinde yayınlanmış olmalıo Bir kestirim modeli önermeliYapılan çalışmaların büyük çoğunlunun test edilebilirliği kaynak kod üzerindenölçmek üzerine olduğu görüldü ve geliştirme aşamasına gelmeden testedilebilirliği ölçen çalışmaların kodun test edilebilirliğini tahmin ettiğidüşünülerek havuza dâhil edildi.KaynakMakale SayısıPeriyotGoogle Scholar6421996 -2015ACM41996 -2015IEEE Xplore431996 -2015
HS 1-Çalışmaların araştırmaya katkı tipleriFinal havuzunda bulunan 29 makale katkı tiplerine göre sınıflandırıldı ve elde edilen sonuçlar aşağıdaki şekillerde gösterildi. Bu kısımda bir çalışma birden fazla özelliğe sahip olabildiği için toplam tip sayısı makale sayısından fazla olmaktadır. Şekil 5'te görüldüğü gibi çalışmalarda en çok metot/teknik ve model önerilmiştir. Çalışmaların 12 tanesi deneysel çalışmalarla desteklenmiş ve sunularının güvenilirliği artırılmıştır.
Tablo 5. Veri çıkarımı aşamasında belirlenen özellikler (sistematik harita) Şekil 5. Çalışmaların katkı türleri4.2 HS 2-Araştırma yöntemiFinal havuzunda bulunan 29 makale, araştırma yöntemlerine göre sınıflandırıldı. Bu kısımda bir çalışma yalnızca bir araştırma yöntemine sahip olabilmektedir. Şekil 6'da görüldüğü gibi çalışmaların büyük çoğunluğu değerlendirme çalışması olarak gerçekleştirilmiştir. 7 adet geçerleme çalışması mevcut iken, 4 çalışma konuya çözüm önerileri ile yaklaşmıştır. Şekil 6. Araştırma yöntemleri 4.
3 HS 3-Tahminleme modeli
öne çıktığı görüldü. Test edilebilirliği anlamak için akış diyagramlarını ve UML "UML-Based Models" [21] test durumlarının otomatik yaratılmasına,modellerini de kullanan 2 çalışma incelenerek bu kısımda sunuldu. uygulanmasına ve değerlendirilmesine dayanan bir modeldir. Bu şekilde testÇalışmalarda sunulan modeller, uygulandıkları test alanları (test domains), durumlarının oluşturulma kolaylığının ve güvenirliğinin artırılmasımodelin kullanım amacı ve kalite değerlendirmeleri Tablo 6 ile gösterildi. hedeflenmiştir. Manuel test yöntemleri ile UML tabanlı modeller kullanılarakTabloda bahsedilen ölçme metotları "A Component Testability Model for Verifi-oluşturulan otomatik test durumları kıyaslanmış ve sonuçta modelin faydalıcation and Measurement" [14] makalesinde verilen metotlar referans alınarak olduğu görülmüştür.düzenlenmiştir."Testability Growth Model" [15] Markov'un zincir-tabanlı modeli temel alınarak Tablo 6. Seçilen makalelerden özetlergeliştirilmiş bir test-düzelt-test modelidir. Test-düzelt-test modelinin mantığı, bir hata bulunduğunda düzeltilene kadar geliştirmeye ara verilmesi ve hata Kullan. Ölçme Yöntemi Amacıdüzeltildikten sonar devam edilmesi mantığına dayanmaktadır. Değerlendirmeler 'design for testability ' (DFT) metriklerinin hatalar arasında beklenen ve aslında Önerilen model 3 farklı simülasyon üzerinde uygulanmış ve elde edilen sonuçlar Model elde edilen sonuçları Bayes yaklaşımı ile değerlendirilerek yapılmaktadır. Çalışmanın Adı Önerilen Prog.-based Model-based Dependa-bility asses. Metrics Ölçme Tahmi n Kalite değ.modelin uygulanabilir olduğunu göstermiştir."Metric-Based Testability Model for Object-Oriented Design (MTMOOD)" [16]sınıfların test edilebilirliğini dizayn aşamasında sınıf diyagramlarının bazı nesneyönelimli tasarım özelliklerini analiz ederek ölçmeyi hedeflemektedir. Bunlarınbaşlıcaları kalıtım, sarmalama, bağımlılık gibi kriterlerdir. Model pek çok projeüzerinde defalarca denenmiş ve elde edilen sonuç eksiklikleri ve avantajları ileayrıntılı olarak listelenmiştir. Gelecek çalışmalarda model başka projeler üzerindedefalarca denenerek genelleştirilebilir sonuçlara ulaşmak hedeflenmektedir."The Model of Testability Measurement" [17] yanlış tanımlanandeğişkenler/sabitler, sabit olarak tanımlanan değişkenler, değişken olaraktanımlanan sabitler ve yanlış kullanılan operatörler üzerinden test edilebilirliğihesaplamayı amaçlamaktadır. Model basit bir örnek program üzerinde denenmişve Voas'ın PIE modeli ile elde edilen sonuçlar birbirine yakın bulunmuştur.Gelecek çalışmalarda modelin iyileştirilmesi hedeflenmiştir."Prediction Model For Evolutionary Testability" [18] model içerisindetanımlanan evrimsel test edilebilirlik metriklerinin ve gelecek varlıkların (futureentitiy) matematiksel modellerle çözümlenerek analiz edilmesine dayanır. Modelgerçek zamanlı sistemler için düşünülmüştür. Model laboratuar ortamındadenenmiş olup çıkan sonuçlar güvenilirliğini yüksek gösterse de endüstriyelürünlerde denenip sonuçların değerlendirilmesi gelecek çalışmalara bırakılmıştır"A Qualitative Model of Run-Time Testability" [19] test edilebilirliği, çalışmaanında test edilebilirliği etkileyen ana faktörler göz önünde bulundurularak,tanımlanan metrikler kullanılarak grafikler ya da akış diyagramları üzerindenhesaplamayı amaçlamaktadır. Model iki farklı bileşen tabanlı sistem üzerindedenenmiş ve sonuçlar modelin uygulanabilir olduğunu göstermiştir."A Component Testability Model" [20] geliştirme süresince bileşenleringeçerleme ve ölçme faaliyetlerini desteklemesini sağlamak üzerine tasarlanmıştır.Benzer çalışmaların aksine modelin tasarlanmasındaki amaç gereksinimden testekadar geçerleme çalışmalarını destekleyen bileşenler inşa edilmesini sağlamaktır.Model ile gerçekleştirilen durum çalışmaları, modelin geçerliliğinin yüksek Yapılan taramalar sonucunda test edilebilirliği tahmin etmeye yönelik 6 modelin olduğunu ortaya koymaktadır.
MichaelBlochSvenBlumbergJürgenLaartzDelivering large-scale IT projects on time, on budget, and on valueJune 15, 2016KatKadian-BaumeyerDeming, Juran & Crosby: Contributors to Total quality management (TQM)June 15, 2016ISO/IEC 9126-1Information Technology -Software Product Quality -Part 1: Quality Model. ISO/IEC JTC1/SC7/WG61999Nesneye Dayalı Yazılım Metrikleri ve Yazılım Kalitesi Object Oriented Software Metrics and Software QualityUralErdemirUmutTekimn VeFezaBuzlucaMeasuring Software MaintainabilityNupulKukrejaJune 16, 2016. June 15, 2016Evidence-Based Software EngineeringBarbaraAKitchenhamToreDybaMagneJorgensenProceedings of the International Conference on Software Engineering (ICSE)the International Conference on Software Engineering (ICSE)2004Design for Testability A SurveyTWWilliamsKPParkerIEEE Trans. Comput3111982. 1982JosephACaroliNumber : ADA236148A Survey of Reliability, Maintainability, Supportability, and Testability Software Tools1991US Military Tech. ReportPresent and future of software testability analysisFuJianpingLiuBinLuMinyanInternational Conference on Computer Application and System Modeling2010Survey of source code metrics for evaluating testability of object oriented systemsLydieDuMuhammad Rabee ShaheenBousquetRR-LIG-0052010Laboratoire d'Informatique de Grenoble, Tech.ReportMeasuring Testability of Object Oriented Design: A Systematic ReviewDSMahfuzul HudaDrM HAryaKhanInternational Journal of Scientific Engineering and Technology3102014Testability and Software Robustness: A Systematic Literature ReviewMMHassanWAfzalMBlomBLindströmSFAndlerSEldhEuromicro Conference on Software Engineering and Advanced ApplicationsFunchal2015. 2015Testability and Software Performance: A Systematic Mapping StudyMHassanMahdiWasifAfzalBirgittaLindströmShahSyedAndlerFStenMartinBlomACM Symposium on Applied Computing2016A component testability model for verification and measurementJerryGaoMing-ChihShihCOMPSAC-W'052005A testability growth model and its applicationChenxuZhaoJingQiuGuanjunLiuKehongLvKrishinaPattipatiSystems, Man, and Cybernetics: Systems, IEEE Transactions onApril 201646An empirical analysis of a testability model for object-oriented programsAymenKoutMouradFadel ToureBadriACM SIGSOFT Software Engineering Notes3642011An analytic software testability modelJin-CherngLinSzu-WenLin2002IEEEA prediction system for evolutionary testability applied to dynamic execution time analysisHans-GerhardGroßInformation and Software Technology43142001A model for the measurement of the runtime testability of component-based systemsAdrianaGonzalezEricPielHans-GerhardGrossICSTW'09. International Conference onIEEE2009. 2009Software Testing, Verification and Validation WorkshopsA component testability model for verification and measurementJerryGaoMing-ChihShihComputer Software and Applications ConferenceIEEE2005. 20052COMPSAC 2005. 29th Annual International.A UML-based approach to system testingJeanHartmannInnovations in Systems and Software Engineering112005A UML-based approach to system testingLionelBriandYvanLabicheSoftware and Systems Modeling112002