Özet. ASELSAN bünyesindeki yazılım geliştirme bölümlerinde farklı yazılım geliştirme modelleri kullanılarak yazılımlar geliştirilmekte ve süreç içerisinde devamlı olarak test faaliyetleri yürütülmektedir. Süreç içerisinde test tasarım faaliyetlerinin sürekliliği değerlendirildiğinde, proje planlamasında test efor tahmini oldukça önem arz etmektedir. Bu makalede gerçekleştirilecek yazılım projeleri için test efor tahmini sırasında kullanılacak yöntem anlatılmaktadır. Ortaya atılan yöntem, test metrikleri kullanılarak oluşturulmuş olup, yazılım ve sistem test efor tahminlerinde bulunulmuştur. Yapılan efor tahminleri projelerdeki efor gerçekleşmeleri ile karşılaştırılarak önerilen yöntemin başarı değerlendirmesi de yapılmıştır.
Yazılım ürünlerinin karmaşıklık seviyesi arttıkça oluşabilecek riskleri yönetebilmek zorlaşmaktadır. Ölçülebilir bir sürece sahip olmak proje boyunca karşılaşılabilecek risklere karşı dayanıklı ve çevik olunmasına yardımcı olmaktadır. Test süreci de bu kapsamda değerlendirildiğinde oluşabilecek riskleri azaltmak ve süreci yönetilebilir kılmak amacıyla test sürecine yazılım test efor tahminleme yaklaşımı getirilmelidir.
Proje planlamasındaki en önemli nokta projenin ne kadar sürede biteceğinin tahmin edilebilmesidir. Elde somut bir ölçüm olmadığı takdirde güvenilir bir tahminde bulunmak oldukça zordur. Tecrübeler üzerinden yapılan tahminler kesin olmadığı gibi, bazı durumlarda gerçek senaryodan da oldukça uzak olabilmektedir. Bu nedenle metrik belirleyip ölçümleme yapıp, metrikler üzerinden proje bitiş sürecine dair tahminleme yapmak başvurulabilecek en pratik yöntemlerden birisidir. Metrik bir tür ölçüm göstergesidir [1]. Tom de Marco'nun tabiriyle "Ölçülemeyen bir şeyin kontrol edilebilmesi oldukça zordur" [2]. Yazılım sektöründeki tüm çalışanlar projelerle ilgili metriklere sahip olmayı talep eder, hatta birçoğu geçerli geçersiz birçok metriğe de sahiptir. Ancak kısıtlı bir kesim sahip oldukları metriklerin ne anlama geldiğinin ve ne işe yarayabileceğinin farkındadır [3]. Yazılım projelerinde yazılım teste olan ihtiyacın artması yazılım test kaynak yetersizliğini de beraberinde getirmektedir. Kaynak yetersizliği göz önünde tutulduğunda test kaynak kullanımını verimli hale dönüştürmek için efor tahmini oldukça önemlidir. Efor tahminin en önemli girdisi metriklerdir. Bu makalede projeler üzerinde tutulan test metriklerinden, bu metriklerin proje yaşam döngüsünde yazılım test efor tahmini yapılması sırasında nasıl kullanıldığından bahsedilmektedir.
Metrikler genel olarak süreci ölçmek, izlemek ve süreç kalitesini geliştirmek için kullanılmaktadır [1][4]. Metriklerin kullanım alanları özetlenecek/tanımlanacak olunursa:
• Projenin belli bir anında, projenin sonlanması için gereken zaman ve bütçenin hesaplanması • Gelecek projelerin zaman ve bütçe tahmini yapılması • Güncellenmesi ya da düzeltilmesi gereken süreç ya da teknolojinin belirlenmesi
Teknoloji sektöründe çalışan birçok uzman, metriklerin öneminin farkında olmakta ancak nereden ve nasıl başlayacağının kararını vermekte zorlanmaktadır [1]. Metriklerin de tıpkı yazılım gibi bir yaşam döngüsüne sahip olup bu döngü içerisinde geliştirilmesi gerekmektedir. Metrikler de yaşayan nesneler olduğundan tutarlı bir yaklaşım altında toplanmaları gerekmektedir. Bu sebeple metrik yaşam döngüsünün tanımlanması ve uygulanması sağlıklı bir efor tahmini için zorunluluk değil ihtiyaçtır. Bu yaşam döngüsü şu adımlardan oluşabilir [1][4]:
Neden metrik toplanmak istendiği bu safhada belirtilmelidir. Amacı olmadan yapılan çalışmalar hem zaman hem de bütçe olarak zarar demektir. Ayrıca verimli bir çalışma da olmayacaktır. Amaç belirlenirse rota daha kolay oluşturulup hedefe daha etkin ve daha doğru bir şekilde ulaşılır. Örnek verilecek olunursa:
• Riskli alanlar için daha fazla test süresi ayrılması • Müşteri kabul testleri memnuniyetinin 3 yıl içerisinde %20 arttırılması • Gelecek projeler için test efor tahmininin yapılması • Müşteriden geri dönecek hataların önem derecesinin kritik seviyede olmaması
Piyasada yüzlerce metrik bulunmaktadır. Bunların hepsini toplamak verimsiz olacağı gibi kısıtlı olan test süresini boş yere harcama anlamına gelecektir. Belirlenen amaca yönelik metriklerin tanımlanıp onlar üzerinde çalışma yapılmalıdır. Seçilen metrikler kolay toplanabilir, rapor edilebilir ve istatistiksel olarak modellenebilir olmalıdır. Projeler, ihtiyaçlar, kullanılan teknoloji, müşterilerinin ihtiyaçları sürekli olarak değişebilir. Bunlara göre seçili metrikler güncel olmalı ve metrik toplama işlemi canlı tutulmalıdır. Seçilen metrikler tanımlanan amaçlarla ilgili sorulara cevap olmalıdır [2].
Testlerin koşumu ve raporlanması esnasında test yönetim araçlarını kullanmak metrik toplama işlemini oldukça kolaylaştırabilir. Uygun filtreler ile belirlenen metriklerin sonuçları toplanabilir. Toplanan metrikler ile üst düzey metrikler de basit matematiksel işlemler ile hesaplanabilir.
Projenin belirli zamanlarında, tutulan metrikler üzerinden projenin gidişatı hakkında çalışma yapılması projenin risk seviyesini azaltmaya yarar. Projede acil müdahale edilmesi gerekli alanların yöneticilerle konuşulup derhal müdahale edilmesi, çok ciddi kayıpların önüne geçebilir. Örnek verecek olursak test planı başına test senaryosu hata yoğunluğu artıyorsa müşteriye verilecek sürümde çok ciddi sayıda hata olması beklenebilir. Bu durumda hata çözümünden sonra yapılacak etki analizi için koşturulacak test senaryosu sayısının artırılması ya da test senaryolarının gözden geçirilip daha verimli hale getirilmesi düşünülebilir.
Toplanılan metriklerin kalıcı olması ve gelecek projelerde kullanılabilir olması için anlaşılabilir bir şekilde saklanması gerekmektedir. Metriklerin toplanma amacının, test efor tahmini ihtiyacı sırasında kullanılmak olduğu düşünüldüğünde, metriklerin kalıcılığı ve doğruluk payı yüksek olmalıdır. Bu metrikleri sadece sizin kullanmayacağınızı düşünürseniz diğer paydaşlar tarafından anlaşılabilir ve kolay uygulanabilir metrik kümesi bırakmak oldukça önemlidir.
Metrikler üzerinden tahmin işlemi metrik yaşam döngüsünde bulunan ve faydalı görülen yeniden kullanılabilir metrikler üzerinden gerçekleştirilir.Projenin içeriğine ve kullanılacak test metodolojisine göre uygun metriklerin seçilip projede yer alan uygun parametreler üzerinden tahmin işlemi gerçekleştirilebilir. Unutmayalım ki her proje sonunda metriklerimizi güncellemek gereklidir. Test ve süreçler anlamında ya da alan bilgisi olarak kazanılan her tecrübeyle metrikler hassaslaşacak ve daha iyi sonuçların elde edilmesine ortam sağlayacaktır. Metriklerin önemli bir rol oynadığı görüldüğünde ve metrikler baz alınarak süreç iyileştirilmek istendiğinde doğru soruların sorulması gerekmektedir. Ama metrik tutmaya nereden başlamak lazım? Hangi metrikleri tutalım? Ne kadar metrik yeterli? gibi çok fazla soru mevcuttur. Bu sorular tamamen projeye ve şirketin organizasyonel yapısına bağlı olarak değişiklik gösterir. O yüzden en basitinden başlamak lazım. Olabildiğince az, toplaması kolay, gelecekte işimize yarayacak metrikleri seçmek en efektif başlangıç olacaktır [8]. Mesela gelecek projeler komple manüel test iken otomasyon ile ilgili metrik tutmak ne kadar anlamlı?
Metriklerin tutarlılık seviyesi arttıkça efor tahmini sonucunda oluşacak hata payının düşeceği beklenmektedir. Proje planlamasının düzgün bir şekilde yürütülmesi ve geliştirilmesi için bazı ölçümlemeler olmalıdır. Bu ölçümlerin değişken olabileceğinin unutulmaması gerekmektedir.
Bu makalede metriklerden, neden tutulması gerektiğinden ve metrikler üzerinden yapılan bir test efor tahmini çalışmasından bahsedilmiştir. Bahsedilen metrikler efor tahmininde kullanılan anahtar metrikler olup oldukça kolay toplanabilmektedir. Yapılan tahmin ile gerçek süre karşılaştırılmış olup, tahminin doğruluk oranına göre metriklerin geçerli olduğu kararı alınmıştır. Toplanan metrikler üzerinden yazılım test efor tahmininin nasıl daha verimli ve etkili hesaplandığı gösterilmiştir. Metrikleri test sürecinizin bir parçası yapmak istiyorsanız neden metrik tutmalıyız sorusuna verecek cevabınız olmalıdır.
Bu makaleye yorumları ve tavsiyelerinden dolayı Ediz ACAR ve Salih ÜNSAL'a teşekkür ederiz.