Özetçe. Üretim alanında yaygın kullanımı bulunan Kalite Maliyetleri yazılım geliştirme alanında da projelerde yazılım kalitesine yönelik yapılan faaliyetler hakkında yol gösterici bir ölçüm olarak değerlendirilebilir. Yazılım kalite maliyetlerinin toplam proje maliyetine oranı ve yazılım kalite maliyetlerinin kendi içerisindeki dağılımı yazılım geliştirme ekiplerine izledikleri süreçler ile ilgili analizler yapabilmek adına değerli geri beslemeler sağlamaktadır. Bu geri beslemeler sonucunda izlenen yazılım geliştirme süreçleri ile ilgili iyileştirme faaliyetleri başlatılarak kaynakların daha verimli kullanılması ve daha kaliteli yazılımlar geliştirilmesi yönünde adımlar atılmaktadır. Yazılım kalite maliyetleri ölçümleri hata yoğunluğu ölçümleri ile birlikte değerlendirilerek kalite maliyetleri en uygun seviyelere çekilirken hata yoğunluğunun da en az seviyeye indirilmesi hedeflenmelidir. Bu çalışmada ASELSAN Savunma Sistem Teknolojileri Sektör Başkanlığı bünyesindeki Komuta Kontrol Yazılım Tasarım Bölümü'nde yürütülen TADES Yazılım Ürün Hattı geliştirme projesinde kalite maliyetlerinin düşürülmesine yönelik başlatılan kök-neden analizi çalışması (TADES CAR (Causal Analysis and Resolution)), izlenen yöntem, alınan kararlar, uygulama ve sonuç değerlendirmeleri anlatılmaktadır.
yürütülen TADES Yazılım Ürün Hattı geliştirme projesinde kalite maliyetlerinin düşürülmesine yönelik başlatılan kök-neden analizi çalışması, izlenen yöntem, alınan kararlar, uygulama ve sonuç değerlendirmeleri anlatılmaktadır.
Makalenin 2. bölümünde Yazılım Kalite Maliyeti ve Hata Yoğunluğu ölçüm yöntemlerinden, 3. bölümünde TADES Yazılım Ürün Hattı yaklaşımında Yazılım Kalite Maliyeti ölçümleri ve sonuçlarının değerlendirilmesinden ve 4. bölümde de uygulanan kök-neden analizi çalışması ve bu çalışmanın sonuçlarından bahsedilecektir. 2
Yazılım Kalite Maliyeti ve Hata Yoğunluğu
Üretim alanında yaygın olarak kullanımı olan Kalite Maliyeti kavramı 1950’li yıllarda
ortaya atılmıştır. Kalite maliyeti Juran tarafından “kaçınılabilecek maliyetler ya da
madendeki altın” olarak tanımlamaktadır [
Üretim alanında yaygın ve etkin kullanımı olan kalite maliyetlerinin yazılım
geliştirme alanında da kullanımına yönelik çalışmalar yapılmıştır [
Önleyici Faaliyet Maliyetleri: Yazılım geliştirme sürecinin tüm aşamalarında hataların oluşmasını önlemeye yönelik olarak geliştirme aşamasında yapılan faaliyetleri içerir. Kalite planlarının hazırlanması, yazılım test planlarının hazırlanması, eğitimlerin alınması, prototip hazırlama faaliyetleri önleyici faaliyetler kapsamında değerlendirilebilir. Değerlendirme Maliyetleri: Yazılım kalitesinin değerlendirilmesine yönelik faaliyetleri içerir. Gözden geçirme, birim test, doğrulama ve geçerli kılma faaliyetleri değerlendirme maliyeti olarak sayılmaktadır. İç Hata Maliyetleri: Yazılım geliştirme ve doğrulama aşamalarında tespit edilen hataların giderilmesine yönelik harcanan efor maliyetidir. Dış Hata Maliyetleri: Kullanıcı tarafından tespit edilen hataların giderilmesine yönelik olarak harcanan efor maliyetidir.
Yazılım kalite maliyetleri yazılım projelerinin performans ölçümlerinde ve süreç
iyileştirme çalışmalarında yaygın olarak kullanılmaktadır [
Organizasyonların Yazılım Kalite Maliyeti ve Hata Yoğunluğu ölçümlerini birlikte almaları ve analiz etmeleri yazılım kalitesinden taviz vermeden kalite maliyetlerini düşürmelerini sağlamaktadır. Bu açıdan bu iki ölçümün birlikte yapılması organizasyonların kaynaklarını hem daha verimli kullanmaları hem de daha kaliteli ürünler çıkarmaları konusunda yol gösterici olacaktır. 3
Bir önceki bölümde anlatıldığı gibi yazılım kalite maliyetleri ölçümlerinin analizi
izlenen yazılım geliştirme süreci ile ilgili olarak geliştirme yapılabilecek alanlar için
ipuçları vermektedir. TADES, ASELSAN SST Sektör Başkanlığı bünyesindeki
KKYTM Bölümü’nde yürütülen Teknik Ateş Destek Sistemleri yazılımlarının
yeniden kullanım temelli üretilmesi çalışmasıdır [
ASELSAN SST Yazılım Tasarım Bölümleri, yazılım projeleri işçilik verilerini toplamak için Microsoft Team Foundation Server (TFS) aracını kullanmaktadır. Projeler TFS aracında tanımlanmakta ve yazılım geliştirme ekipleri iş dağılım ağaçlarını TFS üzerinde tanımlayarak projelerinin takibini yapmaktadır. TFS’ten toplanan işçilik verileri kullanılarak Yazılım Kalite Maliyeti hesaplamaları ve analizleri yapılmaktadır. Hata yoğunluğu ölçümleri için IBM Rational ClearQuest aracı ve kaynak kod satır sayıları kullanılmaktadır.
TADES geliştirme projesi için alınan ölçümlerde yazılım kalite maliyetlerinin çok
yüksek değerlere ulaştığı görülmüştür. Bu maliyetlerinin detaylarının incelenmesi ve
hata yoğunluğu ile ilgili hedeflerden sapmadan maliyetlerin düşürülmesine yönelik
olarak bir kök neden analizi çalışması başlatılmıştır. ASELSAN SST Yazılım Tasarım
Bölümlerinde yazılım geliştirme alanında CMMI yüksek olgunluk seviyelerine
yönelik olarak çalışmalar başlatılmıştır. TADES Yazılım Ürün Hattı projesi yazılım
kalite maliyetlerinin düşürmeye yönelik olarak başlatılan kök-neden analizi çalışması
CMMI Seviye 5 süreç alanlarından birisi olan “Casual Analysis Resolution (CAR)”
süreç alanı çalışmaları kapsamında yürütülmüştür. CMMI CAR süreç alanı kaliteyi ve
üretkenliği artırmak amacı ile süreç kaynaklı problemlerin çözümüne yönelik
sistematik bir yaklaşım tanımlamaktadır [
ASELSAN SST Yazılım Tasarım Müdürlükleri’nde yazılım kalite maliyetlerinin ölçülmeye başlanması ile birlikte projelerdeki yazılım kalitesine yönelik harcanan efor bilgileri sayısal olarak değerlendirmeye alınmaya başlanmıştır. Alınan ölçümler sonucunda TADES Yazılım Ürün Hattı geliştirme projesine ait yazılım kalite maliyet değerleri 2014 yılı sonu itibari ile hedef değerlerin üzerinde ölçülmüştür. Elde edilen ölçüm bilgileri, geliştirme ve yazılım kalite maliyeti dağılım oranları Tablo-1 ve Şekil-1’de verilmiştir.
Önleyici Faaliyet % 17 İç Hata % 14
Tablo-1. 2014 Yıl Sonu TADES Geliştirme ve Kalite Maliyeti Dağılımı Dış Hata
7% İç Hata 14% Değerlendir me 33%
Geliştirme 29% Önleyici Faaliyet 17% Şekil-1. 2014 Yıl Sonu TADES Geliştirme ve Kalite Maliyeti Dağılımı Ölçüm sonuçlarından da görülebileceği üzere Değerlendirme Maliyetleri yazılım kalite maliyetleri içerisinde en büyük kalemi oluşturmaktadır. Değerlendirme Maliyetleri daha detaylı analiz edildiğinde Değerlendirme Maliyetlerinin kendi içerisindeki dağılımı Tablo-2 ve Şekil-2’de verilmiştir.
Bu sonuçlar analiz edildiğinde “Yazılım Test Tasarımı ve Hazırlığı” ve “Yazılım Doğrulama” adımlarının Değerlendirme Maliyetlerini artıran esas adımlar olduğu görülmektedir. Bu adımlara yönelik yapılacak iyileştirme çalışmalarının yazılım kalite maliyetlerini azaltmada etkili olacağı değerlendirilerek kök neden analizi çalışması başlatılmıştır. Başlatılan kök neden analizi çalışması adımları Şekil-3’de verilmiştir. 1% 0% 0% Balık Kılçığı Çözüm Önerileri
MaliyetKazanım Analizi
Karar
Sonuç Değerlendirme Şekil-3. Kök Neden Analizi Çalışması Adımları İzlenecek adımlar Balık Kılçığı yöntemi kullanılarak değerlendirme maliyetlerinin yüksek olmasına sebep olan kök nedenlerin araştırılması ile başlamaktadır. Belirlenen kök nedenlerin değerlendirilmesinin ardından çözüm önerileri ortaya atılmış ve çözüm önerilerinin uygulaması ile elde edilecek kazanımlar için maliyet-kazanım analizi yapılarak uygulanacak çözümlere karar verilmiştir. Alınan kararlara uygun olarak çözümler uygulamaya alınmış ve sonuçların değerlendirilmesi ile çalışma tamamlanmıştır. 4.1
Kök Neden Analiz çalışmalarına Değerlendirme Maliyetlerinin yüksek olmasına sebep olan kök nedenleri araştırmak için çalışmalara Balık Kılçığı yöntemi ile başlanmıştır. Bu çalışma sonucunda elde edilen kök nedenler şu şekilde belirlenmiştir (Şekil-4).
• Kök Neden 1 (KN1): Alt Yüklenici(AY) tarafında test ortamlarının kurulma ihtiyacı • Kök Neden 2 (KN2): Testlerde simülatör (mock) kullanımı • Kök Neden 3 (KN3): Yazılım dış arayüzlerinin detay seviyesinin yüksek olması • Kök Neden 4 (KN4): AY tarafında personel değişiminin çok olması • Kök Neden 5 (KN5): Ürün hattı konfigürasyon hataları Şekil 4. Kök Neden Analizi Balık Kılçığı Diyagramı 4.2
Çözüm Önerilerinin Üretilmesi Belirlenen kök nedenler için çözüm önerileri oluşturulmuş. Ortaya atılan çözümler ve ilişkili oldukları kök neden Tablo-3’de verilmiştir. Öneri Detaylı yazılım dış arayüzlerine ait testlerin Beyaz Kutu olarak geliştirici tarafından yapılması Test Mühendisleri tarafından sadece Kara Kutu-Gösterim gereksinimlerinin doğrulaması Simülatör (Mock) yerine gerçek Yazılım Konfigürasyon Birimi (YKB) kullanımı Dış bağımlılıkları yüksek YKB’lerin testlerinin Takım Yazılımlar içerisinde yapılması Grafiksel Kullanıcı Arayüzü (GKA) testlerinin otomatik olarak yapılması için alt yapının kurulması Takım yazılım yapılandırma dosyalarının araç yardımı ile hazırlanması
İlişkili Kök Neden KN1,KN3, KN4 KN1,KN3, KN4 KN2 KN2 KN1, KN4 KN5
Ortaya atılan çözüm önerilenden “Takım yazılım yapılandırma dosyalarının araç yardımı ile hazırlanması” önerisinin kısa vadede yapılamayacağı değerlendirilmiş ve bu çözüm önerisi Kök Neden Analizi çalışması kapsamından çıkarılmıştır. 4.3
Maliyet-Kazanım Analizi Çözüm önerilerinin uygulamaya alınması ile elde edilecek kazanım oranları hesaplanmıştır. Planlanan kazanım değerleri kullanılarak Yazılım Kalite Maliyeti hesaplamaları yapıldığında ilk aşamada Yazılım Kalite Maliyetlerinin % 8 oranında düşürülebileceği öngörülmüştür. Yazılım Test Tasarımı ve Hazırlığı adımı ile ilgili bazı alt yapı oluşturma faaliyetlerinin (test yazılımların hazırlanması vb.) sadece ilk uygulama sırasında yapılacağı ve bir sonraki doğrulama faaliyetlerinde bu adımlar için bu seviyede işçilik harcanmayacağı değerlendirildiğinde Yazılım Kalite Maliyetlerinin ilerleyen zamanlarda daha düşük seviyelere indirilebileceği değerlendirilmiştir.
Elde edilmesi planlanan kazanımlar Tablo-4’de verilmiştir.
% 50
4.4
Çözüm önerilerinin pilot uygulama yapılarak değerlendirilmesine ve yapılan değerlendirme sonunda yaygınlaştırma konusunda adım atılmasına karar verilmiştir. Bu kapsamda TADES Yazılım Ürün Hattı içerisinde bulunan 5 adet yazılım konfigürasyon biriminin geliştirme faaliyetlerinde belirlenen çözüm önerileri uygulanarak sonuçları değerlendirmeye alınmıştır. 4.5
Çözüm önerilerinin pilot YKB’lere uygulaması sonunca “Yazılım Test Tasarımı ve Hazırlığı” ve “Yazılım Doğrulama” faaliyetleri maliyetlerinde elde edilen kazanım oranları Tablo-5’de verilmiştir.
YKB Kazanım Oranı Pilot YKB 1 % 46 Pilot YKB 2 %57 Pilot YKB 3 %6 Pilot YKB 4 %29 Pilot YKB 5 %42
Tablo-5. YKB Değerlendirme Maliyeti Efor Kazanım Oranı
Bu çalışma sonucunda YKB testlerinde tespit edilen hatalar, YKB testleri sonrası gerçekleştirilen doğrulama faaliyetlerinde tespit edilen hatalar da değerlendirmeye alınmış ve YKB hata yoğunluğu hedefleri ile ilgili bir kayma olmadığı görülmüştür. Tespit edilen hataların tespit dönemi içerisindeki dağılımları da göz önüne alınarak analizler yapıldığında uygulanan çözümün yazılım kalitesi ile ilgili olarak olumsuz bir durum oluşturmadığı gözlemlenmiştir. 5
Yazılım Kalite Maliyeti ölçümleri, yazılım kalitesi ile ilgili analizler yapmak ve ilerleyen dönemde süreçlerde iyileştirme yapılabilecek alanları tespit etmek için değerli bilgiler sağlamaktadır. Bu makalede ASELSAN SST bünyesindeki Komuta Kontrol Yazılım Tasarım Bölümü’nde yürütülen TADES Yazılım Ürün Hattı geliştirme projesinde Yazılım Kalite Maliyetlerinin düşürülmesine yönelik olarak uygulanan kök neden analizi çalışması anlatılmıştır. Bu çalışma ASELSAN STT Yazılım Tasarım Müdürlükleri tarafından konulan CMMI Yüksek Olgunluk seviyeleri hedefi doğrultusunda yürütülmüş bir iyileştirme faaliyetidir. Faaliyet, CMMI Seviye 5 süreç alanlarından Causal Analysis Resolution (CAR) süreç alanı kapsamında, kalite maliyetlerinin yazılım kalitesinden ödün vermeden düşürülmesi için gerçekleştirilmiştir. Pilot YKB’ler üzerinde yapılan çalışma sonucunda uygulanan