Özet. Bilgi teknoloji alanında yapılan birçok projede bilgi yetersizliğinden ve müşteri ile yeteri kadar iletişim halinde kalınmadığından dolayı birçok proje başarısızlıkla sonuçlanmaktadır. Burada önemli olan nokta projenin başlangıcında yazılımın büyüklüğünü, yazılımı geliştirmek için gereken kişi sayısını ve yazılımın maliyetini doğru bir şekilde öngörüp planlama yapabilmektir. Yazılım projelerinin kaynak tahminin doğruluğu ve güvenilirliği yazılım projesinin gidişatı için çok önemlidir. Yazılım geliştirme teknolojisinin sürekli değişen senaryolar içinde olması efor tahminini daha zorlu hale getirmektedir. Yazılım projelerinin efor tahminin doğruluğu ve güvenilirliği yazılım şirketlerinin rekabeti açısından önemlidir. Modern yazılım projeleri, yazılım geliştirme sürecinin her yinelemesi için hızlı, artan bir şekilde teslim edilmesini gerektirdiğinden, yinelemenin yürütülmesini izlemek ve iterasyon ilerledikçe kaliteli ürünler sunmak basariyi arttıracaktır. Bugüne kadar yazılım maliyet kestirimi için birçok model geliştirilmiştir. Bu modellerin çoğu yazılım geliştirme sürecinden bağımsızdır. Bu nedenle yazılım geliştirme metodolojisine bağlı olarak efor ve maliyet tahminin yapılması projenin basarisini arttıracaktır. Bu çalışmada scrum metodolojisi kullanılarak geliştirilen yazılım projeleri için maliyet tahmini yapmaya çalıştık. Geliştirdiğimiz model de gradient boosting algoritmasını kullanarak oluşturulan scrum veri seti üzerinde başarılı sonuçlar elde ettik.
Software Effort Estimation in Agile Environment
Abstract. Many projects in the field of information technology are failing due to lack of information and they also fail because project decision makers are not in contact with the customer. The important point is predicting the size of the software, predicting the number of people required to develop the software and predicting the cost of the software accurately at the beginning of the project. The accuracy and reliability of the software resource estimate for the project is very important for the progress of software projects. The fact that software development technology is in constantly changing scenarios makes effort estimation more challenging. The accuracy of the effort estimates of software projects and the reliability of the software projects are so important for software companies because of the competitiveness. As modern software projects need to be delivered quickly and incrementally for each iteration of the software development process, it will be more successful to monitor the execution and provide quality products as the iteration progresses. To date, many models have been developed for software cost estimation. Most of these models are independent of the software development process. For this reason, making effort and cost estimation based on software development methodology will increase the success of the project. In this study, we tried to estimate effort for software projects which is developed in scrum environment. We have achieved successful results on the scrum dataset created using the gradient boosting algorithm. 1
Yazılım ölçümü, yazılım mühendisliğinin önemli bir bileşenidir. Tasarımın yüksek
kalitede olup olmadığını ve uygulamaya geçişten önce, gereksinimlerin tutarlı ve
eksiksiz olduğunu görebilmek için yazılımların özellikleri ölçülmelidir. Etkin proje
yönetimi gerçekleştirmek amacıyla yazılım teslim süresi ve maliyet kestirimi için süreç
ve ürünlerin nitelikleri ölçülür. [
Yazılım projeleri maliyet ve zamanlamayı aşma eğilimindedir. 2012 yılında
McKinsey ve Oxford Üniversitesi tarafından, 5400 büyük ölçekli Bilgi Teknoloji (BT)
projelerine yapılan çalışmada, bu projelerin ortalama %66’ sının maliyet kestiriminin
üzerinde olduğu ve %33’ ünün planlanan zamanın üzerine çıktığı tespit edilmiştir.
Yazılım projelerinin %82’ sinin planlanan program ve zamanda tamamlanamadığı
tespit edilmiştir. Bu tür problemlerin nedeni, proje yöneticilerinin maliyet kestirimini
ve riskleri doğru yönetememesidir. [
Geç teslimat ve maliyet aşımları uzun yıllar yazılım projelerinde sıkça karşılaşılan
sorunlardan olmuştur. Modern yazılım geliştirme, geliştiricilerinin önceki bölümlerin
veya sürümlerin geliştirilmesi sırasında öğrenilenlerden faydalanmasına olanak
sağlayan, artımlı ve yinelemeli bir yaklaşıma dayanmaktadır. Yazılımı artan ve yinelemeli
geliştirmek, Birleştirilmiş Süreç (Rational), XP, Scrum ve diğer çevik yazılım
geliştirme yöntemleri gibi birçok popüler yazılım geliştirme metodolojisinin önemli
parçalarıdır [
Yapılan çalışmaya benzer literatür taraması yapılmıştır. Yazılım geliştirmede iş gücü tahmin için makine öğrenimi algoritmaları kullanan çalışmalar ele alınmıştır. Yazılım boyutu tahmini, bir yazılım ürünü geliştirmek için gereken çabayı belirlemek için önemli bir özelliktir. Yetersiz, sorgulanabilir ve usulsüz veriler ışığında kalkınma görevlerini oluşturmak veya sürdürmek için gerekli olan en pratik efor ölçüsünü (bireysel saat ya da sermaye olarak iletilen) öngörme metodolojisidir. Yazılım Çaba Tahminleri (Software Effort Estimation-SEE), yazılımı geliştirmek veya sürdürmek için gereken çabanın en makul şekilde kullanılmasını öngörme prosedürüdür. SEE, bir yazılım projesini tamamlamak için gereken toplam çabayı tahmin etme faaliyetidir. Bu çalışmada web uygulama projeleri üzerinde iş gücü tahmini yapılmıştır.
Web uygulamalarının çabuk tahmin edilmesi için geçmiş web geliştirmenin veri
kümesi projeler ISBSG veri kümesinden toplanmıştır. Benzer şekilde, çevik projeler
söz konusu olduğunda, Story Point Approach (SPA), bir kullanıcı hikayesini
uygulamak için gereken çabayı ölçmek için kullanılır. Bir iterasyon sırasında bitirilen
kullanıcı hikayelerinin tahminlerini ekleyerek (hikâye noktası tekrarı), proje hızı elde edilir.
CPA, UCP, Web ve SPA veri setleri kullanılarak elde edilen modellerin verimliliği,
üzerlerinde belirli akıllı teknikler kullanılarak geliştirilebilir. Önerilen araştırma
çalışması, EBM, UCP, Web üzerinden Karar Ağacı (DT), Stokastik Gradient Yükseltme
(SGB), Rasgele Orman (RF) ve Destek Vektör Regresyon (SVR) kernel yöntemleri
gibi çeşitli makine öğrenimi (ML) tekniklerinin uygulanmasını ele almaktadır. Bu veri
kümeleri, veri kümesi üzerinde iş gücü tahmini sürecini kullanmak için içeriklerine ve
alaka düzeyine göre seçilir. Makine öğrenme tekniklerini uyguladıktan sonra elde
edilen çeşitli modellerin sonuçları, performanslarını değerlendirmek amacıyla,
literatürdeki mevcut sonuçların yanı sıra birbirleriyle karşılaştırılmıştır. [
Bu çalışmada, Scrum ile geliştirilen projeye ait veri seti, iş gücü tahmini için kullanılmıştır. Scrum projelerinde geçen hikâye noktası kavramı, konuyu çözmeye yönelik tüm iş gücü, karmaşıklığını, kesinlik olmamayı ve riskleri içerir. Her bir iterasyonda bir konuya hikâye noktası atanır. Tüm iş bittiğinde o iterasyondaki tüm hikâye noktaları toplamı da hız(velocity) olarak adlandırılır. Veriler, kullanım için sınıflandırıcılar tarafından anlamlı hale getirilmiştir. Bu amaçla veri setinde bazı düzenlemeler yapılmıştır. Böylece, veri madenciliği yöntemleri ile bir model elde edilir.Geliştirilen uygulamada, model oluşturmak için veri kümesi üzerinde çalışılacak algoritmalar incelenmiştir. Bu algoritmalardan Stokastik Gradient Yükseltme (GBM) algoritması seçilmiştir. Uygulama için yazılım tasarımı Bölüm 3.1’ de, seçilen algoritma ile ilgili kısa açıklamalar Bölüm 3.2 de, veri seti tasarımı ise Bölüm 3.3’ de yer almaktadır. Sistemin genel mimarisi ise Şekil 1’ de yer almaktadır. 3.1
Yazılım Tasarımı İş gücü tahmini için gereken tüm özellikler tek bir dosyada birleştirilir ve üzerinde algoritmalar çalıştırılır. Bu işlem için adımlar aşağıda listelenmiştir.
▪ Bir projenin iş gücü tahmini için gerekli olan özellikler 3 veri seti üzerinden belirlenmiştir. ▪ Bu seçili özellikler tek bir veri setinde birleştirildi. ▪ Sınıflandırmada kullandığımız özellikler bu veri setinde belirlenir. ▪ İş gücünü tahmin etmek için kullandığımız algoritmalar belirlenir. ▪ Algoritmalar bu belirtilen özellikte çalışmaya başlar.
Her bir proje için, bir tahmin tablosu elde etmek için regresyon algoritmaları 4 farklı zamanda çalıştırılmıştır. Tahmin edilen değerler test verilerindeki gerçek değerler ile karşılaştırılarak hata sonuçları elde edildi. Bu modele genel bakış Şekil-1’ de gösterilmiştir.
3.2
Gradyan güçlendirme makineleri, çok çeşitli pratik uygulamalarda önemli başarı gösteren güçlü bir makine öğrenme tekniğidir. Farklı kayıp fonksiyonlarına göre öğrenmek gibi, uygulamanın belirli ihtiyaçlarına göre özelleştirilebilir. Teorik bilgi, gradyan artırma model tasarımının tüm aşamalarını kapsayan betimsel örnekler ve çizimlerle tamamlanır. Gradyan artırma, tahmin modelleri oluşturmak için en güçlü tekniklerden biridir.
Rasgele Orman algoritması bağımsız karar ağaçları yetiştirir (bu da paralel olarak yapılabilir) ve sadece bu ağaçların ürettiği tahminlerin ortalamasını nihai tahmin olarak alır. Öte yandan, gradyan takviye makineleri ağaçları üretir ve bunları sıralı bir şekilde topluluğa ekler. İlk ağaç, Rasgele Ormanlarda yapıldığı gibi üretilir. Buradaki temel fark, ilk ağacın ürettiği tahmin hatalarını en aza indirmeyi amaçlayan ikinci ağacın üretilmesidir. Hem birinci hem de ikinci ağaçlar topluluğa eklenir ancak her birine farklı ağırlıklar verilir. Bu süreç birden çok kez tekrarlanır: her adımda, öğrenilen tüm topluluğun hatalarına göre yeni bir ağaç eğitilir ve daha sonra topluluğa eklenir.
Son topluluk, yeni girdilerin sonucunu kestirmek için bir model olarak kullanılır. Rasgele Ormanların aksine, GBM'lerde düşük bir öğrenici sadece regresyon ağaçları değil, sinir ağları veya doğrusal regresyon gibi diğer regresyon öğrenme algoritmaları da olabilir. Uygulamada regresyon ağaçları düşük öğreniciler olarak kullanılmış ve 100 ağaç üretilmiştir 3.3
Scrum Veri Kümesi, Apache’den gelen veri kümesini içerir. Bu veri kümesi .csv uzantılı dosya türünde tutulur. Her proje için 3 ayrı veri seti mevcuttur. Bunlardan ilki, her iterasyona ait konuların genel özelliklerini ve hikâye noktası bilgisini tutar. İkinci veri seti, projedeki her bir iterasyonun özellikleri ve hız farkı (velocity different) değeri tutulur. Sonuncusunda ise konular arasındaki ilişkiyi gösteren değerler mevcuttur. Bu veri setlerinin örnekleri Şekil 2, 3 ve 4'te gösterilmiştir.
Sekil 4. Apache Issue link Veri Seti Şekil 5 ‘te regresyon tabanlı makine öğrenmesi tekniklerinin denendiği veri seti görülmektedir. Burada dikkat edilmesi gereken nokta tüm özelliklerin nümerik olması gerektiğidir. Bu sebeple de Şekil 6’da görülen işlemler yapılarak veri setinde düzenlemeye gidilmiştir. Bu veri setine ait özelliklerin bir projede nasıl kullandıklarını anlamak önemlidir. Bunun için veri setinin özellikleri ile ilgili açıklamalar aşağıda maddeler halinde açıklanmıştır.
▪ Type: Her bir konuya, konunun çözülmesiyle ilgili görevin niteliğini belirten bir tür (ör. Görev (Task), Hata (Bug), Yeni özellik (new feature), İyileştirme (Improvement) ve İşlev Testi (Function Test)) atanır. ▪ Priority: Konunun önceliğini, bir konunun diğer konulara ilişkin olarak katılması gereken sırayı göstermektedir. Örneğin, engelleyici öncelikli konular, ▪ ▪ ▪ büyük veya küçük öncelikli konulardan daha fazla endişelendirmelidir. Engelleyici önceliği, tamamlanacak diğer sorunları engelleyen bir sorundur. Bu çalışmada, beş öncelik seviyesini dikkate alınmıştır: önemsiz, küçük, büyük, kritik ve engelleyici.
Number of Comment:Tahmin sırasında geliştiricilerin yorum sayısı ekip işbirliği derecesinin göstergesidir.
Number of FixVersion: Her bir konudaki düzeltme sürümü alanı, sorunun giderildiği (veya alınacağı) sürümü gösterir. Çok sayıda düzeltme sürümü olan sorunlar, geliştirme, test etme ve bütünleştirme açısından daha fazla dikkat gerektirir.
Number of Affect Version: Bir konunun bulunduğu sürümleri belirtir.
4
We Çalışmanın uygulaması R dili gerçekleştirilmiştir. Uygulamanın çalıştırılması için en az 2GB RAM ve 400MB Disk alanına ihtiyaç duyulmaktadır. Kullanıcı ara yüzü Şekil 7, Şekil 8 ve Şekil 9’da gösterilmiştir.
Uygulamanın ilk açılan sayfası Şekil 7’ de verilmiştir. Burada veri setinin içeriği görülmektedir. Daha sonra regresyon algoritma bölümünden GBM algoritması seçilir. GBM algoritmasının parametreleri kullanıcı tarafından girilecek şekilde ayarlanmıştır. Seçilen veri setinin 0-30-50-80 için ayrı ayrı veri setleri üzerine algoritma çalıştırılmıştır. Veri setinin ne kadarlık kısmı eğitim ne kadarlık kısmı test için kullanılacağı da kullanıcı tarafından belirlenecektir. En ideal olarak %70’ i eğitim, %30’ u test olarak seçilmiştir. Ağaç sayısı olarak 100 ağaç türetilmiştir. Her bir düğümdeki yaprak sayısı 5 olarak, öğrenme oranı 0.05, ağaç derinliği de 10 olarak seçilmiştir. Bu değerlere göre algoritmanın ürettiği hikâye noktaları Şekil 9’ da görülmektedir.
Burada RMSE (Root Mean Square Error) değerleri esas alınmıştır. Regresyon tabanlı makine öğrenmesi teknikleri uygulanması durumunda doğruluk oranlarından çok hata oranlarının karesel değerleri bizi daha doğru sonuçlara götüreceğinden dolayı bu değerler kullanılmıştır. Şekil 11’de Apache ortamından elde edilmiş projelere ait RMSE değerlerinin zamanla iterasyona bağlı artışları görülmektedir.
Bu grafiklerden de görüldüğü üzere RMSE değerleri iterasyon sayısı arttıkça düşmektedir. Eğitim veri setleriyle kendini eğiten sistem zamanla daha iyi öğrenir ve daha doğru tahminlerde bulunur. Burada işlemler 300 iterasyona kadar test edilmiştir. Bir süre sonra sistemin eğitiminin durduğu iterasyon sayısının arttırımının gereksiz olduğu gözlenmiştir
Gelecek çalışmalarda regresyon tabanlı makine öğrenme tekniklerine devam edilebilir aynı zamanda Yapay Sinir Ağları modelleriyle de testler yapılabilir. Bir sonraki çalışma olarak Deep Learning ile Yapay Sinir Ağları teknikleri kullanılması öngörülmüştür Kaynaklar