Özet. Yazılım efor tahmini, yazılım proje yönetiminde çok önemli bir aşamadır. Tahmin değerinin doğruluğu proje başarı ya da başarısızlığına doğrudan etki eder. Yöneticiler uygun kaynakları tahmin etmeye çalışırlar ve bu yönetim için zorlayıcı bir durumdur. Araç ve tekniklerin yardımıyla tahmin süreci daha iyi gerçekleştirilebilir. COCOMO en çok kullanılan, parametrik modellerden biri olarak ifade edilen yöntemlerdendir. Aynı zamanda, COCOMO tabanlı Yapay sinir ağlarının (YSA) kullanıldığı çalışmalar da mevcuttur. Bu çalışmalarda toplam performansın arttığı gösterilmiştir. Fakat efor tahmini süreci, genelde, tek çıktı üretir: tahmin edilen efor değeri. Bir proje yöneticisinin tahminlerinde bazı üst ve alt limitleri, sınırları dikkate alması gerektiği bilinen bir gerçektir. Bu çalışmada yeni bir metot önerilmiş, COCOMO tabanlı YSA ile K-Means kullanılarak efor tahmini ve olası sınırlar belirlenmiştir. YSA çıktısı K-Means kümelerine girdi olarak sunulmuş, olası küme belirlenmiş ve buna göre olası üst ve alt limit efor tahmin değerleri üretilmiştir. Deneysel çalışma sonuçları sayısal olarak kabul edilebilir düzeyde çıkmış ve kullanılabilir birden çok tahmin değeri üretilerek daha pratik bir efor tahmin sürecinin olabileceğini göstermiştir.
yöneticileri karar verme süreçlerini destekleyecek araç ve yöntemlere ihtiyaç duymaktadır.
Efor tahmini yaklaşım itibariyle farklı kategorilere ayrılabilir: uzman
değerlendirmesi, parametrik metotlar ve makine öğrenmesi tabanlı metotlar gibi[
Bir diğer bilinen yöntem, veri madenciliği ve makine öğrenmesi tabanlı, yapay
sinir ağlarıdır(YSA). YSA ile karmaşık lineer olmayan problemler modellenebilir[
COCOMO ve YSA’ nın beraber kullanıldığı ve önemli performans artırımlarının
gösterildiği çalışmalar mevcuttur[
Menzies, yazılımın kendisinin de bir veri kaynağı olduğunu ifade etmiştir[
Bu çalışmada, COCOMO tabanlı YSA modeli kullanılmış, ek olarak, esnek bir yapı sunmak için k-means yöntemi de modele dahil edilerek, efor tahmin değeri ile beraber olası üst ve alt limit değerleri de sunulmuştur. Bu yaklaşımla efor tahmininde kullanılabilecek olası birden çok değer üretilmiştir. Her ne kadar karar destek sistemlerinin basitliği önemli olsa da, tahmin sürecini daha verimli yapabilmek için bu şekilde detaylı bilgilerin sunulması faydalı olacaktır.
COCOMO modelinin seçilmiş olmasının en önemli nedeni, uygulamada görece kolaylık sağlamasıdır. Neticede matematiksel formüle dayandığından, irdeleme ve kontrol olanakları fazladır. Ek olarak, digger olası modellere referans verilmemesinin nedeni, yaygın olarak kullanılan ve akademik olarak üzerinde çeşitli çalışma ve iyileştirmelerinin yapıldığı bu model ile, çalışmada ortaya atılan modelin daha rahat sunulabiliyor olmasıdır. Çalışmada amaç COCOMO modelini geliştirmekten ziyade, bilindik bir model üzerine bina edilecek şekilde, efor tahmin yöntemlerini esnetme, olası sınır değerlerini üretme işlemini sürece dahil etme denemesidir.
Çalışma içerisinde, 2. bölümde önceki araştırmalardan örnek verilmiş ve sonuçları kısaca belirtilmiştir. Takip eden bölümde ise önerilen model ortaya konulmuştur. Değerlendirme kriterleri ve test sonuçları çalışmaya dâhil edilmiş ve çıkarımlar belirtilmiştir. Son olarak bulgular neticesinde ortaya çıkan sonuçlar belirtilmiş ve olası gelecek çalışma alanları ifade edilmiştir. 2
İlgili Çalışmalar
Geçen zamanda efor tahmini ile ilgili birçok çalışma yapılmıştır. Jorgensen,
yayınladığı makalede bu çalışmaları belli bir düzende incelemiş ve detaylı bilgi
vermiştir[
Giriş bölümünde de ifade edildiği şekliyle, birçok araştırmada efor tahmini
gerçekleştiriminde COCOMO tabanlı YSA kullanılmıştır[
Çalışmalarda genelde, açık olarak ulaşılabilen COCOMO tabanlı veri kümeleri kullanılmaktadır. B.Boehm, COCOMO tanımını da verdiği yayınında bir veri kümesi de sunmuştur ve birçok yerde bu veri kümesi kullanılmıştır. Çalışmalarda bu veri kümesinin tercih edilmesi, modelleri birbiri ile kıyaslama imkânını da sunmuştur.
Kaushik COCOMO tabanlı ileri beslemeli bir YSA modeli önermiştir[
Reddy de benzer bir yaklaşıma sahiptir. Çalışmasında yine COCOMO tabanlı YSA
kullanılmıştır[
Idri ise çalışmasında YSA’ nın efor tahmini sürecine uydurulup uydurulamayacağı
sorusunu sormuş ve buna göre değerlendirme yapmıştır[
Kultur, daha farklı bir yaklaşıma sahiptir. Tek bir YSA yerine, bütünleşik, 20 adet
YSA kullanan bir model önermiştir[
Bahsi geçen çalışmalar, temelde COCOMO modelini baz almıştır. Aynı zamanda bu çalışmaya temel teşkil eden YSA modeli üzerine kurgulanmıştır. Efor tahmini süreci, doğal olarak, bir sayısal değer üretme amacı güttüğünden, sonuç listeleri birtakım sayısal değerler ve bu değerlerin belli ölçeklere göre karşılaştırmaları şeklinde olmaktadır. Çalışmalar genelinde kabul görüm MRE değerini kullanmaktır. Bu nedenle odak olarak MRE değerleri aktarılmıştır. 3
Önerilen Model İlgili çalışmalarda da ifade edildiği gibi, araştırmalar, YSA’ nın efor tahmininde kullanılabileceğini göstermiştir. YSA efor tahmin başarısını genelde artırmıştır. Çalışmalarda model yapısı ve değerlendirme metotları değişse de YSA ortak olarak kalmıştır.
Bu çalışmada da YSA tabanlı efor tahmin modeli sunulmuştur. Efor tahmin sürecinin tek çıktı üreten yapısı esnetilerek, olası üst ve alt limit değerleri de tahmin edilmiştir. YSA, diğer çalışmalardaki gibi COCOMO tabanlıdır. Buna göre COCOMO parametreleri YSA için girdi oluşturmaktadır. YSA için ileri beslemeli geri yayımlı yaklaşım tercih edilmiştir. Orta katmanda 5 nöron bulunmaktadır ve çıktı katmanında 1 nöron vardır. YSA içerisinde herhangi bir bias nöron mevcut değildir. Çalışmada asıl amaç, tek başına efor tahmin değeri üretmek yerine, olası farklı değerlerin üretilmesinin yorumlama ve karar vermede daha faydalı olduğunu göstermektir.
Geçmiş proje bilgileri ki bu çalışma kapsamında COCOMO 81 veri kümesidir, eğitim ve test sürecinde kullanılmaktadır. YSA, bu bilgilere göre efor tahmininden sorumludur. K-means ise, üretilen tahmin değerini destekleyecek üst ve alt limit değerlerini üretmektedir. Model ile ilgili detaylar ve veri kümesi hakkında bilgi aşağıdaki bölümlerde verilmiştir. 3.1
PROMISE sitesi üzerinde, açık olarak ulaşılabilecek efor tahmininde
kullanılabilecek veri kümeleri mevcuttur[
Küme, çalışmalarda 2 bölüme ayrılmış, %75’ lik bölümü eğitim için, kalan ise test için kullanılmıştır. Kümelerin oluşturulması için bir random fonksiyon kullanılmıştır. Bu fonksiyona göre, tüm küme içerisinden belli sayıdaki satırlar 2 yeni alt kümeyi oluşturmuştur. Özellikle eğitim aşamasında veri kümesinin içeriği ile beraber, verilerin sırası da sonuçları etkileyebileceğinden, daha modüler bir yapıya ulaşmak için rastgele elemanların seçilmesi önemlidir. Bilhassa k-means algoritmasında bağlangıç değerleri ve kümeler, sonuçta oluşan alt kümeleri çok fazlaca etkilemektedir. Bu nedenle eğitim ve test veri kümelerinin oluşturulmasında sıra gözetilmeden, rastgelelik sağlayan metot tercih edilmiştir. 3.2
YSA Modeli İleri beslemeli ve geri yayımlı, 3 katmanlı YSA tercih edilmiştir. Girdi katmanında, veri kümesindeki gibi, COCOMO parametrelerini karşılayacak şekilde, girdi nöronları bulunmaktadır. Ek olarak, satır sayısı ölçümünü ifade eden, LOC (Lines Of Code) değeri de girdilere eklenmiştir. Orjinal COCOMO hesaplamasında yer alan bu değerin,YSA içerisine de eklenerek daha sağlıklı sonuç alınması hedeflenmiştir.
Şekil 1’ de gösterildiği gibi, modelde 1 gizli katman mevcuttur ve bu katmanda 5 nöron vardır. Çıktı katmanında ise tek nöron, efor tahmin nöronu vardır. Herhangi bir dışsal nöron ya da bias değeri mevcut değildir. Aktivasyon fonksiyonu olarak Sigmoid kullanılmaktadır. Ağırlıklar, -1 ile 1 arasında değişen, rastgele değerler olarak atanmıştır.
Şekil üzerinde görülen, modelin basitleştirilmiş bir gösterimidir. Ileri beslemeli bir ağ olduğu düşünülürse, akışın temelde girdi katmanından çıktı katmanına yöneleceği anlaşılabilir. Gösterim kolaylığı olması açısından sadece örnek bağlantılar verilmiştir. Her bir nöron, bir sonraki katmanda ilgili nöronlara bağlanmaktadır. Girdi katmaındaki etiketler ise, model içerisindeki nitelik isimlendirmelerinden alınmış, referans olması açısından orjinal isimlendirmelere sadık kalınmıştır.
Şekil 1. YSA Modelinin Gösterimi 3.3
Modele esneklik sağlayan, k-means kullanımıdır. YSA hesaplamasında ortaya konulan tahmin değeri, k-means için kontrol değeri olmaktadır. Sistem tutarlılığını sağlamak için, YSA’ ya girdi olarak sunulan veri kümesi, aynı şekilde k-means için de sunulmuştur. Modelin geliştirilmesi sırasında yapılan denemeler sonucu k sayısı, oluşturulacak küme sayısı 4 olarak belirlenmiştir. Küme eleman sayısının azlığı ve içerik, diğer değerlerde istenilen sonucu üretmeyi engellemiştir. Bununla beraber 4 değeri tamamen testler neticesinde ortaya konulmuştur.
Küme oluştururken ölçüm için Öklid uzaklığı kullanılmış, satırların küme merkezlerine olan yakınlığı baz alınmıştır. YSA’ daki gibi, başlangıç değerleri -1 ve 1 aralığındaki rastgele değerlerden oluşturulmuştur.
COCOMO parametreleri, karşılığında sabit sayısal değerlerin olduğu kategorik sınıflandırma belirteçleridir. Bu değerler genelde 0,7 ile 1,5 arasında değişmektedir. Her bir parametre için ortalama 6 değer olduğu düşünülürse, sayısal değerlerin birbirine çok yakın ve aynı değerler olduğu anlaşılır. K-means algoritmasıyla kümeleme yapıldığında, kümeler oluşmaya başladığında, küme merkezleri birbirine çok yaklaşmakta ve her bir döngüde veri kümesindeki satırlar aynı kümelerde yoğunlaşmaktadır. Bu sorunu önleyebilmek için doluluk oranı adında yeni bir ölçüm dâhil edilmiştir. Buna göre sistem içerisinde bir eşik değeri belirlenmiş, bu değere ulaşan küme olduğunda, kümeye eleman ekleme aşamasında, bir sonraki en olası küme tercih edilmiştir. Örnek olarak, bir kümede 40 satır varsa ve doluluk oranı %40 olarak belirlenmişse bir kümenin alabileceği maksimum eleman sayısı 10 olacaktır. Doluluk oranı basitçe eleman sayısının küme sayısına oranının belli bir katsayısıdır. Buradaki katsayı ayarlanarak, kümelerin dengesi sağlanabilir.
K-means algoritmasıyla kümeleme işlemi tamamlandığında, her bir küme için belli istatistikler kullanılabilir. Bunlar, küme minimum, maksimum ve ortalama efor değeri gibi verilerdir. Bu değerlerle hem kümelerin homojenliği irdelenebilir hem de küme içerisindeki dağılıma göre tahmin edilen değer hakkında yorum yapılabilir. 3.4
Sistemde, YSA sonucu olarak üretilen değer, temel efor tahmin değeridir. Bu değer, daha sonra k-means ile oluşturulan kümelere sunulur ve olası en yakın üste ve alt limitler hesaplanır. Önerilen model esnekliği bu ilişki ile sağlamaktadır.
Test kümesindeki her bir eleman için YSA efor tahmin değeri üretilir. Benzer şekilde, bir destek değeri olması için k-means efor değeri hesaplanır. Bu işlem için test satırının hangi kümeye ait olabileceği bulunur ve bu küme içerisindeki en yakın değer çıktı olarak verilir. Daha sonra YSA değeri, bulunan olası küme içerisinde değerlendirilir ve bu değere en yakın üst ve alt satırlar, olası üst ve alt limitler olarak verilir.
Küme içerisindeki en yakın değerleri bulabilmek için, kümedeki elemanlar ve YSA sonuç değeri bir liste olarak tutulur ve sıralanır. YSA değerine en yakın üst ve alt komşusu, sırası ile üst ve alt limit değerlerini oluşturur. Eğer YSA değeri listede ilk ya da son eleman olursa, olası değerler için ancak tek sonuç bulunacaktır. Bu durumda YSA, k-means içerisinde beklenenden daha büyük/küçük değer üretmiş denilebilir. Bununla beraber, test sonuçlarından da görüleceği gibi, modelden beklenen bu duruma düşen satır sayısının çok az olmasıdır.
YSA ile k-means kümelerinin birleşiminden model çıktısı olarak 4 değer üretilir. Bunlar, COCOMO hesabı ile ortaya çıkan hata oranı, YSA hata oranı, k-means hata oranı ve üst-alt limit değerleri için ayrı olarak verilen hata oranlarıdır. Model önerisinde de belirtildiği gibi, sonuç listesinde birden çok değerin bulunması, karar destek aşamasında proje yöneticisinin daha geniş bir bakış açıya sahip olmasını sağlayacaktır. 3.5
Önerilen modelin gerçekleştirimi, Visual Studio üzerinde, C# 2.0 dili ile bir Windows uygulaması olarak yapılmıştır. Kullanıcıya belli değerlerin girilebildiği ve sonuçların tablo olarak gösterildiği bir arayüz hazırlanmıştır. Bu arayüz ile, test ve eğitim kümelerindeki eleman sayısı, k-means küme sayısı, YSA öğrenme oranı gibi temel parametreler verilebilir. Ayrıca, sistem virgülle ayrılmış dosya(csv) girdileri almaktadır. Bu dosyalarda COCOMO modeline uygun veriler vardır ve program girdi dosyasını okuyup ilgili oranda eğitim ve test kümelerini oluşturur. Şekil 2, program arayüzünün örnek bir görüntüsünü sunmaktadır.
Önerilen model, sadece çalışmayı destekleyecek çapta deneme programına dahil edilmiştir. Modelin daha güçlü bir şekilde incelenebilmesi için gerçek bir firma/kurum içerisinde belli bir standard gore uyarlanması gerekmektedir. Mevcut çalışma için böyle bir imkan oluşmamıştır ancak, model geçerlemesi, tüm parçaları ilgili dil ve platform içerisinde gerçekleştirilmiş, gerçek bir program ile sağlanmıştır. Bu şekilde model için istenilen seviyede sektör denemesi yapılamamış olsa da, program üzerinde gerçek deneyim ve testlerin yapılması sağlanmıştır. Neticede veri kümeleri açık olarak sunulan, daha önceki gerçek proje niteliklerini içermektedir.
Şekil 2. Kullanıcı Arayüzünden Bir Görünüm 4
Bu bölümde, önerilen modelin, COCOMO 81 veri kümesi ile testinin sonucunda ortaya çıkan sonuçlar belirtilmiş, değerlendirme kriteri olarak kullanılan yöntem ifade edilmiştir. Test sonuçları üzerinden, model hakkında genel değerlendirmeler de sunulmuştur.
Tahmin gerçekleşen sistemlerde temel ölçüm, beklenen değer ile tahmin edilen değer arasındaki fark, ya da uyumdur. Diğer çalışmalarda olduğu gibi, bu çalışmada da değerlendirme ölçütü olarak MRE kullanılmıştır. MRE, (|Beklenen Değer – Tahmin Edilen Değer| / Beklenen Değer) × 100 (1) bağıntısı ile verilmektedir. MRE değerinin küçük olması, tahmin değerinin başarılı olduğunu ifade etmektedir. Bu nedenle başarı ölçütünde küçük olan MRE değerleri önemlidir.
Tablo 1, COCOMO 81 veri kümesi için ortaya çıkan sonuçları göstermektedir. Tablodan da görülebileceği gibi, k-means genelde daha başarılıdır. Bununla beraber, üst ve alt limit değerleri genelde YSA çıktı değerinden daha başarılıdır. Bunun anlamı, k-means ile bir aralık bulunmasına rağmen, destek değerlerinin YSA değerinden daha iyi olduğudur. Efor tahmini sürecinde düşünüldüğünde, tek başına YSA kullanımından çok daha iyi bir başarı elde edileceği çıkarımı yapılabilir. Üst ve alt değerler, aynı zamanda, proje için olası esneme miktarını verdiklerinden, YSA için mevcut olabilecek kayma miktarı da azalacaktır.
MRE% 1 2 3 4
COCOMO 18.2 28.36 34.6
Tablodaki bazı satırlarda sonuçların 0 olduğu görülmektedir. Bu satırların sebebi, veri kümesinde aynı efor değerine sahip farklı proje satırları olmasıdır. Yani, farklı 2 değer için aynı sonucun çıkması durumudur. Bazı satırlar için de alt ve üst limit değerlerinin aynı olduğu gözlemlenmektedir. Bunun sebebi ise, model tanımında da belirtildiği gibi, tahmin edilen değerin, ilgili k-means küme içerisindeki değerlerin en üst ya da en altında çıkmasıdır. Bu durumlarda tek limit değeri olacaktır. COCOMO hata oranlarının yüksek çıkmış olması ilginç bir durum olmakla beraber, efor tahmininde model geliştirme üzerinde çalışılmasının gerekçesini de ortaya koymaktadır.
Test sonuçları incelendiğinde, beklentinin genel olarak gerçekleştiği söylenebilir. 8 numaralı satır göz önünde bulundurulduğunda, COCOMO için 69 çıkan hata oranı, YSA için de yüksek sayılabilecek seviyede çıkmış, 68 olarak gerçekleşmiştir. Bununla beraber, alt ve üst limit değerleri ise, 35 ve 12 olarak ölçülmüştür. Bu değerler ışığında yorum yapılacak olursa, YSA kullanımında olası yüksek hata oranı mevcutken, bu değere ek olarak limit değerleri kullanıldığında hem hata oranı azalmış hem de proje karakteristiğine göre yöneticinin seçeceği yöne bağlı olarak olası esneme miktarı da tahmin edilebilecektir. Sonuç olarak tablodaki değerlere göre modelin dengeli olduğu çıkarımı yapılabilir. 5
Efor tahmini proje yönetiminde en önemli konulardan biridir. Bu süreci destekleyecek araç ve yöntemlerin ortaya konması, proje yöneticilerinin daha başarılı tahmin yapmalarını ve dolayısıyla daha iyi proje yönetimine sahip olmalarını sağlayacaktır.
Bu çalışmada, efor tahmininde farklı bir yaklaşım olarak, üst ve alt limitlere göre efor tahmini yapılmış ve önerilen model, test verileri ile denenmiştir. Sonuçlardan yapılabilecek çıkarımlara göre önerilen modelin dengeli olduğu, amaca hizmet edebileceği, karar destek aşamalarında birden çok çıktı ile yorum yapmanın daha sağlıklı olabileceği gösterilmiştir. Model, COCOMO üzerine bina edilmiş ve YSA ile kmeans yöntemleri kullanılmıştır. Model sonuçlarının tek başına hem COCOMO hem de YSA’ dan daha başarılı olduğu gözlemlenmiştir.
Çalışma, COCOMO 81 adlı veri kümesi ile yapılmıştır ve bu kümede 63 satır bulunmaktadır. Modelin veri kümesinin büyüklüğünden etkilenip etkilenmediği bilinmemektedir. Aynı zamanda, limit değerleri basitçe bir sıralama fonksiyonu sonrası, YSA tahmin değerine en yakın satırların alınması şeklinde hesaplanmıştır. Proje karakteristiğine göre bu hesaplamanın daha esnek bir yapıya kavuşturulması, sonuç değerlerini daha anlamlı hale getirebilir. Ek olarak çalışmada standart YSA kullanılmış ve herhangi bir bias nöron dâhil edilmemiştir. Bias değerinin sisteme eklenmesi ve limit değerlerinin aralığının daha modüler şekilde hesaplanması olası gelecek çalışmaları arasında sayılabilir.