Özet. Bu bildiride, yazılım geliştirme organizasyonlarında kullanılan ölçüm teknikleri, kestirim yöntemleri ve toplanan verilerin kullanım alanlarını anlamaya yönelik gerçekleştirilen bir anketin bulguları ve sonuçları sunulmaktadır. Anketin amacı yazılım geliştirme endüstrisinde kullanılan ölçüm ve tahmin tekniklerini ve çalışanların bunlarla ilgili düşüncelerini öğrenebilmektir. Anket içerisinde yazılım geliştirme sektöründe kullanılan teknik, operasyonel ve stratejik ölçümlerle ilgili sorular sorulmuştur. A r a ş t ı r m a y a k ü ç ü k , o r t a v e b ü y ü k ö l ç e k l i y a z ı l ı m g e l i ş t i r m e organizasyonlarından profesyoneller katılmıştır. Bu çalışmanın sonuçları, yazılım geliştirilen organizasyonlarda hangi ölçme teknikleri ve kestirim yöntemlerinin kullanıldığını, bunların kullanım sıklıklarını, bu verilerin kullanım alanlarını ve katılımcıların ölçümle ilgili görüşlerini açıklığa kavuşturmak için kullanılabilir.
organizations attended to the survey. The results of this study can be used to clarify what measurement techniques and approaches are used in the industry, their frequency, which estimation techniques and approaches are used, and what are the opinions of the participants about measurement. 1.
Giriş ve Motivasyon Ölçümler mühendislik disiplinlerinin yönetimden uygulamaya tüm aşamaları için en belirgin veri kaynaklarıdır. İnşaat, elektrik, maden gibi tüm disiplinler için ölçümlerin tüm aşamalarda etkin kullanımı ötesinde farklı aşamalarda hangi ölçümlerin kullanılacağı da büyük ölçüde belirgindir. Yazılım Mühendisliği 1970’lerden itibaren bir mühendislik disiplini olarak düşünülmeye başlanmış aynı tarihlerden itibaren de farklı aşamalarda kullanılabilecek ölçümlerin geliştirilmesi büyük bir hızla sürmüştür. Uygulama süreçleri ve teknikleri yerleşik disiplinlerle karşılaştırılamayacak hızda değişen yazılım mühendisliğinde kullanılan ölçümler de bu değişim sürecine ayak uydurmuştur. Zaman içinde ölçümler ve ölçümlerin kullanım alanların daha yerleşik bir hal alması beklense de yazılım mühendisliği disiplinin bu açıdan durağan bir noktaya gelmediği açıktır [7, 8, 9, 10].
Bu çalışma, yazılım geliştirme sektöründe uygulanan ölçümleri, kestirim yöntemlerini, ölçüm sıklığını ve sonuçların kullanım alanlarını değerlendirmeyi amaçlamaktadır. Bunun için, bir anket oluşturulmuş, bu anket endüstri katılımcıları ile paylaşılmış ve cevaplar toplanarak incelenmiştir. Anketi farklı sektörlerde faaliyet gösteren küçük, orta ve büyük ölçekli yazılım geliştirme organizasyonlarından, farklı tecrübe seviyelerinde 81 katılımcı yanıtlamıştır. Anket soruları oluşturulurken, ölçüm aktiviteleri ve bu aktivitelerle ilgili düşüncelere cevap bularak literatüre katkıda bulunmak amaçlanmıştır.
Bu makalenin ikinci bölümünde yazılım ölçümleri ve ölçüm süreçleri hakkında temel bilgiler verilmeye çalışılmış sonrasında ise yazılım ölçümleri hakkında daha önce yapılmış çalışmaların bir özeti sunulmuştur. Üçüncü bölüm olan Anket başlığında, anketin planlanma ve uygulanma aşamaları verilip, elde edilen verilerle ilgili analizler demografik veriler ile beraber paylaşılmıştır. Sonuçlar bölümünde ise bu çalışma ve anket sonucunda elde edilen bulgular açıklanmıştır.
Önceki Çalışmalar
Bu çalışma organizasyonlar tarafından kullanılan ölçümleri, ölçüm yöntemlerini,
ölçüm süreçlerini ve bunların katılımcılara sağladığı faydaları öğrenmeyi
amaçlamıştır. Ölçüm yöntemi ve ölçüm süreci kavram olarak farklı şeylerdir. Ölçüm
yöntemi, belirli bir ölçeğe göre bir niteliğin nicelleştirilmesinde kullanılan mantıksal
bir işlem dizisidir [3]. Ölçüm süreci ise ölçüm oluşturma, planlama, gerçekleştirme ve
değerlendirme için oluşturulmuş bir süreçtir [4]. Yazılım geliştirme sektörünce
ölçümler, yazılım süreçlerinin ve ürünlerin yönetimini ve iyileştirilmesini destekler.
Ölçümler, yazılım yaşam döngüsü faaliyetlerini ve sistemleri yönetmek, proje
planlarının fizibilitesini değerlendirmek ve proje faaliyetlerinin bu planlara bağlılığını
izlemek için birincil araçtır. Sistem ve yazılım ölçümü, ürünlerin kalitesini ve
organizasyonel süreçlerini değerlendirmek için de önemli bir disiplindir. Ayrıca
yazılım ölçümleri, yönetim ve kabul kriterlerine temel oluşturan iki taraflı iş
anlaşmalarında giderek daha önemli hale gelmektedir [
Bu araştırmaya başlamadan önce, yazılım sektörü özelinde [
Yazılım projelerinde kullanılan ölçümlerden en önemlileri proje için ihtiyaç duyulan bütçeyi ve iş gücünü doğru şekilde kestirilmesini sağlayan ölçümlerdir. Bu ölçümler her türlü mühendislik projesi için kritik olsa da, yazılım projelerinin soyut doğası gereği tanımlanmaları ve ölçülmeleri daha zordur. Yazılım büyüklüğü iş gücü ve maliyet kestirimine girdi olarak kullanılan ölçümlerin başında gelmektedir ve işlevsel büyüklük de büyüklüğün ölçülmesi için kullanılan önemli bir ölçümdür [7]. İşlevsel büyüklüğün pratik uygulamaları ve ölçüm yöntemleriyle ilgili ülkemizde yapılmış farklı çalışmalar bulmak mümkündür [11, 13, 15, 17]. İş gücü ve maliyet kestirimi ile ilgili önemli diğer bir ölçüm de kazanılmış değer analizleridir [9], kazanılmış değer analizleri öngörülen işgücünün ve maliyet performansını değerlendirmeyi amaçlar. Organizasyonların olgunluk seviyesi arttıkça bu tür ölçümleri gerçekleştirmeye ek olarak kurum içi analizlerle sonuçlarını değerlendirmeleri ve bu değerlendirmeleri kullanarak kendilerini iyileştirmeleri beklenir [16]. Bu çalışmaları ne ölçüde gerçekleştirebildiklerini var olan, genel kabul görmüş aşamalı olgunluk modellerini kullanarak değerlendirebilirler. Ancak genel olarak geliştirme süreçlerini hedefleyen bu modellerin iyileştirme çalışmalarını tetiklemeleri her zaman mümkün olmayabilir [10]. Bu nedenle organizasyonlar özellikle ölçüm çalışmalarına odaklanan bir yetenek modeli kullanabilirler [8]. Ölçüm çalışmalarını farklı açılardan ele alan çalışmaları dışında detaylı incelenen iki çalışmadan birisi olan Türkiye'de yazılım mühendisliği ile ilgili yapılan bir araştırma “A survey of software engineering practices in Turkey” [3] olmuştur. Bu araştırmanın amacı, Türkiye'deki yazılım mühendisliği uygulamalarını karakterize etmek, güncel yazılım mühendisliği tekniklerini açığa çıkarmak, bu alandaki profesyonellerin kullandıkları araçlar, metrikler ve karşılaştıkları zorlukları sunmaktır. Anket, ölçüm faaliyetlerini doğrudan hedeflemese de Türkiye'deki mevcut durumun anlaşılmasına yardımcı olmaktadır. 2014 yılında gerçekleştirilen bu çalışmada, katılımcıların %54’ü yazılım büyüklüğü ölçmediğini belirtmiştir. Bu anketin sonuçları, yürütülen ölçüm faaliyetlerini ve kullanılan büyüklük kestirim yöntemlerini daha fazla araştırmamıza neden olmuştur.
Literatürden incelenen başka bir araştırma ise “The State of Software Measurement
Practice: Results of 2006 Survey”[4] olmuştur. Bu araştırmanın amacı, yazılım
ölçümlerindeki uygulamaların genel durumunu ölçmektir. Anket, Carnegie Mellon
Yazılım Mühendisliği Enstitüsünde (SEI) Yazılım Mühendisliği Ölçme ve Analiz
Girişimi (SEMA) tarafından hazırlanıp 17 sorudan oluşmuştur ve 2143 yanıt
toplanarak gerçekleştirilmiştir. Bu çalışmanın amaçlarından biri, sektörde hangi
ölçüm standartlarının ve yaklaşımlarının kullanıldığı tespit etmektir. Ölçüm standardı,
ürünün bir sürecini değerlendirmenin özelliklerini açıklayan bir standarttır [
Bu iki çalışma göz önüne alındığında, Türkiye’de yapılan çalışma ölçüm odaklı olmadığı için uygulanan ölçüm pratiklerini ve katılımcıların ölçümle ilgili görüşlerini yeterli detayda yansıtamamıştır. SEI tarafından yapılan araştırma ise bu konuya odaklanmış ve detaylı sonuçlar çıkartmıştır. Ancak bu çalışma çok uluslu katılımcılar içerdiği için sonuçlarının Türkiye özelinde geçerli olup olmadığı tartışılabilir.
Bu çıkarımlar dikkate alındığında, Türkiye’de faaliyet gösteren yazılım organizasyonlarının ve profesyonellerinin ölçüm konusuna yaklaşımlarını hedefleyen bir çalışmanın eksikliği görülmüştür. Bu eksikliği gidermek için bu bildiride detayları verilen anket çalışması planlanmış ve uygulanmıştır. Gelecek bölümde anket çalışmasının planlaması, uygulaması, ve özet sonuçları yer almaktadır. 3. 3.1.
Anketin iletişim kanallarından dağıtılıp kolayca doldurulabilmesi ve alınan verilerin analizinin bilgisayar ortamındaki çeşitli araçlarla yapabilmesi amaçları ile çevrimiçi olarak düzenlenmesi planlanmıştır. Bunun için anket, JotForm (www.jotform.com) adlı çevrimiçi anket aracı kullanılarak oluşturulmuştur. Dağıtım öncesinde anket soruları ve uygulama yöntemi Orta Doğu Teknik Üniversitesi Etik Kurulu ile paylaşılarak etik kurul onayı alınmıştır.
Anket, 25 Mayıs 2017'den itibaren çeşitli çevrimiçi iletişim kanalları kullanılarak potansiyel katılımcılara dağıtılmıştır. Bu kanallar; Orta Doğu Teknik Üniversitesi Enformatik Enstitüsü e-posta listesi, Facebook'ta uzman yazılım mühendisliği grupları ve LinkedIn'de özel yazılım ve yazılım mühendisliği gruplarından oluşmaktadır. Hazırlanan e-posta davetleri ve paylaşılan niyet önsözü iki dilde, Türkçe ve İngilizce olarak gönderilmiştir.
Anketin dağıtımı için kullanılan kanalların sonuçlara dolaylı olarak etkisi olabilir. Orta Doğu Teknik Üniversitesi Enformatik Enstitüsü e-posta listesindeki katılımcılar, en azından hâli hazırda bir yüksek lisans programına devam ettikleri için, yazılım ölçümleri ve kullanım alanları hakkında detaylı bilgi sahibi olarak kabul edilebilirler. Buna ek olarak Facebook ve LinkedIn grupları üzerindeki katılımcıların kendilerini geliştirmeyi hedefleyen ve meslekleri hakkında detaylı bilgi sahibi olan profesyoneller oldukları düşünülebilir. Bu kişilerden toplanan cevaplar da anket sonuçlarını etkileyebilir. Bu konu sonuç bölümünde ayrıca ele alınmıştır.
Anket 4 ay aktif olarak cevap gönderimine açık kalmıştır ve bu süre zarfında aynı platformlardan katılımı artırmak amacı ile 2’şer adet hatırlatıcı gönderilmiştir. Katılımcılar sağlanan bağlantıyla ankete ulaşmış ve çevrimiçi olarak anketi doldurmuşlardır. Toplamda 81 katılımcı anketi tamamlamış ve 76 katılımcının cevapları değerlendirmelere dahil edilmiştir. İngilizce ve Türkçe olarak 7 bölümde kategorize edilen ankette toplam 29 soru bulunmaktadır.
Anket, 4 temel bölüm içerecek şekilde planlanmıştır.İlk bölüm katılımcıların yazılım geliştirme endüstrisinde geçirdikleri tecrübeleri, oynadıkları rolleri, organizasyonları hakkındaki bilgileri, hali hazırda çalıştıkları şirkette kullanılan yazılım süreçlerini anlamayı hedeflemiştir.
İkinci bölümde önceden hazırlanan; teknik, operasyonel ve işlemsel olmak üzere belirlenen ölçüm metrikleri sıralanmış ve katılımcılardan bu yöntemleri hangi sıklıkla kullandıklarını seçmeleri beklenmiştir. Ölçümlerin kullanımını ölçmek için beş birim ölçeği kullanılmıştır. Bunlar katılımcılara, “Hiçbir Zaman”dan “Her Zaman”a seçenek tanımıştır.
Üçüncü bölüm, katılımcıların organizasyonlarında kullandıkları yazılım ölçüm yöntemlerini, standart süreç modellerini ve büyüklük ölçme yöntemlerini, kestirim yaklaşımlarını ve ölçümlerden sorumlu takım ya da grupları anlamayı amaçlamıştır.
Son bölümde ise yapılan ölçümlerden, bu ölçümlerin süreçlerinden ve ölçüm sonrası faaliyetlerden kazanılan faydanın ölçülmesi hedeflenmiştir. Bunun için kullanıcılara beşli likert benzeri bir ölçek sunulmuştur.
Anket soruları, sektörde çalışan profesyonellerin kolaylıkla cevaplayabilmeleri amaçlanarak hazırlanmıştır. Benzer bir çalışma bulanamadığı için karşılaştırılabilecek bir soru seti bulunmamaktadır. İlerleyen aşamalarda çalışmadan elde edilen sonuçlar da kullanılarak soru setinin iyileştirilmesi hedeflenmektedir.
Cevapların analizi için SPSS kullanılmıştır. Analiz sonrasında dikkat çeken veriler Sonuç Verileri kısmında özetlenmiştir. Elde edilen veriler ve sonuçlar detaylı bir rapor halinde hazırlanmıştır [6]. Bir sonraki bölümde bu sonuçlar özet olarak sunulmuştur. 3.2.
Çalışmaya iletilen 76 sonuç incelendiğinde katılan profesyonellerin %30 oranla savunma sanayii sektöründen olduğu görülmüştür. Bu oranı %20 ile bilişim teknolojileri ve telekomünikasyon takip etmiştir (Şekil 1).
Şekil 1. Katılımcıların sektör bazında dağılımı Anketi cevaplayan çeşitli rollerdeki profesyonellerin yazılım geliştirme sektöründeki iş tecrübeleri arasındaki en büyük dağılım %25 oranla 10-20 yıl arasında olmuştur. (Şekil 2). Bu sonuçla, katılımcıların %56’sının 5 seneden fazla tecrübeye sahip olduğu gözlenmiştir.
Şekil 2. Katılımcıların sektör deneyimlerinin dağılımı Organizasyonların uyguladığı iyileştirme ve olgunluk modellerini tespit etmek için sorulan sorudan elde edilen veriye göre, katılımcıların çalıştığı firmaların % 47’si CMMI yetenek olgunluk modelini kullandıklarını belirtirken %33’ü ise organizasyonlarında herhangi bir süreç modeli kullanılmadığını belirtmiştir (Şekil 3).
Şekil 3. Kullanılan modellerinin dağılımı Ankette katılımcıların, organizasyonel bağlamda kullandıkları yazılım büyüklük ölçme yöntemlerinini seçmeleri beklenmiştir. Katılımcıların %40’ı yazılım büyüklüğü ölçmediğini belirtirken, %60 oranında organizasyonların bir büyüklük ölçüm yöntemi k u l l a n d ı k l a r ı t e s p i t e d i l m i ş t i r ( Ş e k i l 4 ) . Ya z ı l ı m b ü y ü k l ü ğ ü ö l ç e n organizasyonlarındaki katılımcıların da %40‘ı büyüklük ölçerken kullanım senaryolarını (use case points) kullandıklarını belirtmişlerdir.
Şekil 4. Yazılım büyüklük ölçme yöntemlerinin dağılımı Ankette katılımcıların, organizasyonel bağlamda kullandıkları yazılım büyüklük ölçme yöntemlerinini seçmeleri beklenmiştir. Katılımcıların %40’ı yazılım büyüklüğü ölçmediğini belirtirken, %60 oranında organizasyonların bir büyüklük ölçüm yöntemi k u l l a n d ı k l a r ı t e s p i t e d i l m i ş t i r ( Ş e k i l 4 ) . Ya z ı l ı m b ü y ü k l ü ğ ü ö l ç e n organizasyonlarındaki katılımcıların da %40‘ı büyüklük ölçerken kullanım senaryolarını (use case points) kullandıklarını belirtmişlerdir.
Şekil 5. Yazılım ölçme faaliyetlerinin amacı
amaçlarını keşfetmek amacıyla sorulan çoktan seçmeli soruda, katılımcıların yüzde 61’i ölçümleri, organizasyonlarda var olan süreçleri iyileştirmek için yaptıklarını belirtmişlerdir (Şekil 5).
Şekil 6. Sektörlerin yazılım ölçme faaliyetlerine etkisi
Organizasyonları sektör bazında kullanılan ölçüm yöntemlerine göre karşılaştırılabilmek ve sektörlerin en çok kullandığı ölçüm yöntemlerini ölçebilmek hedefiyle bu oranlar karşılaştırılmıştır (Şekil 6). Karşılaştırma sonucunda anket katılımcılarının sektörlerinin ölçüm yöntemlerinin dağılımında dikkate değer bir etkisinin olmadığı gözlenmiştir. &
Şekil 7. Ölçme faaliyetlerinden sağlanan fayda İş Deneyiminin Ölçüm Faaliyetlerinden Elde Edilen Faydaya Etkisi. Organizasyonlarda yürütülen ölçüm faaliyetlerinin katılımcılara sağladığı faydaların sektör tecrübesi ile beraber değişebildiğini gözlemek amacıyla sorulan sorularda, katılımcılar iki gruba ayrılmıştır. Bu gruplar sırasıyla 0-5 yıl ve 5+ yıl sektör deneyimi olan katılımcılardan oluşmaktadır. Faaliyetlerden kazanılan faydayı anlayabilmek için sorulan beş ölçerli sorudan 3, 4 ve 5 ölçümleri olumlu cevap olarak bu gruplamaya dahil edilmiştir.
Bu veriye göre 5 yıldan fazla sektör tecrübesi olan katılımcıların %67’si bu faaliyetlerden fayda gördüğünü belirtirken, 5 seneden az tecrübesi olan katılımcıların sadece %36’sı bu yargıya katılmıştır (Şekil 7).
Süreçlerin Ölçüm Faaliyetlerine Etkisi. Organizasyonel süreçlerin olgunluğunun ölçüm faaliyetlerine etkisini anlamak için katılımcılara kişisel ve organizasyonel anlamda deneyimleri hakkında sorular sorulup bunlara katılıp katılmadıklarını belirtmeleri istenmiştir. Organizasyonların süreç olgunluğu anket aracılığı ile yorumlayabilmek için CMMI veya ISO 15540 belgelendirmesine sahip olup olmadıkları sorulmuştur. Her ne kadar bu belgelere sahip olmayan organizasyonların süreç olgunlukları ile ilgili yorum yapmak mümkün olmasa da, belgeye sahip organizasyonların daha olgun süreçlere sahip oldukları varsayılabilir.Belirtilen beş ölçerli sorulardan sadece en kabul edilen 3, 4 ve 5 değerlendirmeleri bu gruplamaya dahil edilmiştir. Bu karşılaştırmalardan alınan sonuçlar yüzde olarak belirtilmiştir.
Bu sorular: 1. Kuruluşumda yapılan ölçüm tahminleri organizasyonel süreçleri geliştirmek için kullanılır (Şekil 8).
2. Her projenin başında, hangi ölçümleri saklayacağımı biliyorum (Şekil 9). 3.Her projenin başında, gerekli ölçümleri nasıl toplayacağımı biliyorum (Şekil 10). Şekil 8. Süreçlerin modellerinin süreç iyileştirmeye etkisi
Şekil 9. Süreçlerin ölçüm verisi seçimine etkisi &
Şekil 10. Süreçlerin ölçüm verisinin toplanma bilgisine etkisi Elde edilen verilerde, CMMI olgunluk seviyesine sahip organizasyonlarda çalışan katılımcıların %53’si yazılım ölçümlerinin organizasyon sürecini iyileştirmek için kullanıldığını belirtiştir (Şekil 8). Aynı zamanda bu katılımcılar %56 oranında yazılım projelerinde hangi ölçüm metriklerini seçmeleri gerektiğini kestirdiklerini (Şekil 9) ve %57 oranında bu metrikleri nasıl toplayacaklarını bildiklerini (Şekil 10) belirtmişlerdir.
Organizasyonlarda Toplanan Ölçümler. Üç bölümden ayrılan ölçüm tekniklerinden işlemsel ölçümlerde, katılımcıların %35’i proje efor kestirimi, %32’si de proje süre kestirimini her projeden önce kesinlikle yaptığını belirtmiştir. Teknik ölçümler kategorisindeki, test hatalarının ve gereksinimlerin sayısını ölçtüklerini belirten katılımcıların oranı sırası ile %26 ve %22’dir. Bunlara ek olarak katılımcıların %19’u yazılım kalite maliyetini hiç bir zaman ölçmediklerini belirtmiştir.
İşlemsel Ölçümler Teknik Ölçümler Stratejik Ölçümler
En sık kullanılan ölçümler
En az kullanılan ölçümler Proje efor kestirimi, Proje süresi kestirimi
Satıcı üretkenliği,
Tedarik sözleşmesi değişiklikleri Testte bulunan hataların sayısı, Gereksinim sayısı İş sonu grafikleri (Burndown),
Kod hatalarının sayısı Süreç iyileştirme önerilerinin sayısı
Yazılım kalite maliyeti Tablo 1, katılımcıların en az ve en çok kullandıkları ölçümlerin detaylı listesini vermektedir.
Bu anket, yazılım profesyonellerinin organizasyonlarında yürütülen ölçme faaliyetlerini, bu faaliyetlerin yapılış amaçlarını ve kullanılan ölçüm tekniklerinin kullanım sıklığı konularındaki bakış açılarını anlamayı amaçlamıştır.
Anket sonuçlarından çıkarılan ana noktalar aşağıdaki gibi özetlenebilir: 1. En çok kullanılan operasyonel ölçümler, organizasyonlarda kullanılan ölçüm yöntemlerinden ve kuruluşun süreç modelinden bağımsız olarak Proje Süre Tahmini ve Proje Efor Tahminidir. 2. En çok kullanılan teknik ölçümler, Test Hata Sayısı ve Gereksinim Sayısıdır. 3. Sektörde daha tecrübeli olan katılımcılar ölçüm faaliyetlerinden daha çok fayda sağladıklarını belirtmişlerdir. 4. CMMI olgunluk seviyesine sahip kuruluşların çoğunluğunun, bu modeli izlemeyen kuruluşlarla karşılaştırıldığında, ölçüm verilerinin toplanması ve kullanılması konusunda çalışanlarını eğitme olasılığının daha yüksek olduğu gözlemlenmiştir. 5. Süreç olgunluğunu denetlemek için bir model kullanan kuruluşlarda çalışan profesyonellerin, ölçüm verilerinin toplanması için yürütülen çalışmaları anlama ve takip etme olasılığının daha yüksek olabilir. Çalışma sırasında sonuçları etkilemesi olası olan bazı faktörler bulunmaktadır. Sonuçlar değerlendirilirken bunlar göz önünde bulundurulmalıdır. Anket sonuçları, anketin tüm sorularının zorunlu olması nedeniyle, katılımcı sapmasından etkilenmiş olabilir. Katılımcılar cevaplarını göndermek için tüm anket sorularını doldurmak zorunda kalmışlardır. Anketin paylaşıldığı platformlarda ve yazılım gruplarında önemli miktarda savunma sanayi şirketi çalışanı bulunmaktadır. Bu sebeple anket katılımcılarının çalıştıkları sektörler de bir sapma oluşturmuş olabilir.
Katılımcıların yüzde 48'i organizasyonlarının CMMI ilkelerini ve uygulamalarını izlediğini belirtmiştir. Ancak, ocak 2018 itibarı ile CMMI Enstitüsü Yayın Değerleme Sonuçları Listesi'ne göre, (CMMI Institute Published Appraisal Results List) [5] Türkiye'de CMMI olgunluk seviyesine sahip sadece 36 yazılım şirketi vardır. Anket sonuçları, bu şirketlerden katılan katılımcı miktarından etkilenmiş olabilir. Katılımcıların yaklaşık yarısı, kuruluşlarında yürütülen ölçüm faaliyetlerinden faydalandıklarını belirtmiştir. Çıkarılan bu sonuç da ayrıca bu sapmadan etkilenmiş olabilir.
Anket sonuç verileri analiz edilirken, çeşitli sapmalara yol açabilecek veriler kontrol edilip bu uç durumlar mevcut veriden çıkarılmıştır. Bunlardan biri, ekipleri veya organizasyonları içinde beşten fazla rol oynayan katılımcılardır. Ayrıca, anket yanıt süreleri çevrimiçi anket platformundan kontrol edilmiştir ve sonuç oluşturulurken beş dakikadan daha az yanıt süresi olan anket yanıtları sonuçlara eklenmemiştir. Değerlendirmeler 76 katılımcı üzerinden yürütülmüştür.
Çalışma sırasında detaylı istatistiki analizler yürütülmemiştir. İlerleyen aşamalarda araştırmaya katılımı artırmak için faaliyetler gerçekleştirerek toplanan verilerle kapsamlı istatistiksel analizler yapmak mümkün olabilir. Daha iyi dağılım gösteren katılımcı profili ile sapmalar ve hata payları azalabilir. Artan katılımcı sayısı ile Türkiye'deki yazılım ölçüm faaliyetleriyle ilgili istatistiksel olarak anlamlı analizler yapmak mümkün olacaktır.
3. Garousi, Vahid - Coşkunçay, Ahmet - Betin-Can, Aysu - Demirörs, Onur: A survey of software engineering practices in Turkey. 4. Kasunic, Mark: The State of Software Measurement Practice: Results of 2006 Survey. In: Technical Report CMU/SEI-2006-TR-009, 2006, Software Engineering Institute, Carnegie Mellon University, Pittsburgh, Pennsylvania.http://resources.sei.cmu.edu/library/assetview.cfm?AssetID=8095 5. Published CMMI® Appraisal Results, https://sas.cmmiinstitute.com/pars/, last accessed 2018/06/10. 6. İ. Ercan, "A Survey About the Measurement Activities in Software Development
Organizations," Middle East Technical University Informatics Institute, Ankara, 2017. 7. B Ozkan, O Turetken, O Demirors, Software functional size: For cost estimation and more,
European Conference on Software Process Improvement, 2008 8. M Salmanoğlu, A Coşkunçay, A Yildiz, O Demirörs, An Exploratory Case Study for Assessing the Measurement Capability of an Agile Organization, Software Quality Professional, 2018 9. P Efe, O Demirors, Applying evm in a software company: Benefits and difficulties, Euromicro Conference on Software Engineering and Advanced Applications (SEAA), 2013 10.A Uskarcı, O Demirors, Do staged maturity models result in organization-wide continuous process improvement? Insight from employees, Computer Standards & Interfaces, 2017 11.M Salmanoğlu, K Öztürk, S Bağriyanik, E Ungan, O Demirors, Benefits and challenges of measuring software size: early results in a large organization, 25th International Workshop on Software Measurement, 2015 12.O Demirörs, A Coskunçay, Software Development in Turkey, IT Professional, 2015 13.Aysolmaz, B., & Demirors, O. (2014). Automated Functional Size Estimation Using Business Process Models with UPROM Method. In 2014 Joint Conference of the International Workshop on Software Measurement and the International Conference on Software Process and Product Measurement (pp. 114–124). 14.Guceglioglu, A. S., & Demirors, O. (2005). A Process Based Model for Measuring Process
Quality Attributes. In EuroSPI 2005 (pp. 118–129). Springer, Berlin, Heidelberg. 15.Kaya, M., & Demirors, O. (2011). E-Cosmic: A Business Process Model Based Functional Size Estimation Approach. In 37th EUROMICRO Conference on Software Engineering and Advanced Applications (pp. 404–410). 16.Tarhan, A., & Demirors, O. (2012). Apply Quantitative Management Now. IEEE Software, 29(3), 77–85. 17.Ungan, E., Demirörs, O., Top, Ö., & Özkan, B. (2009). An Experimental Study on the Reliability of COSMIC Measurement Results. In International Conferences IWSM 2009 and Mensura 2009 Amsterdam, The Netherlands, November 4-6, 2009. Proceedings (pp. 321–336). Amsterdam: Springer Berlin Heidelberg.