ards and Technology)'in 2002 raporunda, yazılım test altyapısının olmamasının ABD ekonomisine yıllık olarak 62 Milyar $ zarara neden olduğu belirtilmektedir [4].

Bu yüzden, başarılı yazılımların geliştirilmesi için bu konudaki standartların ve belirlenmiş süreçlerin en iyi şekilde uygulanması her geçen gün önemini arttırmaktadır. Bu kapsamda, Yazılım Test ve Kalite Değerlendirme Merkezi (YTKDM), kamu ve özel kurum ve kuruluşları için "Yazılım Test ve Kalite Değerlendirme" alanlarında kurumların gelişimine katkı sağlamak, yazılım projelerinin başarısını arttırmaya katkı da bulunmak, yazılımların rekabet gücünü arttırmak için kalite metrikleri kapsamında değerlendirmeler yaparak belgelendirmek, geliştirilen yazılımları objektif ve bağımsız şekilde test ederek değerlendirmek amacıyla, Devlet Planlama Teşkilatı (DPT) desteği ile 2010 yılı Şubat ayında TÜBİTAK BİLGEM bünyesinde kurulmuştur. Bu amaçla, YTKDM yazılım sektörü kurum ve kuruluşları ile iletişimini günden güne geliştirmek, bu kurumların bakış açısı ile mevcut durumun değerlendirilmesine, önerilerin alınmasına ve yazılım testi ile yazılım kalitesi konularında farkındalık oluşturulmasına önem vermektedir.

Kamu kurumları ile çeşitli nedenler ile yapılan görüşmelerde Yazılım Test ve Kalite Değerlendirme Merkezi olarak verilen hizmetlerle ilgili çalışmaların kamu kurumlarında yeterince bilinmediği; kullanacakları yazılımları tedarik ederken veya kendi geliştirdikleri yazılımların geliştirilme sürecinde yazılım testlerine ve yazılım kalitesinin değerlendirilmesine yeterince önem verilmediği gözlemlenmiştir. Bu konularla ilgili hizmet verilen, deneyim aktarılan veya ziyaret edilen kamu kurumları, bu konularda farkındalık sahibi olduklarında, bu konuların genel olarak kamu kurumlarınca yeterince uygulanmadığını ifade etmişlerdir. Yapılan değerlendirmeler sonucunda bu konularda farkındalık oluşturmak ve kamu kurumlarının bundan sonraki yazılım geliştirme ihtiyaçlarında yazılım şartnamelerine girdi oluşturabilmek ve katkı sağlayabilmek amacı ile bir çalıştay yapılmasına karar verilmiştir.

Bu amaç doğrultusunda, TÜBİTAK BİLGEM ve 67 kamu kurumundan bilgi işlem yöneticilerinin katılımları ile 17 Haziran 2014 tarihinde Ankara'da Yazılım Test ve Kalite Değerlendirme Çalıştayı gerçekleştirilmiştir.

Bu bildiri, çalıştay kapsamında elde edilen veri ve bilgileri içermektedir. Bildiride sunulan sonuçlar; çalışma esnasında katılımcılardan alınan görüşler, öneriler ve anket değerlendirmeleri doğrultusunda hazırlanmıştır.

Çalıştayın amacı; kamu kurumlarında yazılım test ve kalite değerlendirme konularında farkındalık oluşturmak ve bu kurumların bu konulardaki düşüncelerini ve sorunlu alanlara ilişkin öncelikli olarak ele alınması gereken hususlar ile ilgili önerilerini almaktır. Çalıştaya Ankara'daki ilgili kurumlardan 115 temsilci ve 21 BİLGEM çalışanı olmak üzere toplam 136 kişi katılmıştır.

Çalıştay temel olarak, yazılım testleri konusunda farkındalık oluşturacak "Yazılım Felaketleri ve Yazılım Testleri", yazılımların performansı ve kullanılabilirliğine yönelik "Daha Kullanılabilir Yazılımlar İçin Kullanılabilirlik Değerlendirmeleri ve Performans Testleri ve Önemi", yazılımların kalitesinin artırılmasına yönelik "Bakım Yapılabilir Yazılımlar ve Yazılım Kalitesi" sunumları ile iki bölüm halinde katılımcıların görüşlerinin alındığı değerlendirme oturumları olarak gerçekleştirilmiştir.

Ayrıca, ilgili oturumlar sonrasında Kamu Kurumları bilgi işlem yöneticilerinin oturumlar kapsamındaki faaliyetlerle ilgili görüşlerinin aktarılması ve anket yapılması faaliyetleri gerçekleştirilmiştir.

Bu bölümde, çalıştayda katılımcıların doldurduğu "Yazılım Test ve Kalite Faaliyetleri Anketi" ile ilgili değerlendirmeler yer almaktadır. Bu anket ile kamu kurumlarının yazılım test ve kalite değerlendirme alanlarında görüş ve önerileri aşağıda listelenen sorular ile alınmıştır. Bu sorular genel olarak; test ve kalite faaliyetleri ile ilgili kamu kurumların sorunları, gerçekleştirdikleri çalışmaları, kullanılabilirlik, performans, standartlara uygunluk ve güvenlik testlerinin yapılıp yapılmadığı, yapılıyorsa nasıl yapıldığı, YTKDM'nin faaliyetleri ile ilgili görüş ve önerilerinden oluşmaktadır. Bu sorulara verilen yanıtlar grafiksel olarak görselleştirilerek ve sonuçlar analiz edilerek yorumlanmıştır.

Kullandığınız iş uygulama yazılımlarını kurum olarak kendiniz mi geliştiriyorsunuz? Tedarik mi ediyorsunuz?

Bu soruya verilen cevaplar incelendiğinde ve Şekil. 1.'de gösterildiği üzere, kamu kurumların büyük bir kısmı ihtiyaç duydukları yazılımları hem geliştirme hem de tedarik etme yolunu seçmektedirler.

Tedarik mi ediyorsunuz?

Geliştirilen / tedarik edilen yazılımlar sistematik olarak test ediliyor.

Bu soruya verilen cevapları incelendiğinde ve Şekil. 2.'de gösterildiği üzere, kamu kurumlarında geliştirilen yazılımların sistematik test edilmesi ile ilgili sorunlar olduğu görülmektedir. Kurumların yarıdan fazlası bu konuda bilinçli olunmadığını belirtmiş ya da olumsuz yanıtlar vermişlerdir. Buna göre, ilgili kamu kurumlarında yazılım testlerinin belirli bir süreç ve sistematiğe göre yapılmadığı görülmektedir.

Şekil. 2. Geliştirilen / tedarik edilen yazılımlar sistematik olarak test ediliyor.

Yazılımlarınızı kimler test ediyor?

Bu soruya verilen cevapları incelendiğinde ve Şekil. 3.'de gösterildiği üzere, kamu kurumlarında yazılımları çoğunlukla geliştiriciler ya da son kullanıcılar test etmektedir. Testlerin geliştiriciler ve son kullanıcılar tarafından yapılması, test mühendisliği tekniklerinin tam olarak uygulanmadığı anlamına gelmektedir. Bunun sonucunda ise, hatalı, kullanışsız, performans yönünden sorunlu, güvenlik açıkları olan yazılımlar ortaya çıkmaktadır. Bu durum ülkemizde test faaliyetlerinin daha kaliteli olarak yapılması konusunda çözümler geliştirilmesi ihtiyacını ortaya çıkarmaktadır. Test faaliyetlerinin bağımsız test ekipleri ile gerçekleştirilmesi ile bu sorunun çözülmesine katkıda bulunulacağı değerlendirilmektedir.

Katılımcılar yazılımların bağımsız, yetkili bir ekip tarafından denetlenmesi konusuna genel olarak olumlu yaklaşmışlardır. Gelen görüşler aşağıdaki şekilde özetlenebilir.

 Yazılımlarda ortaya çıkabilecek performans, kalite ve güvenlik gibi olumsuz durumların denetlenmesi kesinlikle bağımsız bir kuruluş/ekip tarafından yapılmalıdır.

 Geliştiricilerin gözünden kaçan hataların tespit edilmesini sağlar. Kesinlikle kamu kurumlarında böyle bir yapılanmaya ihtiyaç vardır.

 Bu konuda kamu kurumlarının adına hareket edebilecek yasal mevzuatla desteklenmiş bir kamu kurumu olabilir.

 Kamu kurumlarında kullanılacak/kullanılmakta olan yazılımlar etki alanı göz önünde bulundurularak bağımsız yetkili bir ekip tarafından denetlenmeli ve sertifiye edilmeli, hatta yazılım şirketlerinin de kalitesi sertifiye edilmelidir.

 Test ve Kalite konularında kurum personeli eğitilmelidir.

 Kurum içerisinde geliştirilen yazılımların farklı bir gözle denetlenmesi sağlanmış olur. Ayrıca tedarik edilen yazılımların denetlenmesi kurum personeli tarafından tam olarak sağlanamadığı için daha çok bilgi ve tecrübe sahibi kuruluşların denetlemesi uygun olur.

 Dış kaynaklı teminlerde zorunluluk getirilmelidir.

Yazılım projeleriniz istenen zaman ve bütçede tamamlandı mı/tamamlanıyor mu?

Bu soruya verilen cevapları incelendiğinde ve Şekil. 7.'de gösterildiği üzere, kamu kurumlarında sadece projelerin %29'u istenen bütçe ve zamanda tamamlanabilmiştir, yani başarı ile sonuçlanmıştır. Projelerin %71'i ise zaman/bütçe aşımı ile tamamlanmıştır. Bu durum projelerin bütçe ve maliyetlerinin iyi kestirilememesi, iyi test edilmemesi, projenin kapsamının iyi belirlenememesi gibi ana etkenlerden kaynaklı olabilmektedir. Ayrıca, bu oran 2012 yılı Standish Group CHAOS dünya genelinde yapılan araştırma raporundaki %61'lik zaman/bütçe aşımı oranından daha fazladır [1]. Ülkemizdeki yazılım projelerinin başarısızlık oranının dünya ortalamasının üzerinde olması başarısızlığın kaynaklarının araştırılarak bu sorunlara acil çözümler geliştirilmesi ihtiyacını ortaya çıkarmaktadır. Şekil. 7. Yazılım projeleriniz istenen zaman ve bütçede tamamlandı mı/tamamlanıyor mu?

Bu soruya verilen cevapları incelendiğinde ve Şekil. 8.'de gösterildiği üzere, projelerin yarıdan fazlasında kod gözden geçirme çalışmaları yapıldığı belirtilmiştir. Bu durum projelerde geliştirilen kod kalitesini arttırmaktadır.

Şekil. 8. Yazılım projelerinizde Kod Gözden Geçirme Çalışmaları yapılıyor mu?

Yapılıyor ise ne tür çalışmalar gerçekleştirildi?

Bu soruya verilen cevapları incelendiğinde ve Şekil. 9.'da gösterildiği üzere, projelerin yarısının kullanılabilirlik çalışmalarının gerçekleştirmediği belirtilmiştir.

Şekil. 9. Yazılım Projelerinizde Kullanılabilirlik ile ilgili çalışmalar yapılıyor mu? Yapılıyor ise ne tür çalışmalar gerçekleştirildi? Bu soruya verilen cevapları incelendiğinde ve Şekil. 12.'de gösterildiği üzere, kamu kurumların yazılımlarının bakımı ile ilgili büyük oranda (%76) sorunları olduğu gözükmektedir. Bu durum iyi test edilmemiş, kalitesi düşük yazılımların bakım aşamasında sorunlara neden olduğu gerçeğini göstermektedir. Bakım aşamasında sorunlar ile karşılaşılan proje tecrübeleri göz önüne alındığında, yazılım projelerinde sorunların bir kartopu gibi büyümesi ve bu sorunların bakım aşamasında ortaya çıkması olarak özetlenebilir. Bu sorunlar genel olarak, kullanılabilir olmayan, yazılım performansı yönünden sorunlu, güvenlik açıkları ve işlevsel hataları olan, istekleri karşılamayan, proje dokümanların eksikliği, teknik şartnamenin iyi hazırlanmaması problemlerini içermektedir. Ayrıca, tedarik edilen yazılımların bakım aşamalarında ilgili firmaların, kurumların bakım isteklerine istenilen zaman ve bütçede yanıt verememesi de ayrı bir diğer problemdir.

Bu problemlerin çözümü kapsamında, YTKDM olarak geliştirilen "Projede Bir Müşteri Avukatı: Bağımsız DG Ekibi" yaklaşımı önerilmektedir. Kısaca, bu yaklaşıma göre yazılım ürünleri, yaşam döngüsü boyunca bağımsız bir kuruluş tarafından test edilir, testleri değerlendirir, test sonuçları belgelendirilir ve tüm safhalardaki gözden geçirmeler gerçekleştirilir. Bağımsız olarak gerçekleştirilen bu faaliyetler, objektif değerlendirmeyi sağlarken, yanlılığı ortadan kaldırmaktadır. Ayrıca, değerlendirmeler sonucunda, gerektiğinde projeye risk bildiriminde bulunup, risk analizlerinin yapılması tetiklenir. Projenin tüm safhalarında bağımsız olarak gerçekleştirilen gözden geçirmeler ile sağlanan izleme ve kontrol; müşteri, sponsor ve proje arasındaki iletişime ışık tutarak riskli görülen durumları sponsor kuruma/kişiye aktarılarak, proje gidişatının üst seviyede izlenmesini sağlanmaktadır. Bu yaklaşım için farklı çalışma modelleri oluşturulmuştur [5].

Şekil. 12. Geliştirilen/tedarik edilen uygulama yazılımlarınızda, bakım ile ilgili sorunlar yaşamakta mısınız?

Bu soruya verilen cevapları incelendiğinde ve Şekil. 13.'de gösterildiği üzere, projelerde en çok rastlanan sorun isterlerin değişmesi ve eksik isterlerdir. Buna göre isterlerin yazılım projeleri için çok önemli olduğu görülmektedir. Ayrıca, isterlerin en önemli test girdisi olduğu çalıştay oturumlarında da açıkça belirtilmiştir. Diğer bir konu da, proje kapsamı ve zaman tahmini ile ilgili sorunlardır. Bu sorunlar nedeniyle projeler istenen zaman ve bütçede tamamlanamamakta ve başarısız olmaktadır.

Şekil. 13. Geliştirilen/tedarik edilen uygulama yazılımlarınızda gördüğünüz sorunlar nelerdir?

Bu soruya verilen cevapları incelendiğinde ve Şekil. 14.'de gösterildiği üzere, projelerde oluşturulması gereken dokümanların birçoğu birçok projede oluşturulmamaktadır. Bu durum projelerde yazılım geliştirme ve test sistematiğinin olmadığını veya çok alt seviyede yapıldığını göstermektedir.

Şekil. 14. Geliştirilen/tedarik edilen uygulama yazılımlarınızda oluşturulan dokümanlar nelerdir?

4.17 YTKDM faaliyetlerine eklenebilecek "Yeni Çalışma Alanları" sizce neler olabilir?

Katılımcılar "Yeni Çalışma Alanları" ile ilgili genel olarak aşağıdaki görüşleri iletmişlerdir.

 YTKDM'nin "merkezi test birimi" olması ve yazılımların kamuda işletime alınmadan üst seviye testlerinin yapılarak YTKDM'nin "uygundur" onayını vermesi.

 Yazılım test ve kalitesine yönelik eğitimler düzenlenmesi, bilişim teknolojilerine yönelik standartların belirlenmesine katkıda bulunması.

Bu soruya verilen cevapları incelendiğinde ve Şekil. 15.'de gösterildiği üzere,

Şekil. 15. YTKDM faaliyetlerinden daha önce haberdar olmuş muydunuz?

Çalıştaya, Başbakanlık, Savunma Sanayi Müsteşarlığı (SSM), Kamu İhale Kurumu (KİK), Dışişleri Bakanlığı, Maliye Bakanlığı, İçişleri Bakanlığı gibi ülkemizin önemli kamu kurumlarından 67 kurum ve 115 temsilcileri yer almıştır. Kamu kurumları genel olarak bilgi işlem yöneticileri seviyesinde (Daire Başkanı, Şube Müdürü vb.) katılım sağlanmıştır.

Davet edilen 85 kurumun 67'sinin katılacağını bildiren 112 katılımcıya karşılık 115 katılımcının çalıştayda hazır bulunması beklenen ilginin karşılık bulmasının önemli bir göstergesidir.

Katılım sağlayan davetliler gerek sunumlar sırasında, gerekse sunumlar arasında yapılan değerlendirme oturumlarında etkin katılım sağlamışlardır. Sunumlar arasında özellikle geniş bırakılan aralarda kurumlarla yapılan temaslar sırasında sunumları yapılan konuların önemi katılımcılar tarafından vurgulanarak bu konularda kurumlara ne gibi önlemler alabilecekleri aktarılmıştır.

Yapılan temaslar sırasında kamu kurumları için geliştirilen projelerde yazılım testleri ve yazılım kalitesini ölçmeye yönelik çalışmaların büyük ölçüde gerçekleştirilmediğini ifade eden kamu kurumu bilgi işlem yöneticilerinin ifadeleri göz önünde bulundurulduğunda yapılan çalıştayın önemli bir eksikliği giderebilecek bir faaliyet olduğu değerlendirilebilir.

Kamu kurumlarından alınan geri bildirimlerden öne çıkanlardan biri de sunumlarda değinilen konulara yönelik eğitimlerin planlanarak kamu kurumlarına eğitimlerin verilmesi talebi olmuştur.

Ayrıca temas kurulan kamu kurumu yetkililerinin önemli bir bölümü yazılım test ve kalite analiz faaliyetlerinin bağımsız bir ekip tarafından yapılması gerektiğini vurgulamışlardır.

Kamuya tedarik edilen veya geliştirilen yazılımların bağımsız bir şekilde denetlenmesi ve değerlendirilmesi konusunda YTKDM'ye kanuni yaptırım veya yasal mevzuat ile yetki verilmesi beklenilmektedir. Getirilecek bu kanuni zorunluluk ile YTKDM, tüm kamu kurumları için resmi danışman ve denetçi olarak çalışması durumunda, ülke genelinde yazılım test ve kalite politikalarının belirlenmesi, standartların oluşturulması sağlanmış olacaktır.

Kamu kurumlarını yazılım testi ve yazılım kalitesi konularında bilgilendirmek, konuyla ilgili farkındalık oluşturmak ve kurumlar arası potansiyel işbirlikleri yapmak amacıyla düzenlenen çalıştay başarıyla tamamlanmıştır.

Teşekkür -Yazarlar, bu çalışmanın gerçekleştirilmesi için destek sağlayan TÜBİTAK BİLGEM TDBY Yazılım Test ve Kalite Değerlendirme Merkezi'ne teşekkür eder.