Özet. Mobil uygulamalar, internet ağı uygulamaları, bilgisayar uygulamaları ve sunucu uygulamaları gibi yazılım sistemlerinin güvenlik testleri oldukça önemli faaliyetlerdir. Yazılım güvenlik testi araştırma alanı olgunlaştığı ve bu alanda yapılan çalışmaların sayısı çok fazla olduğu için, bu çalışma alanının mevcut durumunu sistematik olarak sınıflandırmak önem teşkil etmektedir. Bu çalışmada, yazılım güvenlik testi konusundaki yerleşik bilgiler sistematik haritalama çalışması (İngilizcede: systematic mapping study, SM) ile sınıflandırılmıştır. Çalışma kapsamında üç haritalama sorusu kümesi oluşturulmuş, araştırma için anahtar sözcükler seçilmiş, dâhil etme ve hariç tutma kriterleri tanımlanmış ve bir sınıflandırma şeması sistematik olarak geliştirilmiştir. Seçilen birincil çalışmalar bu şemaya göre haritalandırılmıştır. Yazılım güvenlik testi alanında yayınlanmış son makale havuzumuz 67 makaleden oluşmaktadır. Çalışmamız hala devam etmekte olduğu için makale havuzunun %65-70 kadarı analiz edilmiştir. Yapılan analizlerin sonuçlarının bazıları şu şekildedir: (1) Yazılım güvenlik testi alanında, birincil çalışmalarda sunulan katkıların türleri değişmektedir ve en fazla sunulan iki katkı türü, 35 makale ile metotlar/teknikler katkısı ve 13 makale ile de araç katkısı olmuştur; (2) Makalelerde kullanılan araştırma metotlarını gözlemleyerek, 25 makale tarafından kullanılan doğrulama araştırmasının araştırmacılar arasında en çok tercih edilen yöntem olduğu gözlenmiştir.

Anahtar sözcükler: Yazılım testi; Yazılım güvenlik testi; yazılım güvenlik değerlendirmesi Software security testing: a systematic literature mapping Abstract. Security testing of software systems such as mobile applications, web applications, computer applications and server applications has become an essential activity. As the area of software security testing (SST) has matured and the number of studies has increased, systematically categorizing the current state-of-the-art is important. In this paper, we classify the established knowledge in this area through a systematic mapping study. In the scope of the study, three sets of mapping questions are posed, research keywords are selected, inclusion and exclusion criteria is defined, a classification schema is devel-oped and refined systematically, and the selected primary studies are mapped according to this schema. Our final pool of papers consists of 67 papers. As our work is in progress, 65%-%70 of our final pool of papers has been analyzed. Some of the results of analysis are the following: (1) In the software security testing area, the types of contribution presented in primary studies vary and the top two leading facets are methods/techniques presented in 35 papers and tool presented in 13 papers; and (2) By investigating types of research methods used in papers, we observed that validation research used by 25 papers is the most preferred method among researchers. Keywords: Software testing; software security testing; software security assessment

Yazılım testleri maliyeti yüksek olan ve oldukça çaba gerektiren işlemlerdir. 2010 yılında yapılan bir çalışmaya göre [1], test işlemleri için (yazılım, donanım ve servislerin testi dâhil) dünya çapındaki maliyetler 79 milyon Euro değerinde ve bu değerin 2014 yılında 100 milyon Euro'ya ulaşması beklenmekteydi. Diğer yandan Robert Siciliano [2] tarafından 2011 yılında verilen bilgilere göre, 150'den fazla kuruluşun katıldığı çalışmada tekbir uygulamaya ait güvenlik vakalarını iyileştirmek için harcanan para ortalama 300.000 dolar değerindedir. Tek bir uygulama için olan bu maliyet binlerce uygulama düşünüldüğünde çok yüksek rakamlara ulaşacaktır. Bu bilgilerde açıkça göstermektedir ki güvenlik açıklıklarının neden olduğu maliyetler, açıklıkları önceden tespit edip düzeltmek için gerekli maliyetlerden kat kat fazladır. Durum bu şekilde olunca yazılım güvenlik testleri; yazılım güvenlik tehditlerini ve açıklıklarını ortaya çıkarmak, oluşabilecek güvenlik açıklıklarını önceden tahmin edebilmek ve güvenlik açıklıkları nedeniyle ortaya çıkan zararları azaltmak için oldukça önemli hale gelmiştir. Yazılım güvenliğinin testine verilen önem arttıkça bu alanda yapılmış çok farklı konulara odaklanan çalışmalar da artmış ve bunun sonucunda genel çerçeveyi görme ihtiyacı doğurmuştur. Bu nedenle, bu çalışmada yazılım güvenlik testleri konusunda literatürde yer alan çalışmalar sistematik haritalama yöntemi ile analiz edilmiş ve sınıflandırılmıştır. Yazılım mühendisliğinde popüler olan sistematik haritalama yöntemi, geçmişte birçok makalede kullanmıştır, Örneğin, Vahid ve arkadaşları tarafından yazılım test kod mühendisliği [3], UML tabanlı yazılım performans mühendisliği [4], web uygulamaları testi [5] ve grafiksel kullanıcı ara yüzü testi gibi konularda sistematik haritalama çalışması [6] yapılmıştır.

Çalışmanın bir parçası olarak 4 kategoriden oluşan haritalama soruları ve yazılım güvenlik testleri ile ilgili 190 birincil çalışmadan oluşan bir makale havuzu oluşturulmuştur. Çalışma kapsamına giren birincil çalışmaları ayırt edebilmek için dâhil etme (seçme)-hariç tutma kriterleri belirlenmiştir. Dâhil etme kriterlerini sağlayan 67 çalışma seçilmiştir. Sistematik haritalama çalışmasının devam ediyor olması nedeniyle şu an için analiz edilen 45 tane birincil çalışma, bu sistematik haritalama çalışmasına konu olmuştur.

Çalışma şu şekilde düzenlenmiştir. Bölüm 2'de yazılım güvenlik testleri alanı ile ilgili bilgiler ve ilgili çalışmalar, Bölüm 3'de araştırmanın hedef ve yöntemi, Bölüm 4 ve 5'te araştırma sonuçları ve ileriye yönelik çalışmalar anlatılmıştır.

İncelenen çalışmalar içerisinde bu alanda yapılmış sistematik literatür tarama (SLT) ve sistematik literatür haritalama (SLH) çalışması bulunamaması sebebiyle bu çalışmanın literatürdeki boşluğu doldurması beklenmektedir. Çalışmanın bundan sonraki kısımlarının daha iyi şekilde anlaşılması için Bölüm 2.1'de güvenlik testleri ile ilgili genel bir bilgi verilmiş, Bölüm 2.2 de ise yazılım güvenlik testleri ile ilgili yapılmış ikincil çalışmalar listelenmiştir.

Yazılım güvenliği, herhangi bir saldırı anında sistemin doğru çalışabilmesidir [7]. Yazılım güvenlik testleri ise yazılım ürünlerinin ya da yazılım sistemlerinin güvenli olup olmadığını kontrol etmek, herhangi bir saldırı anında verilerin ve sistem fonksiyonelliğinin korunduğundan emin olmak, olası açıklıkları önceden görmek ve önlem almak için yapılan bir çeşit yazılım testidir. Yapılan güvenlik testlerinin; "gizlilik", "bütünlük", "doğrulama", "yetkilendirme", "erişebilirlik" ve "inkâr edememezlik" olmak üzere 6 temel güvenlik konseptini kapsaması beklenir [8]. Yazılım testleri yapılırken belli başlı aktivitelerin sırayla gerçekleştirilmesi beklenir. Bu aktiviteler, Garousi ve arkadaşları [3] Test edilecek yazılımın ürününe göre test teknikleri ve bu tekniklerin uygulanma metotları farklılık gösterebilir. Yapılan güvenlik testleri sistemin hem güvenlik fonksiyonelliğini hem de güvenlik açıklık seviyesini görmeyi amaçlar. Bu nedenle yazılımlara mümkün olan her yoldan sızmayı amaçlayan sızma testleri yapılır [9]. Sızma testleri, yazılımın iç işlevlerini, kodlarını test etmek için yapılan beyaz kutu testleri; yazılımın bütününe yönelik işlevlerin doğru yapıldığını emin olmak için yapılan kara kutu testleri ve kara kutu testlerine benzerlik gösteren gri kutu testlerinden oluşur. Bu testler sonucunda görülen açıklıklar raporlanır ve düzeltilmeye çalışılır.

Yazılım güvenlik testi alanında yapılan 20 adet ikincil çalışma [10][11][12][13][14][15][16][17][18][19][20][21][22][23][24][25][26][27][28][29] raporlanmıştır.

İkincil çalışmalar, sistematik literatür tarama (SLT), sistematik literatür haritalama (SLH), genel bir görüş veren normal makale ve literatür taraması (İngilizcede: survey) olmak üzere dört kategoride incelenmiş ve Tablo 1'deki gibi kategorize edilmiştir.

Bu çalışmada, [31]'de anlatılan Amaç-Soru-Ölçüt (Goal-Question-Metric, GQM) yöntemi kullanılarak yazılım güvenlik testi alanı ile alakalı bütün bilimsel çalışmalar toplanarak, bu çalışmaların sistematik haritalandırılması yapılmıştır. Toplanan bütün birincil çalışmalar, çalışmalarda kullanılan araştırma tiplerine, literatüre ne tür bir katkı sağladıklarına, yazılım test alanı ile ilgili özelliklerine ve yazılım güvenlik testi alanı ile ilgili özelliklerine göre incelenerek her birinin gerekli verileri elde edilip sınıflandırılmıştır.

Araştırmanın tipi keşifçi (exploratory) olduğu için amacımız yazılım güvenlik testi alanındaki mevcut durumun ne olduğunu öğrenmek, gelecek çalışmalar için bu alandaki yerleşik bilgi ile ilgili verileri toplayıp sınıflandırmaktır.

Bu bölümde yazılım güvenlik testi alanında sistematik haritalandırma oluşturmak için yaptığımız araştırma yöntemi hakkında genel bir bilgi verilecektir. Daha sonra, çalışmamızda kullandığımız Amaç-Soru-Ölçüt (GQM) yönteminden bahsedilecek ve son olarak da GQM yöntemi kullanılarak oluşturulan haritalama sorularından (HS, "Mapping Questions") bahsedilecektir.

Yapmış olduğumuz sistematik haritalandırma çalışmasında Petersen ve arkadaşları tarafından önerilen metotlar ve süreçler takip edilmiştir [30]. Kullandığımız protokol Şekil 1'de gösterilmektedir. Bu protokol, bilimsel çalışmaların seçilmesi, haritalandırmanın kurulması ve sistematik harita olmak üzere üç bölümden oluşmaktadır. Sistematik harita çalışmamıza Google Scholar arama motorunu kullanarak yaptığımız makale seçimi adımı ile başladık. Sadece Google Scholar arama motorunu kullanıp, IEEE Xplore, ACM Digital Library, Microsoft Academic Search, CiteSeerX, Science Direct vb. arama motorlarını kullanmamamızın sebebi, Google Scholar kullanarak diğer arama motorları ile bulabileceğimiz makalelere erişmemizin mümkün olması ve makale havuzumuzu oluştururken aynı makaleleri tekrar havuza dahil etmemektir. Daha sonra kişisel web siteleri, bulduğumuz makalelerin başvurduğu referans makaleler ve özel konferanslardan vb. elde edilen makaleler de araştırılarak makale seçimi adımına devam ettik. İlk makale havuzumuzdaki makalelere uyguladığımız dâhil etme ve hariç tutma kriterlerinin sonucu elde ettiğimiz makalelerden oluşan son makale havuzumuzu oluşturduktan sonra, haritanın kurulması adımında sistematik olarak sınıflandırma şemamızı/haritamızı geliştirdik. Daha sonraki adımlarda, son makale havuzumuzdaki makaleleri, üç haritalama sorusu grubunu kullanarak geliştirdiğimiz Şekil 1'de görülen sistematik sınıflandırma haritamıza yerleştirdik.

Şekil. 1 SLH çalışmasında kullanılan protokol

Sistematik haritalandırma çalışmamızın amacı doğrultusunda bu alanda yapılan dört adet bilimsel çalışmadan faydalanarak hedeflerimizi belirledik. Bu çalışmamızın hedefleri; yazılım güvenlik testi alanındaki mevcut durumu anlamak amacıyla bu alanda yapılan bütün bilimsel çalışmaları toplamak, incelemek, sistematik olarak haritalandırmak, gelecekte bu alanda yapılabilecek araştırmaları belirlemek ve istatistiksel sonuçları göstermektir. Daha sonra bu hedeflerimiz doğrultusunda üç adet haritalama sorusu (HS) kümesi oluşturduk. Haritalama sorularımız aşağıdaki gibidir:

 HS 1: Bilimsel çalışmaların literatüre sağladığı katkılar nelerdir?  HS 2: Bilimsel çalışmalarda kullanılan araştırma metotlarının tipleri nelerdir?  HS 3: Bilimsel çalışmalarda gösterilen test aktivitelerinin türleri nelerdir?  HS 4: Bilimsel çalışmalarda hangi test senaryosu (test case) üretme metotları kullanılmıştır?  HS 5: Bilimsel çalışmalarda kapsanan güvenlik açıklığı türleri nelerdir?

Yazılım güvenlik testi alanında yapılan birincil çalışmaları arayıp bulmak amacıyla anahtar sözcük tabanlı bir araştırma yapılmıştır. Araştırma için kullanılan anahtar sözcükler; yazılım güvenlik testi, yazılım güvenlik değerlendirmesi, yazılım saldırıya açıklık testi, yazılım saldırıya açıklık değerlendirmesi, yazılım sızma testi, yazılım sızma değerlendirmesi sözcükleridir. Daha sonra aşağıdaki arama yapısı oluşturulmuştur.

"Software" OR "Program" AND "Security" OR "Penetration" OR "Vulnerability" AND "Testing" OR "Assessment" (SOR)

Bu anahtar sözcükler ve arama yapısı, Google Scholar arama motorunda kullanılarak ilk makale havuzumuzu oluşturan 190 tane birincil çalışma bulunmuştur. Bu makaleler sistematik olarak oluşturulan haritalama şemasına göre haritalandırılmıştır. İlk makale havuzundaki makalelerden hangilerini çalışmamıza dâhil edip hangilerini dâhil etmeyeceğimizi belirlemek amacıyla dâhil etme kriterleri(çalışma kapsamımızla alakalı olan makaleler ve çalışmanın doğruluğunu içeren makaleler) ve hariç tutma kriterleri (İngilizce' den farklı dille yazılmış makaleler ve bütününe ulaşamadığımız makaleler) belirlenmiştir. Dâhil etme ve hariç tutma kriterleri aramızda oluşturduğumuz bir oylama sistemi ile uygulanarak son makale havuzumuz 67 makale olarak elde edilmiştir. Herkes tarafından ulaşılabilen, çevrim içi bir depolama alanı olarak oluşturduğumuz haritalama şemamızın linki: https://goo.gl/LJX5QY

Bu bölümde sistematik haritanın gelişimi ve veri çıkarma planı ile ilgili bilgi verilecek, sistematik haritanın yinelemeli gelişimi anlatılacak, geliştirilen ve çalışmamızda kullanılan sistematik haritamızın son hali Bölüm 5.2'de gösterilecektir. Seçilen makaleleri sistematik olarak sınıflandırmak amacıyla bir harita geliştirildi ve belirlenen haritalama soruları ve bu sorulardan elde edilen metrikler sistematik haritayı oluşturmak için kullanıldı.

Yazılım güvenlik testi alanındaki bütün birincil çalışmaları kaydetmek amacıyla paylaşımlı bir tablolama programı (çevrim içi Google Docs hesaplama programı) kullanıldı. Her bir birincil çalışma için aşağıdaki bilgiler bu tabloya kaydedildi.. Sistematik harita oluşturulduktan sonra, yüksek kaliteli bir sistematik haritalama çalışması yapmak için yinelemeli bir yöntem izlendi. İlk olarak veri çıkarmak için makalelerin başlıkları, özeti, giriş ve sonuç bölümleri incelendi. Daha sonra bu bölümlerin yetersiz görüldüğü makaleler baştan sona detaylı bir şekilde okunarak gerekli veriler çıkarıldı. Sınıflandırmamızdan emin olmadığımız zaman da diğer araştırmacılara danışıldı ve bu şekilde gerekli veriler elde edildi. Son olarak da, her bir araştırmacı tarafından çıkarılan veriler diğer araştırmacılardan biri tarafından gözden geçirildi.

Tablo 2'de sistematik haritanın son hali gösterilmektedir. Metriklerle ilgili tabloya makaleleri incelerken farklı olarak elde ettiğimiz metrikleri yerleştirmek amacı ile Diğer adlı bir alan eklenmiştir. Bu Diğer alanındaki veriler, yeni bir metrik kategorisi yaratmak için kullanılmaktadır.

Kritere Dayalı Test Senaryosu Tasarımı

18 [5,6,15,17,20,21,24,26,28,29,32,34,35,36,41,46,48 İçsel geçerlilik: Bir çalışma ve bu çalışmadan çıkarılan verilere dayalı bir nedensel sonucun garanti edildiğini yansıtan, bilimsel çalışmaların bir özelliğidir. Bu çalışma kapsamında olabildiğince eksiksiz bir birincil çalışma havuzu oluşturulmaya çalışılmış, farklı anahtar sözcükler ve bunların birleşimi ile bir araştırma sözcük kümesi belirlenip ilgili çalışmalar toplanmıştır. Dâhil etme ve hariç tutma kriterleri belirlenmiştir. Araştırmacıların kişisel değerlendirmelerinin etkilerini minimize etmek amacıyla çalışmayı yürüten araştırmacılar ile oylama mekanizması kullanılmıştır.

Yapısal geçerlilik: Çalışmanın nesnelerinin, çalışmanın arkasındaki teoriyi ne ölçüde temsil ettiğiyle ilgilidir. Bölüm 5'te verilen, bir sınıflandırma şemasına göre çalışmalardan bilgi çıkarımları yapılmış ve bu şemaya göre adreslenmiştir. Çalışmalar yazarlar arasında pay edilmiş ve bilgi çıkarımları yapıldıktan sonra farklı yazarlar tarafından yapılan gözden geçirmeler ile farklılıklar ortadan kaldırılmaya çalışılmıştır.

Sonuçsal geçerlik: Bir çalışmadan, titiz ve tekrarlanabilir bir prosedür ile doğru sonuçların elde edilip edilmediği ile ilgilenir. Bölüm 6'da, doğrudan verilerden çıkarılan grafikler ve grafiklerdeki verilerin haritalama tabloları paylaşılmış ve veriler ve sonuçlar arasında izlenebilirlik sağlanmıştır. Buna ek olarak, haritama çalışmamızın verilerine çevrim içi bir depolama alanından erişilebilmektedir.

Dış geçerlilik: Bir çalışmanın sonuçlarının ne ölçüde genelleştirilebileceği ile ilgilenir. Bu sistematik haritama çalışmasının sonuçları yazılım mühendisliği alanındaki yaklaşımlara göre değerlendirilmiştir. Bu nedenle, bu çalışmada sunulan sınıflandırma haritası, sunulan veriler ve belirtilen sonuçlar sadece verilen kapsamda geçerlidir.

Yazılım güvenlik testi alanına ilginin giderek artması ve bu kapsamda bu alanda yapılan çalışmaların sayısının günden güne artması sebebiyle yazılım güvenlik testi alanında ikincil bir çalışma olarak sistematik literatür haritalama çalışması yapma ihtiyacı oluşmuştur. Bu kapsamda yaptığımız SLH çalışmamızda, yazılım güvenlik testi alanında yapılmış olan bilimsel çalışmalardan birkaç tanesini inceleyerek, bu alandaki mevcut bilgiyi anlamak ve bu bilgiden yola çıkarak haritalama soruları kurup SLH çalışmamız için gerekli verileri elde etmek üzerine odaklandık. Daha sonra bu alandaki bütün birincil çalışmalar toplanarak, dâhil etme ve hariç tutma kriterlerinin uygulanması sonucu elde edilen son makale havuzumuzdaki 45 tane makalenin verilerini çıkardık. Bu alandaki mevcut bilgiyi çalışmaların literatüre sağladığı katkılar, kullandıkları araştırma yöntemlerinin türleri, kullandıkları test aktivitelerinin türleri, test durumu üretme metotları ve güvenlik açıklıklarının yönünden elde ettiğimiz metrikler sayesinde sınıflandırdık. Çalışmamız hala devam etmekte olup, makale havuzumuzdaki tüm makalelerin verileri çıkarılarak SLH çalışmamızı en kısa sürede bitirmeyi planlamaktayız. Daha sonra bu alanda bir sistematik literatür değerlendirme (Systematic Literature Review, SLR) çalışması yapılabilir. Ayrıca endüstride mevcut olan ticari yazılım güvenlik test araçlarını, yazılım güvenlik testi alanında yapılan bilimsel çalışmalarda önerilen metotlar/teknikler ile birleştirmek amacıyla bu alanda daha fazla çalışma yapılması gerekmektedir.