One of the most important subcomponents of the software testing process is the management of test data. As such, a significant portion of the effort expended for testing constitutes an effort for test data. The amount of test data
1,2 Kuveyt Türk AR-GE Merkezi, Kocaeli 1oguzhan.kayhan@kuveytturk.com.tr, 2burak.yakupoglu@kuveytturk.com.tr
1,2 Kuveyt Türk R&D Center, Kocaeli 1oguzhan.kayhan@kuveytturk.com.tr, 2burak.yakupoglu@kuveytturk.com.tr required and the variety of test data is not common, the common understanding of Test Data Management is inadequate. However, when the amount and variety required is increased, such factors as data security, consistency and integrity make test data difficult to manage and this adversely affects the software testing process. In this study, firstly the familiar and widespread understanding of test data management is examined. Then, the problems encountered in the case of different needs are expressed in the work done by this method. To solve these problems, an alternative approach to Test Data Management has been developed and an automation system has been designed. The design details of the automation system, which we call “Test Data Management Automation”, are explained and the problems and solutions encountered during implementation are explained in detail. 1
Test Veri Yönetimi, Yazılım Test Mühendisliği alanında gün geçtikçe daha da önem
kazanan bir olgudur. 2016 yılında sektör çalışanları ve yöneticileri arasında yapılan
küresel nitelikteki bir araştırmaya göre Test Veri Yönetimi %37 oranında test
faaliyetlerinde gerekli olan temel iyileştirme alanlarından biri olarak görülmektedir [
Büyük boyuttaki verilerin güvenlik, tutarlılık, bütünlük vb. kriterlere uygun olarak ortamlar arasında hızlı bir şekilde aktarılması Test Veri Yönetimi alanındaki önemli gelişim noktalarından birisidir. Bunun önemli sebeplerinden biri, kişisel verilerin korunması ile ilgili yasal düzenlemelerin eskisine göre daha da sıkılaşması ve bunun getirisi olarak Test Veri Yönetimi kapsamında temas edilen veri boyutunun eskisine göre artış göstermesidir. Kuveyt Türk Bilgi Teknolojileri bünyesinde yürütülen Test Veri Yönetimi çalışmalarında buradaki ihtiyaç görülerek, bu ihtiyaca yönelik olarak Test Veri Yönetimi Otomasyonu geliştirilmiştir.
Çalışmanın ilk kısmında Test Veri Yönetimi ile ilgili genel bilgiler verilerek bu alandaki ihtiyaca değinilmiş, yaygın olarak bilinen ve mevcutta kullanılan Test Veri Yönetimi yaklaşımı incelenmiş, Test Veri Yönetiminde karşılaşılan zorluklar ele alınmıştır. Çalışmanın ikinci kısmında ise uygulamaya alınan Test Veri Yönetimi Otomasyonu tasarımsal detaylarıyla anlatılarak uygulama yöntemi detaylandırılmıştır. Çalışmanın son kısmında ise geliştirilen otomasyon sistemi sonrasında elde edilen kazanımlar ifade edilmiştir. 2
Bir kuruluşun gerçek verilerini güvenilir bir şekilde taklit eden üretim dışı veri
kümelerinin oluşturulmasına Test Veri Yönetimi denilmektedir. Test veri yönetimi ile
amaçlanan, test edicilerin testlerini titiz ve geçerli olarak gerçekleştirebilmeleridir [
Bir test çalışması için gerekli olan toplam eforun en az %50’sinin test verisi
oluşturmak için harcandığı bilinmektedir [
Otomasyon Testi, Performans Testi, Mobil Testler gibi diğer test uzmanlık
alanlarında da Test Veri Yönetimi her geçen gün daha çok önem kazanmaktadır. Keytorc
tarafından gerçekleştirilen güncel bir araştırma, Test Veri Yönetiminin test
mühendisliğinin diğer uzmanlık alanlarına etkisini aşağıda özet halinde yer alan istatistiki
bilgilerle gözler önüne sermektedir [
Test Otomasyonunda Yaşanılan Zorluklar. Katılımcıların %59’u test verilerinin entegrasyonunu bu zorluklar arasında görmektedir.
Mobil Testlerde Karşılaşılan Zorluklar. Katılımcıların %12’si test verilerinin yetersiz olmasını bu zorluklar arasında görmektedir.
yönetimini bu zorluklar arasında görmektedir. 3
Yaygın olan yaklaşıma göre Test Veri Yönetimi için yaşam döngüsü aşağıdaki
aşamalardan oluşmaktadır [
Gereksinimlerin Analiz Edilmesi. Bu aşamada test verisi için ihtiyaç ve gereksinimler toplanarak analiz edilir. Okunacak ve yazılacak veri kaynaklarının belirlenmesi, Veri Güvenliği açısından hassas olup maskelenmesi gereken verinin tespit edilmesi, ilgili veri için ihtiyaç duyulan depolama ve arşivleme gibi gereksinimlerin ortaya konulması gibi adımlar bu aşamada gerçekleştirilir.
Planlama ve Tasarım. Bu aşamada analizi yapılan ihtiyaç ve gereksinimler için çözüm planı yapılır ve çözüm tasarımı gerçekleştirilir. Çözümün bir araç ile mi yoksa dâhili bir çalışmayla mı gerçekleştirileceğine bu aşamada karar verilir. Test Verisinin Oluşturulması. Bu aşamada çözüm tasarımı uygulamaya geçirilerek tespit edilen gereksinimler doğrultusunda test verisinin oluşturulması sağlanır. Test Verisinin Bakımı. Mevcut test verisinde yeni ihtiyaçlara göre değişikliklere gidilmesi veya test verisinin tazelenmesi işlemleri test yaşam döngüsü kuralları işletilerek bu aşamada gerçekleştirilir. 4
Test veri yönetimindeki temel kısıtlayıcı ektenler arasında başlıca; veri güvenliği, veri
tutarlılığı, veri bütünlüğü, veri depolaması ve veri yeterliliği yer almaktadır [
Test verisinin periyodik olarak en baştan oluşturulması büyük boyutlara sahip veri kümesi üzerinde işlem yapmayı gerektirdiğinden bu durum maliyet problemine neden olabilmektedir. Veri miktarının zaman içinde artacağı da düşünüldüğünde veri oluşturma esnasında temas edilen veri boyutu büyüyecek ve böylece test verisinin en baştan oluşturulması için gerekli olan zaman da giderek artacaktır. 5
Çalışmada ele alınan yöntemin uygulanmasından önce Kuveyt Türk Bilgi Teknolojileri bünyesinde yapılan Test Veri Yönetimi çalışmalarında alan bazında toplam verinin %1’ine temas edilmekteydi. Yani test verileri baştan oluşturulmak istendiğinde toplam verinin alan bazında sadece %1’i üzerinde işlem yapılmaktaydı. Bu haliyle temas edilen alan sayısı az olduğu için test verilerinin ortamlarda anonimleştirilmesi, yüklenmesi, bakımı vb. işlemler standart veri tabanı yönetimi prosedürleriyle kolaylıkla sağlanabilmekteydi.
İhtiyaçlar dâhilinde gelişen yeni Test Veri Yönetimi anlayışı ile birlikte temas edilen veri oranının %8’lere çıktığı görülmüştür. Temas edilen verideki artış nedeniyle test verisinin oluşturulması, bakımı, güvenliği, tutarlılığı, bütünlüğü gibi konular sürecin standart veri tabanı yönetimi prosedürleriyle yönetilmesini oldukça zorlu hale getirmektedir. Buradaki zorluğun üstesinden gelebilmek için test verisinin kısa sürede, güvenli, kolay ve işlevsel olarak oluşturulabildiği bir yöntem olarak Test Veri Yönetimi Otomasyonu tasarlanmıştır. 6
Test Veri Yönetimi otomasyonu, test verisinin oluşturulmasında veya bakımında temas edilen veri üzerinde yapılan maskeleme, anonimleştirme vb. işlemlerin otomatik gerçekleştirilmesini sağlayan sisteme verilen isimdir. 6.1
Test Veri Yönetimi otomasyonu için yaptığımız analiz çalışmalarına göre ihtiyaç duyulan temel gereksinimlerin aşağıdaki gibi olduğu tespit edilmiştir. Test ortamında kullanılacak verinin hassaslık bilgilerini içeren veri sözlüğü sistemi Verinin güvenliğini, bütünlüğünü ve tutarlılığını korumak kaydıyla hassas verileri ilişkisel bütünlüğü bozmayacak (deterministik) yöntemlerle dönüştüren ve dönüştürülmüş veriyi ortamlara yükleyen bir araç Veriyi dönüştürüp yükleyen araç ile veri sözlüğü sisteminin konuşmasını ve bütünleşmesini sağlayan, verinin aktarılması ve bakımı gibi işlemleri çizelgeleyen ve tüm süreci uçtan uca yönetebilen bir yazılım uygulaması
Yapılan inceleme ve çalışmalar neticesinde bu gereksinimlerin aşağıdaki yöntem ve uygulamalarla karşılanmasına karar kılınmıştır. Veri sözlüğü sistemi olarak, Kuveyt Türk Bilgi Teknolojileri bünyesinde kurum ihtiyaçları için üretilmiş olan Veri Sözlüğü sisteminin kullanılmasına karar verilmiştir. Veri sözlüğü, işletmenin faaliyet gösterdiği alanlarla ilgili kullandığı kavramlardan oluşan bir yapıdır. Veri tabanındaki tablolarda bulunan her bir alan sözlükteki kavramlardan biri ile ilişkilendirilir. Veri sözlüğünün test otomasyonunda kullanılmasının en önemli sebebi benzer kavramların sözlükte gruplanarak yönetilebilmesidir. Örneğin; TC Kimlik Numarası bir üst kavram olarak tanımlanır. Alıcı TC Kimlik Numarası ve Gönderen TC Kimlik Numarası kavramları da bu üst kavrama bağlanır. Üst kavram ilişkisi TC Kimlik Numarası bulunan tüm alanlara erişmek için bir anahtar özelliği taşır. Böylece kavramlara bağlı her alan için teker teker kural tanımı yapılmasına gerek olmaksızın maskeleme kural tanımları bir merkezden yönetilir. Verinin dönüştürülmesi ve yüklenmesi aşamasında kullanılacak araç için Informatica Test Data Management (TDM) isimli Test Veri Yönetimi aracının kullanılmasına karar verilmiştir. Informatica TDM uygulamasına karar verilirken piyasada benzer fonksiyonları sağlayan uygulamalar ile karşılaştırma yapılmış, çeşitli firmalardan örnek uygulama sunumları (PoC) istenmiştir. Veri Sözlüğü ile Informatica aracının entegre olmasını sağlayıp ilgili işleri çizelgeleyebilen ve tüm süreci baştan sona yönetebilen bir yazılım uygulamasının geliştirilmesine karar verilmiştir. Bu uygulama Kuveyt Türk Bilgi Teknolojileri bünyesinde geliştirilmiştir. Geliştirilen uygulama sistem tasarımı başlığı altında “otomasyon yazılımı” olarak isimlendirilecektir. 6.2
İlgili gereksinimler ve bu gereksinimlerin karşılanması için alınan kararlar doğrultusunda geliştirilen Test Veri Yönetimi otomasyon sisteminin çalışma aşamaları sırasıyla aşağıdaki adımlardan oluşmaktadır. 1.
Test verisi yüklemesi yapılacak veri tabanları için kaynak ve hedef bilgileri alınır ve bu veri tabanlarında, gerçek ortamdan alınan yedek dosya ile yenileme (restore) işlemi gerçekleştirilir.
Yenileme işlemleri tamamlanan hedef veri tabanlarında “trigger” ve “foreign key” gibi veri tabanı nesneleri pasif konuma getirilir. Bu işlem, birbiri ile bağlayıcı ilişkileri olan tablolar bulunduran bir veri tabanı için gereklidir. Bu adımda verinin silinmesi, aktarılması ve manipüle edilmesi esnasında oluşabilecek kısıtların önüne geçilmesi hedeflenir. Pasif duruma getirilen veri tabanı nesnelerinin kaydı tutularak işlem sonrasında aktif duruma getirilmesi sağlanır. Bu işlem adımı, pasifleştirme/aktifleştirme betiklerini oluşturan ve bunları işlem sırası geldiğinde çalıştıran saklı yordamın otomasyon yazılımı tarafından tetiklenmesiyle gerçekleşir. İlgili veri tabanlarında bulunan birleştirilmiş alanlar (computed column) standart yapıdaki bir alana dönüştürülerek birleştirilmiş alan durumundan çıkarılır. Dönüştürülen alanların kaydı tutularak işlem sonrasında yeniden orijinal duruma getirilmesi sağlanır. Bu işlem adımı, alan dönüştürme betiklerini oluşturan ve bunları işlem sırası geldiğinde çalıştıran saklı yordamın otomasyon yazılımı tarafından tetiklenmesi ile gerçekleşir. İlgili veri tabanlarında Informatica TDM aracı çalışmadan önce gerekli betiklerin çalıştırılması sağlanır. İşlem yapılacak olan veri tabanları üzerinde “view” oluşturularak Informatica TDM uygulamasında veri kaynaklı oluşabilecek muhtemel hataların önüne geçilmesi hedeflenir. Bu işlem adımı, betikleri sırası geldiğinde çalıştıran saklı yordamın otomasyon yazılımı tarafından tetiklenmesi ile gerçekleşir (Pre-Sql çalışması).
Informatica TDM aracına yerleştirilmek üzere Informatica proje XML dosyası oluşturulur. XML dosyası hangi veri tabanında hangi alanın hangi kuralla maskeleneceği bilgisini Informatica TDM aracının anlayacağı desenlerde içermektedir. Hangi alanın hangi kuralla maskeleneceği bilgisi ise Veri Sözlüğü ile yapılan bütünleşme çalışması neticesinde elde edilmektedir.
Informatica TDM aracına yerleştirilen bu XML dosyası sonrasında oluşan “Informatica Projesi” için Generate&Execute işlemleri gerçekleştirilir. Bu aşamadan verinin dönüştürülmesi ve yüklenmesi işlemi gerçekleşmektedir. İlgili veri tabanlarında Informatica Projesinin Generate&Execute işlemleri tamamlandıktan sonra ihtiyaç duyulan betiklerin çalışması sağlanır. Bu adımda, veri ihtiyacı bulunmadığından, performans kaybı yaşanmaması adına maskeleme işlemine dâhil edilmemiş olan tablo verilerinin temizlenmesi gerçekleştirilir. (Post-Sql çalışması). İlgili veri tabanlarında “trigger” ve “foreign key” gibi veri tabanı nesneleri aktif konuma getirilir. İlgili veri tabanlarında standart yapıdaki bir alan dönüştürülmüş olan birleştirilmiş alanlar (computed column) yeniden orijinal haline getirilir. 6.3
Test Veri Yönetimi otomasyonu geliştirilmesi esnasında karşılaşılan problemler ve çözümleri özetle aşağıdaki gibidir.
Veri tabanı üzerinde barındırılan “foreign key” ve “trigger” nesnelerinin kaldırılması noktasında Informatica TDM aracı teknoloji farklılıkları nedeniyle yetersiz kalmıştır. Bu nedenle bu nesnelerin kaldırılması ve geri getirilmesi Test Veri Otomasyonu içerisinde Informatica TDM aracından bağımsız yönetilmiş ve ilgili problem için çözüm sağlanmıştır.
Bir tabloda “Identity Insert” özelliği varsa Informatica TDM aracı bu tablodaki veriyi yüklerken tabloya ait “trigger” nesnelerini kaybetmektedir. Bu problemin çözümü için bu tipteki tablolara ait “trigger” nesneleri oluşturan scriptlerim “Postsql” aşamasında çalışması sağlanmıştır.
Bir tabloda birleştirilmiş (computed column) bir alan varsa Informatica TDM aracı bu tablodaki veriyi yüklerken hata almaktadır. Tablolarda bu alanların Informatica TDM aracı çalışmadan önce kaldırılması sağlanarak ilgili problem çözülmüştür. TC Kimlik Numarası ve Vergi Kimlik Numarası bilgilerinin orijinal haliyle test ortamında kullanılması sakıncalı görülmektedir. Bu nedenle her bir numaraya karşılık gelecek şekilde kontrol algoritmalarına uygun yeni bir değer üretilmesi gerekmektedir. Bu nedenle Informatica TDM aracı üzerinde “gelişmiş kural” oluşturularak bu alandaki verinin tutarlı maskelenmesi sağlanmıştır. Gelişmiş kural seçeneği veri tabanı programlama dilinin uygulama içinde kullanılmasına imkân sağlamaktadır.
Test verisinin anonimleştirilmesi sırasında kullanılan maskeleme kuralları birbirlerinden farklı veri tiplerine atanabilmektedir. Bu durum veri tipinden kaynaklı olarak ilgili kuralın çalışırken hata almasına neden olmaktadır. Maskeleme kurallarının hassas veriyle eşleştirilmesi veri tipine göre yapılacak şekilde Test Veri Yönetimi otomasyonunda geliştirme yapılmış ve bu problem çözülmüştür. 6.4
Mevcut sistemden Test Veri Otomasyonuna geçişte, test verisinin oluşturulması için üzerinde işlem yapılan alan sayısı 5,5 kat artmasına rağmen test verisinin tamamının en baştan oluşturulması işlemi için harcanan sürede kayda değer bir artış gözlemlenmemiştir. Mevcut Sistem ve Test Veri Yönetimi Otomasyonu kapsamında üzerinde işlem yapılan tablo ve alan sayıları Tablo 1 ile gösterilmiştir.
Tablo 1. İşlem Yapılan Tablo ve Alan Sayıları Tablosu.
Tablo Sayısı
Alan Sayısı Mevcut Sistem Test Veri Yönetimi Otomasyonu 413 1505 441 2449
Mevcut sistemde test verisi, sql betikleri üzerinden herhangi bir maskeleme kuralı kullanılmaksızın, verinin doğrudan betikler ile güncellemesi şeklinde oluşturulmaktaydı. Bu durum, verinin bütünlüğünü ve tutarlılığını olumsuz etkileyebiliyor, aynı zamanda maskelenen test verisinin sistematik bir şekilde büyümesi ihtiyacına yanıt vermiyordu. Test Veri Yönetimi Otomasyonu ile test verisi oluşturulurken maskeleme kurallarının kullanılması sağlanmış, böylece veri tutarlılığını ve bütünlüğünü olumsuz etkilemeden anonimleştirme işleminin gerçekleştirilmesi sağlanmıştır. Aynı zamanda büyüme ihtiyacı söz konusu olduğunda sql betiklerine ihtiyaç duymaksızın tanım tabanlı olarak büyüme imkânı kazanılmıştır. Test veri otomasyonu içerisinde kullandığımız bazı maskeleme kuralları ve kullanım adetleri Tablo 2 ile gösterilmiştir.
Tablo 2. Maskeleme Kuralları Tablosu.
Maskeleme Kuralı Kullanım Sayısı N_DET_NUMBER (Gelişigüzel bir değer alır. Veri bütünlüğü korunur.) S_DET_NAME (Gelişigüzel bir isim değeri alır. Veri bütünlüğü korunur.) S_DET_CARD (16 haneli kart numarasının ilk 6 ve son 4 hanesi sabit tutulur.
Geriye kalan rakamlar gelişigüzel bir değer alır. Veri bütünlüğü korunur.) S_RND_NUMBER (Değer numerik tipe dönüştürülür (gelişmiş kural) ve N_DET_NUMBER kuralına sokulur.) S_DET_TCKN (TCKN algoritmasına uygun bir değer üretilir.) S_STA_CITY (Kuralda tanımlanmış olan şehir değerini alır.) S_RND_PHONE (Verinin son 6 rakamını gelişigüzel bir değerle değiştirir.) S_STA_ADDRESS (Kuralda tanımlanmış olan adres değerini alır.) D_RND_DATE_PAST (Belirtilen aralıkta rastgele bir tarih değeri alır.) S_STA_MAIDENNAME (Kuralda tanımlanmış olan kızlık soyadı değerini alır.) 240 200 174 53 45 44 43 25 24
Hangi alanda hangi maskeleme kuralının kullanılacağı bilgisi Veri Sözlüğü sisteminde yönetilmektedir. TDM uygulaması Veri Sözlüğü sistemine entegre olduğu için alan-kural eşleştirmeleri kolaylıkla gerçekleşmektedir. Mevcut sistemde fiziksel ilişkisi olmayan ancak mantıksal ilişki bulunan tablolarda işlem yapılırken verilerin bütünlüğü bozulabilmekteydi. Veri sözlüğü entegrasyonu ile bu sorunun çözüldüğü görülmüştür. 7
Bu çalışmada Test Veri Yönetiminin zorluklarından ve bu alanda gündeme gelen yeni ihtiyaçlardan ana hatlarıyla bahsedilmiştir. Test veri yönetimindeki söz konusu zorlukların aşılması ve yeni ihtiyaçların karşılanması için alternatif yaklaşımlardan birisi olan test verisinin yönetilmesini otomatikleştirme yaklaşımı ele alınarak örnek bir Test Veri Otomasyonu sistemi geliştirilmiştir. Geliştirilen Test Veri Yönetimi otomasyonun Kuveyt Türk Bilgi Teknolojileri bünyesindeki uygulanışı anlatılmıştır.
Test Veri Yönetimi otomasyonunun uygulanması neticesinde test verisinin yönetilmesinin daha pratik ve esnek hale geldiği, değişen ihtiyaçlara daha hızlı adapte olabildiği, testin ve testi yapılan uygulamanın kalitesini artırmaya katkı sağladığı gözlemlenmiştir.