Graphical User Interfaces (GUI) are popular for enabling comfortable user interactions (UI) of computer-based systems with users. This paper introduces a new approach for modeling GUIs with regular expresion
(RE), and moreover, obtaining coverage critaria for GUI testing. The GUI under test is assumed to be modeled by a RE, the symbols of which are semantically interpreted as events. For enriching this RE by information also about states, the RE will be scanned by equivalent FSAs, forwards and backwards. Thereby, the appearing states will be noted as indices of the RE. The resulting coded format of the RE, which is obtained by simultaneous backwards and forwards scanning, contains all information necessary for generating coverage citeria that includes both event and state information. Preliminary experiments show that proposed approach enables to generate more compact test cases at less costs compared with others. 1
Günümüz karmaşık yazılım sistemleri gözönünde bulundurulduğunda bilgisayar tabanlı sistemlerin ana bileşenlerinden biri olan Grafiksel Kullanıcı Arayüzlerin (GKA) geniş kullanım alanları, gün geçtikçe daha karmaşık GKA’ların inşa edilmesini sağlamaktadır [15]. GKA’lar ile geleneksel yazılımlar arasında bir çok farklılık göze çarpmaktadır. Bu farklılıklar, GKA’ların tasarım ve sınanmasnda farklı yetenekler ve tekniklerin geliştirilmesini gerektirmektedir [9].
GKA’larin modellenmesi ve elde edilen modeller aracılığı ile inşa ve test edilmesi süreci için gereken zaman, geleneksel yazılımlarda olduğu gibi, modelsiz sürece nazaran daha ekonomiktir. Arzu edilen bu zaman ve masraf tasarrufu, şüphesiz analiz ve test işlemleri için uygun modeller seçilmesi ile mümkündür.
Bu bildiri, GKA’ların düzenli İfadeler (Dİ) ile modellenmesini önerir ve bu modellerle ifade edilebilen GKA’ların test edilmesi için gerekli test kapsama kriterleri üretilmesi amacı ile yeni bir yaklaşım öne sürmektedir. Test kapsama kriterleri test sürecini değerlendirme ve sonlandırma açısından çok önemlidir.
Yaklaşım ana hatları ile şu adımlardan oluşmaktadır: 1. İncelenen sistem (İS; system under consideration) bir Dİ ile modellenir. Bu modelleme şekli yaygın olmadığından, önce olay bazlı bir yöntem ile, örneğin yönlü çizge (YÇ; digraph) ile modellenir ve bu YÇ bilinen kuramsal metodlar ile otomatik olarak bir Dİ’ye dönüştürülür [1],[12], [16]. 2. Elde edinilen Dİ, yalnızca olay bazlıdır ve aşağıda belirtilen özel teknik ile endekslenir. Bu endekslenmiş Dİ, İS’in olay ve durum bazlı karakteristik bilgilerini içermektedir. 3. Bu bilgiler Bağlam Kapsama Kriterlerini (context coverage criteria) üretmek için kullanılır.
İkinci adımda değinilen teknik, ilk etapta elde edinilen Dİ’ye ve bu Dİ’nin tersten okunmasından (mirrored term) oluşan sonlu durum makinalarını (SDM) kurar. Akabinde eldeki Dİ, bu makinalar tarafından önce doğrudan (forwards scanning), sonra tersinden (backwards/reverse scanning) okunur ve makinaların tarama anlarında aldıkları durumlar Dİ’nin o anki olayına (=simgesine) üst (ön okuma; forwards indexing) ve alt (backwards/reverse indexing) endeks olarak işlenir. Dİ’nin aynı anda üst ve alt endekslenmesi (coding) önerilen yaklaşım için gerekli bütün bağımsal (contextual) bilgileri içerir.
Bildirinin 2. Bölüm’ünde ilgili çalışmalar gözden geçirilecek, sunulan yaklaşım ile ilgileri kısaca açıklanacaktır. 3. Bölüm’de GKA modellenmesi için önerilen yöntem bir örnek ile anlatılacak, ardından 4. Bölüm’de Dİ’lerin önemli özelliklerinin endeksleme yöntemi ile elde edilmesine konu olacaktır. 5. Bölüm’de yeni kapsama kriterleri tanımlanacaktır. 6. Bölüm’de ise önerilen kapsama kriterlerinin bir uygulaması olarak test üretimi için örnekler verilecektir. Son olarak 7. Bölüm’de elde edilen sonuçlar ve gelecek için planlanan çalışmalar özetlenecektir. 2
İlgili Çalışmalar Literatürde verilen bir sistemin bir model yardımıyla test edilmesi ‘model tabanlı test etme’ olarak geçmektedir. Bu bildiride önerilen yaklaşım ile ilişkili modeller: Olay Sıra Çizgesi (OSÇ) (Event Sequence Graph ) [9] ve Olay Akış Çizgesi (OAÇ) (Event Flow Graph) [15]. OSÇ’ler bir çok interaktif sistemin modellenmesinde kullanılmaktadır. Bunlara gerçek zamanlı sistemler, gömülü sistemler ve GKA’lar örnek olarak verilebilir [8]. Bununla birlikte yine bu model aracılığı ile sistemin analiz edilmesi ve test durumlarının üretilmesi [6],[7],[8],[9] ise bir diğer avantajlı yanıdır.
OAÇ’ler ise yapısal olarak OSÇ’ler ile benzerlikleriyle birlikte her iki modelde bir çok ortak uygulama alanı bulmaktadır. Bunlar ise çoğunlukla GKA’ların modellenmesi ve test edilmesi üzerine yoğunlaşmaktadır [14], [15].
Sonlu durum makinaları (SDM) on yıllardan beri sıralı (sequential) yazılım ve donanım sistemlerinin modellenmesi ve test edilmesi için kullanılmaktadır. Bu çalışmalara ilk olarak Chow [10] öncülük etmiş, SDM ile modellenen sıralı sistemlerin sınanması için ‘w-metodu’ olarak adlandırılan bir metot öne sürmüştür. Bu çalışmanın ardından SDM bazlı modellerin test sürecinde kullanılması için bir çok metot ileri sürülmüştür.
Dİ’lerin gerek modelleme gerekse test için kullanımıyla ilgili çalışmalar diğer modellerle kıyaslandığında yok denecek kadar azdır. Örneğin, Web of Science veri tabanında “düzenli ifade” ve “test üretimi” anahtar kelimeleri aratıldığında, konuyla alakalı yalnızca altı çalışma ile karşılaşılmaktadır. Bunlardan bir tanesi [17] donanım için test üretimi ve daha ziyade belirli bir seviyede verilmiş donanımın test edilebilirlik analizi ve optimizasyonu üzerinedir. Diğer beş çalışma ise Dİ’ler ile modellenen yazılımların test edilmesi hakkındadır. Bu veritabanında rastlanılmayan [11]’de Dİ’ler sıralı devrelerin test edilmesi için rastgele test takımları üretiminde kullanımı için bir yaklaşım verilmektedir. Ayrıca Shaw tarafından [18]’de öne sürülen yaklaşım, Dİ’lerin yazılım tasarımı (design) ve belirtimi (specification) için kullanımı üzerinedir. Liu ve Miao çalışmasında [13] Dİ yardımıyla yazılım davranışları için test modelinin kurulması hakkındadır. Bir diğer çalışmada Belli ve Grosspietsch [3] Dİ ile modellenen karmaşık yazılım sistemlerinin kusur dayanıklılığı (fault tolerance) açısından analiz edilmesi ve bu analiz sonucunda, sistem arzu edilen özellliği içermiyorsa genişletilip kusur dayanıklı hale getirilmesi ile ilgilidir.
Mevcut literatür incelendiğinde Dİ’lerin GKA’ların test kapsanımları için kullanımına ilişkin bir çalışmaya şu ana kadar yapılan araştırmalarda rastlanılmamıştır. 3
Günümüzde kullanılan GKA’lar basitten karmaşığa çok çeşitli şekillerde karşımıza çıkmaktadır. Aşağıda Şekil 1’de basit bir örnek verilmektedir.
Düzenli İfadeler: Aşağıdaki kurallar çerçevesinde, bir düzenli ifade, verilen bir alfabeα’nın sıfır veya daha fazla a, b, c, ... sembollerinin dizisi ile ifade edilir. Bu diziler aşağıda verilen operatörlerin aracılığı ile kurulur; • Bitiştirme – belirli bir sembol ile ifade edilmeyen bir operatör. Öyle ki ab gibidir ve ‘a izlenir b tarafından’ anlamındadır. • Seçim (Birleştirme), + ile gösterilir. Öyle ki a+b gibidir ve ‘a veya b’ anlamındadır. • Yineleme (Kleene Yıldız operatörü), * ile gösterilir. Öyle ki a* gibidir ve ‘a isteğe bağlı olarak tekrarlanır’ (sıfır tekrarda içerilmektedir ve bu ‘boş kelime λ’yı ifade eder). Benzer şekilde, a+ ise a’nın en az bir kez oluşunu belirtir, yani λ hariç tutulur. Şekil 2’deki YÇ’ye tekabül eden Dİ’yi şu şekilde tanımlayabiliriz.
[(ab(c+d)*)*]
(
Kolayca görüleceği gibi, (
Giriş bölünde amacı belirtilen ve özetlenen Dİ endekslenmesi, bu bölümde ayrıntılı olarak açıklanacaktır. Bu çerçevede, semboller arasındaki bağlamsal ve uygunsal ilişkilerin çıkarılabilmesi için gerekli bağlamsal (contextual) ileri, geri, sağ ve sol endeksleme kavramları tanımlanacaktır. Bu endeksleme işlemlerine dayanarak elde edilecek olan İleri Bağlam, Geri Bağlam ve Uygunluk Tablosu tanımları verilecektir. Bu bölümde tanıtılacak olan kavramlar bir sonraki bölümde GKA test kapsamları üretilmesi aşamasında kullanılacaktır. 4.1
Bu bölüm, bir örnek aracılığı ile Dİ’nin karakteristik ilişkisini ortaya çıkaran belirli
bir forma dönüştürülmesini göstermektedir. Örnek olarak (
İlk aşamada, (
([1(((a1(b1((c1+d1)*)))*)]1)
(
Burada, “a1” “a”nın ilk defa var olması demektir. Aynı şekilde diğer sembollerin
endeksleri de “1”dir. Yani (
Ardından, iyi bilinen yönteme dayanarak [3],[5], Dİ’ye tekabül eden durum tablosu Eforw elde edilir (Tablo 1). Bu tablo, verilen Dİ’ye doğrudan (forward) tekabül eden SDM’dir. Eforw, SDM’nin Dİ’ye dönüşümünde kaybolan, ya da doğrudan Dİ ile çalışıldığında mevcut olmayan durum bilgisini Dİ’ye endeks ile eklemeyi sağlayacaktır. Sembol [1 a1 ]1 b1 c1 d1
Durum [ a 0 1 1 2 3 2 4 3 4 2 3 5 2 3 6 2 3 Tablo 1. Eforw Durum Tablosu ] b c d
Eforw kurulması hk. Örneğin, Eforw sıfır (0) başlangıç durumundadır ve “[” sembolünü okur, bu doğru bir şekilde “[1” dir ve ardından durum 1’e geçilir.
Sembol “a” doğru olarak durum 1’de okunur ve bu daima “a2” olur. Ardından bu
durum 2’ye geçileceği anlamına gelir. (
Böylece (
Bu işlem geri endeksleme olarak adlandırılır. Burada, ikinci bir ters görüntü
işleminden sonra (
Görülen endeksler, verilen Dİ’nin Eforw tarafından doğrudan, yani soldan sağa
(forward), “okunması” durumunda sembollerde bırakacağı durum (state) izleri olarak
kabul edilebilir. Bu işlem (
Dİ’nin Ters Endekslenmesi ve Kodlanması
İleri endekslemeye benzer şekilde, (
]1 ((((d1+c1)*b1)a1))*[1) (
Bu çift yönlü endeksleme (
İkinci olarak, daha karmaşık bir araç, sol bağlam ve sağ bağlam sırasıyla lforw , lback
ve rforw, rback ilişkileri kullanılır. Bunlar her bir si ve sj için birinin sonraki ve önceki
sembollere karar verir. Şekil 3.(a) (
Şimdiye kadar önemli olan bir çok kavram açıklandı ve bunlara örnekler verildi. Bir sonraki bölümde, Tanım 1’den itibaren öne sürülen yaklaşımda kullanılacak kavramlara yer verilecektir. (b) (a) Şekil 3. (a) Bağlam ve (b) Uygunluk Tablosu 5
Bu bölümde kapsama kriterlerinin tanımları verilecektir. Bu kriterler arasındaki ilişkiler (subsumption relation) Şekil 4’te görülmektedir.
Şekil 4. Kriterler arası kapsama ilişkisi
Dİ’de kullanılan semboller olayları adlandırmaktadır. Dolayısı ile Şekil 3’de gösterilen Örneğin Bağlam Kriteri hem Sol hem de Sağ kriteri kapsamaktadır. Uygunluk kriteri ise Sağ ve Sol arasında uygunluk testi için kullanıldığı için çift yönlü ok ile gösterilmiştir. formel olarak; Tanım 1: Bir Bağlam Kapsama Kriteri (Context Coverage Criterium), üretilen test takımının, tüm durumları Bağlam Tablosu tarafından içerilmesi olarak tanımlanır. Bu ziyade öne sürülen kapsama kriterlerinin tanım ve kullanımına yöneliktir.
Test takımları bir önceki bölümde verilen kapsama kriterlerini sağlayacak şekilde bağlam tablosundan elde edilir. Şekil 3.(a)’da verilen bağlam tablosu test takımı üretimi için kullanılacaktır. Örnek olarak sol bağlam ve ileri bağlam kapsama kriterleri seçilecek olursa, test takımları t1 ve t2 Şekil 3.(a)’nın sol tarafında bulunan ileri bağlam ve sürekli sola doğru (x’R) semboller seçilerek elde edilebilir.
(
t1 ve t2’nin alt endeksleri uygunluk tablosu aracılığı ile bulunur. Bu durumda (
t1 = [1 2 4 ]3 t2 = [1 2 4 5 6 ]3
t1 = [15 62 24 ]13
t2 = [15 62 24 35 46 ]13
(
Test takımı üretimini durdurmak (Test Termination Criteria) için sağ bağlam kriterini kapsayacak şekilde üretim yapılıyorsa ve tabloya uygunsa “]” sembolü seçildiğinde, bu üretimin durduğunu ifade etmektedir. Aksine sol bağlam kriterini kapsayacak şekilde üretim yapılıyorsa ve eğer tabloya uygunsa “[” seçildiğinde, bu üretimin durduğunu ifade etmektedir. Sol ve sağ bağlam kriterlerinin başlangıç sembolleri sırasıyla “[” ve “]”dır. Dolayısıyla test takımları bu sembollerle başlayıp yine bu sembollerle bitmektedir.
Test masrafları ise üretilen test takımlarının uzunluğu (Test Length) ve sayısı ile orantılıdır. Kapsama kriterleri ile maksimum uzunlukta üretilebilecek test takım uzunlukları arasındaki ilişki aşağıda Tablo 2’de verilmektedir. Kapsama Kriterleri Sol, İleri
ℎ | | max{ , ℎ , ⏟ , ⏟
} ℎ
Tablo 2. Kapsama Kriterleri ve Test Takımları Uzunluğu Üretilebilecek test takımları sayısı ise yine Tablo 2’te verilen kardinalitelere bağlıdır. Kardinalite hesabı yaparken Dİ’yi oluşturan semboller ve daha da belirleyici olarak bu semboller arasındaki operatörler gözönünde bulundurulur. Bu operatörler Bölüm 3’de verildiği üzere birleşim “+”, bitiştirme “” ve yineleme “*”’dir. Bağlam tablosu girdisi olarak operatörler ile sembol sayısı ilişkisi aşağıdaki gibi özetlenir; • [(a1a2a3 ... an)] → max • [(a1a2a3 ... an)*] → max • [(a1 + a2 + a3 + ... + an)] → max • [(a1 + a2 + a3 + ... + an)*] → max kapama “*” operatörlerinin birlikte verildiği son durumda n sembolden oluşan bir Dİ Böylece üretilebilecek maksimum test takımı uzunluğu da 2 − + 1’dir. için 2 − + 1 yani karesel bir artış göstermektedir. Diğer durumlarda ise artış doğrusaldır. Yani en kötü durumda tablo sembol sayısı 2 − + 1 olmaktadır.
Unutulmaması gerekir ki mevcut test kapsama kriterleri, çoğunlukla yalnızca olay bazlı ya da yalnızca durum bazlıdır. Buna rağmen test kapsama kriterleri kübiksel bir artış gösteren sayıda eleman üretmektedir [2].
Bu çalışmada GKA’lar için bir model olarak Dİ’ler verilmiştir ve bu model ile mevcut modeller arasında dönüşümler açıklanmıştır. Ayrıca bu model aracılığı ile test takımları üretimine olanak sağlayan ve literatürde mevcut olmayan kapsama kriterleri tanımlanmıştır. Açıklanan kavramlar ve yöntemler bir örnek üzerinde gerçekleştirilmiş ve elde edilen sonuçlar irdelenmiştir.
Önerilen yaklaşımın özelliği, test kapsama kriterleri üretirken, mevcut kuramsal test yöntemlerinin ötesinde, incelenen sistemin yalnızca olaysal değil, aynı zamanda durumsal özelliklerini de göz önünde tutmasıdır. Test süreci masrafında önemli rol oynayan test uzunluğu ise doğrusal, en olumsuz durumda karesel artmaktadır ki bu da mevcut yöntemlere göre büyük bir avantajdır.
Bundan sonra yapılacak çalışmalar, ileri sürülen kapsama kriterlerinin GKA’ların testi için öne sürülen diğer çalışmalardaki kapsama kriterleri ile ilişkisinin yanı sıra diğer avantajları ve dezavantajlarını ortaya koymak olarak planlanmaktadır.Örneğin hata bulma kabiliyeti (bulunan hataların sayısı, bulunan hataların arasındaki zaman mesafeleri v.b.) ve masrafları (hata bulma zamanı, tüm test sayısı ve uzunlugu v.b.) gelmektedir.
Ayrıca modelleme ve test işleminin bütünsel (holistic) olarak yapılması, yani pozitif (hatalı olmayan modeller ile) ve negatif test (hatalı olan modeller ile) uygulanması diğer bir ileriki çalışmadır.
Test üretim sürecinin otomatik hale getirilmesini mümkün kılacak bir aracın geliştirilmesine başlanmıştır.
Teşekkür Yazarlar çok değerli tavsiyelerinden ve yardımlarından dolayı Yard.Doç.Dr.Mutlu Beyazıt’a , Yard.Doç.Dr.Nida Gökçe’ye ve sempozyumun anonim hakemlerine teşekkür ederler.