Aktör Tabanlı Sistemler için Test Kapsama Kriterleri

Abstract

Özet. Aktör tabanlı sistemler, eşzamanlı çalışan ve birbirleri ile asenkron bir şekilde haberleşen aktör isimli otonom elemanlardan oluşmaktadırlar. Asenkron haberleşme sebebiyle aktörler arasında paylaşılan mesajların sıralaması farklılık gösterebilmektedir. Diğer eşzamanlı çalışan sistemlerde olduğu gibi, determinizm yokluğu, aktör tabanlı sistemlerde test ve hata ayıklama süreçlerini zorlaştırmaktadır. Geleneksel test kapsama kriterleri de bu sistemler için etkin olmamaktadır. Bu bildiride, aktör tabanlı sistemler için kullanılabilecek test kapsama kriterleri irdelenmektedir. Literatürde önerilmiş mevcut kriterlere ek olarak yeni kriterler ile, ayrık matematik alanında son zamanlarda yayınlanmış olan çalışmaların aktör tabanlı sistemler için test kapsama kriterleri belirlemek ve değerlendirmek üzere uygulamaları ilk defa bu bildiride ele alınmaktadır. Önerilen kapsama kriterlerine göre değerlendirme yapabilen ve bu kriterleri sağlayacak şekilde test durumlarını otomatik olarak oluşturan bir test altyapısı şu an geliştirme aşamasındadır.

-

Test Coverage Criteria for Actor-Based Systems 1

Giriş

Aktör modeli, dağıtık ve eş zamanlı çalışan büyük ölçekli sistemlerin geliştirilebilmesi için önerilmiş bir programlama modelidir [ 1,6 ]. Aktör bazlı sistemler, birbirleri arasında durum bilgisi paylaşmayan, otonom ve eşzamanlı çalışan aktör isimli elemanların bileşiminden oluşmaktadırlar. Bu aktörler birbirleri ile asenkron bir şekilde mesajlar takas ederek haberleşmektedirler. Aktörler konum bilgilerinden habersiz, birbirlerinden bağımsız bir şekilde çalışmaktadırlar. Bu özellikleri, yük dengeleme ve hatalara karşı dayanıklılık için avantaj sağlamaktadır. Her aktör diğer aktörlerden bağımsız ve habersiz olarak başka bir platformda çalıştırılmak üzere taşınabilmekte, yeniden başlatılabilmekte veya çoğaltılabilmektedir.

Aktör modelini destekleyen Erlang [ 7 ], Rebeca [ 11 ], Scala Aktörleri [ 8 ] ve Akka [ 9 ] gibi birçok farklı programlama/modelleme dili ve çerçevesi bulunmaktadır. Ayrıca, bu modelin Twitter mesajlaşma kuyruğu sistemi, Facebook sohbet sistemi ve Vendetta oyun motoru [ 10 ] gibi endüstriyel uygulamaları da bulunmaktadır.

Determinizm yokluğu sebebi ile, aktör bazlı sistemler gibi eşzamanlı çalışan sistemlerde test ve hata ayıklama süreçleri zorluklara tâbidir. Genel olarak aktör modeli, aktörler arasında takas edilen mesajların başarılı bir şekilde hedeflerine ulaşmalarını garanti altına almaktadır fakat bu mesajların aktörlere ulaşma sıraları, sistemin her çalışması esnasına değişebilecek olan zamanlamaya bağlıdır.

Aktör tabanlı sistemlerin test ve hata ayıklama süreçlerinde destek olmaya odaklanmış metot, teknik ve araçlar üzerine az sayıda çalışma olduğu gözlemlenmiştir [ 13 ]. Geleneksel metot, teknik ve araçlar ise bu sistemler için her zaman etkin olmamaktadır. Örneğin, bir test kapsama kriteri olarak tüm kod satırlarının veya kodun akışı içerisindeki tüm dallanmaların kapsanmasının hedeflenmesi, aktör tabanlı sistemlerde hata tespiti için etkin bir kriter değildir. Aktörler genel olarak mesajları işleyen kısa kod bloklarından oluşurlar. Hatalar bu kod bloklarının içeriğinden ziyade, aktörler arasında paylaşılan mesajların öngörülemeyen bir sırada işlenmesinden kaynaklanmaktadırlar [ 19 ].

Bu bildiride, aktör tabanlı sistemler için kullanılabilecek test kapsama kriterleri irdelenmektedir. Sıralamaları kapsayan diziler (sequence covering arrays) [ 11 ] ve mesaj çifti sıralamaları (pair of message receives) [ 17 ] gibi literatürde önerilmiş mevcut kriterler tartışılarak yeni kriterler önerilmektedir. Ayrıca, ayrık matematik alanında son zamanlarda yayınlanmış olan çalışmaların [ 3 ] aktör tabanlı sistemler için test kapsama kriterlerini değerlendirmek üzere uygulamaları ilk defa bu bildiride ele alınmaktadır. Önerilen kapsama kriterlerine göre nicel değerlendirme yapabilen ve bu kriterleri sağlayacak şekilde test durumlarını otomatik olarak oluşturan bir test altyapısı1 şu an geliştirme aşamasındadır [ 16 ].

Bildirinin organizasyonu: Bir sonraki bölümde, aktör modeli ve aktör tabanlı sistemlere ilişkin temel bilgiler aktarılmakta ve Java dili ile geliştirilmiş örnek bir sistem tanıtılmaktadır. 3. Bölümde aktör tabanlı sistemler için farklı test kapsama kriterleri irdelenmektedir. 4. Bölümde literatürdeki ilgili çalışmalar özetlenmektedir. Son olarak, 5. Bölümde temel çıkarımlar özetlenerek ileriye dönük çalışmalar listelenmektedir. 2

Aktör Tabanlı Sistemler

Aktör modeli dağıtık ve asenkron sistemlerin geliştirilmesi için kullanılmaktadır. Bu sistemler, eş zamanlı çalışan, aktör olarak adlandırılan birimlerden oluşmaktadırlar. Aktörler durum bilgilerini dışarıdan saklamakta ve birbirleri ile sadece mesajlaşma vasıtasıyla iletişim kurmaktadırlar. Bu bakış açısından, aktörlerin çalışma prensibi nesneye yönelik programlama prensipleri ile örtüşmektedir. Ancak, nesnelerden farklı olarak, her aktörün kendine ait bir iş birimi (thread) bulunmaktadır. Çoklu kullanım (multithreading), nesnelerin oluşturulması ve kullanılması sırasında faydalanılabilecek ek bir özellik olarak görülebilir; ancak, bu özellik aktörlerin ayrılmaz bir parçasıdır.

Mesajlar aktörler arasında asenkron bir şekilde paylaşılmaktadır. Her aktörün kendisine ulaşan ve işlenmeyi bekleyen mesajların listesini tutan bir posta kutusu bulunmaktadır. Her aktör sırası ile bu mesajları posta kutusundan çıkarmakta ve mesajın içeriğine göre bir takım eylemler gerçekleştirmektedir. Bu eylemler, örneğin, diğer 1 https://github.com/hasansozer/JBita aktörlere mesajlar göndermek veya yeni bir aktör oluşturmak şeklinde gerçekleşebilmektedir. Bir mesaja ilişkin gerçekleştirilen eylemlerin tümü bir bütün olarak kesintiye uğramayan bir işlem birimi (atomic) olarak gerçekleştirilmektedir. Dolayısıyla, programlama modeli gereği olarak, mesajların işlenmesi sırasında, eş zamanlı programlamaya özgü hataların (concurrency bugs) ortaya çıkması beklenmemektedir. Her gönderilen mesajın hedef aktöre iletimi de garanti altına alınmaktadır. Fakat bu mesajların hangi sıra ile aktörlere ulaşacağı konusunda herhangi bir garanti bulunmamaktadır. Bu açıdan bir determinizm yokluğu söz konusudur.

Şekil 1’de BoundedBuffer uygulamasının [ 19 ] Akka kütüphanesi2 kullanılarak, Java dili ile gerçeklemesi gösterilmektedir. Bu uygulamada Akka tarafından sunulan UntypedActor sınıfının çocukları olarak 3 çeşit aktör tanımlanmıştır. Bu aktörler sırası ile Buffer (Satır 1-28), Producer (Satır 29-43) ve Consumer (Satır 44-54) olarak isimlendirilmiştir.

Her aktörün onReceive metodunu tanımlayarak aktör tarafından işlenen her mesaj tipi için gerçekleştirilmesi gereken eylemleri belirtmesi gerekmektedir. Örneğin, Buffer aktörü için tanımlanan onReceive metodunda (Satır 9-27) iki tip mesaj işlenmektedir. Bu mesajlar Put (Satır 10-15) ve Get (Satır 16-24) mesajlarıdır. Her mesaj tipi birer Java sınıfı olarak tanımlanmaktadır ve dolayısıyla mesaj objelerinin kendilerine ait değişkenleri (attributes) ve metodları bulunmaktadır.

Her aktör, bu aktörün bir referansını ve posta kutusunu saklayan bir AktorRef objesi tarafından kapsanmaktadır. Diğer aktörler mesajlarını ancak bu arayüz üzerinden gönderebilmektedir. Bir aktör, diğer bir aktöre, ilgili aktörün referansı üzerinde tell metodunu çağırarak (Örneğin, Şekil 1’deki 38 nolu satır) asenkron bir şekilde mesaj gönderebilmektedir. Aktörün kendisi, diğer aktörlerin haberi olmaksızın başka bir aktör ile yer değiştirebilmekte, başka bir fiziksel sisteme geçirilebilmekte veya yeniden başlatılabilmektedir.

BoundedBuffer uygulaması [ 19 ] için beklenen bir çalışma senaryosu Şekil 2’de gösterilmektedir. Burada bir Test Sürücüsü, Producer aktörüne bir Produce mesajı göndermekte ve ardından, Consumer aktörüne bir Consume mesajı göndermektedir. Sonuç olarak, Buffer aktöründe Producer tarafından Put mesajı ile eklenmiş ve daha sonradan Consumer tarafından Get mesajı ile elde edilmiş olan verinin bir Element mesajı ile Test Sürücüsü’ne iletilmesi beklenmektedir. 2 http://akka.io } public void onReceive(Object message) { if(message instanceof Put) { if(size < capacity) { content[tail] = ((Put)message).getElement(); tail = (tail + 1) % capacity; size++; } getSender().tell(new Element(value), getSelf()); } else {

unhandled(message); Şekil 1. Bir BoundedBuffer uygulamasının [ 19 ] Java dili ile, Akka çerçevesi kullanılarak gerçeklemesi.

Şekil 2’de gösterilmekte olan tüm mesajlar asenkron bir şekilde iletilmektedirler. Dolayısıyla, bu şekilde gösterilen mesajlaşma sırası, tek olası sıralama değildir. Teorik olarak n farklı mesaj paylaşma olayının n! farklı sıralaması mevcuttur. Esasen, mesajlar arasındaki nedensel bağımlılıklar (causal dependencies) mümkün olabilecek sıralama sayısını azaltmaktadır. Örneğin, Put ve Get mesajları, sırasıyla, Produce ve Consume mesajlarına tepki olarak gönderilmektedirler. Dolayısıyla bu mesajların kendi aralarındaki sıralamaları değişememektedir. Diğer yandan, Consume mesajı, Produce mesajı hedefine ulaşıp işlenmeden önce işleme alınabilir. Bu durumda, henüz Buffer aktöründe saklanan veri bulunmadığından ötürü bir hata ortaya çıkacaktır.

Test Sürücüsü

Producer

Buffer

Consumer Produce

Put Consume Element

Get Element Şekil 2. BoundedBuffer uygulamasının [ 19 ] test edilmesi sırasında beklenen çalışma senaryosu. 3

Aktör Tabanlı Sistemler için Test Kapsama Kriterleri

Bu bölümde, aktör tabanlı sistemler için farklı test kapsama ölçüleri ve bu ölçülerin hesaplama yöntemleri irdelenmektedir. Temel test kapsama kriteri olarak aktörler arasında paylaşılan mesajların farklı sıralamaları göz önünde bulundurulmaktadır. Tespit edilmesi beklenen hataların, bu mesajların belirli bir sıralamasından kaynaklandığı varsayılmaktadır.

Bir aktör tabanlı sistemde, aktörlerin oluşturulması, bu aktörlerin mesajlar göndermesi, bu mesajların bir diğer aktör tarafından işleme alınması gibi birçok farklı olay gerçekleşmektedir. Biz çalışmamızda sadece mesajların iletildikleri aktörler tarafından işleme alınma olaylarına (message receive events) odaklanarak, bu olayların farklı sıralamalarını bir test kapsama kriteri dâhilinde değerlendiriyoruz. Mesajların işleme alınma sıralamaları, dolaylı olarak aktör oluşturma ve mesaj gönderme sıralamalarına da etki etmektedir [ 17 ]. Bir aktör sisteminin çalışması esnasındaki tüm mesaj alınma olaylarını sonlu bir olay dizisi olarak kabul edebiliriz: s = ‹e1, e2, e3, … en›. Bu dizide her olay bir (gönderici, alıcı, mesaj) üçlüsü ile ifade edilebilir. Dizi içinde yer alan olaylar arasındaki her bir farklı sıralama, testler sırasında gözlemlenebilir veya kapsam dışında kalabilir.

Öncelikle, bir sonraki bölümde, aktörler arası mesajlaşma sıralamalarının sayısının üst limitini belirlemek üzere bir yöntem tanıtacağız. Ardından, literatürde önerilen ve aktör tabanlı sistemler için doğrudan kullanılabilecek veya bu amaç için uyarlanabilecek farklı test kapsama ölçülerini tartışacağız. 3.1

Test kapsama kriteri olarak bir üst limit

Aktörler tarafından paylaşılan mesajlar arasında hiçbir nedensel bağımlılık olmadığı durumda, n farklı mesaj için n! farklı sıralama mevcuttur. Ancak, bir önceki bölümde tartışıldığı gibi, gerçekte bazı mesajlar arasında bağımlılıklar bulunmakta ve dolayısıyla bu mesajlar arasındaki kısmi sıralama (partial ordering) hiçbir zaman değişmemektedir. Aşağıdaki koşullardan herhangi birisi sağlandığında, bir olay dizisi içerisindeki iki farklı ei ve ej olayları arasında bağımlılık var demektir [ 17 ]:      gönderici(ei) = gönderici(ej) mesaj(ej), mesaj(ei) işleme alınması neticesinde gönderilmiştir gönderici(ej), mesaj(ei) işleme alınması neticesinde oluşturulmuştur ∃ ek : (i < k < j) ˄ (alıcı(ei) = alıcı(ek)) ˄ mesaj(ej), mesaj(ek) işleme alınması neticesinde gönderilmiştir ∃ ek : (i < k < j) ˄ (alıcı(ei) = alıcı(ek)) ˄ gönderici(ej), mesaj(ek) işleme alınması neticesinde oluşturulmuştur

Bu listedeki ilk koşul her aktör tabanlı sistem için geçerli değildir; ancak, Akka [ 9 ] gibi bazı çerçevelerde, aynı gönderici tarafından iletilen mesajların aynı sıra ile ulaşmaları garanti edilmektedir. İkinci koşul bir mesajın diğer bir mesaja tepki olarak gönderilmesi durumunu ifade etmektedir. Üçüncü koşul, bir mesajı gönderen aktörün diğer bir mesaja tepki olarak oluşturulduğu durumu ifade etmektedir. Son iki koşul ise dolaylı bağımlılıkları ifade etmektedir. Eğer bir mesajın alındığı ei olayı ile aynı alıcıya daha sonra ulaşan başka bir mesajın alındığı ek olayı, ej olayı ile ikinci veya üçüncü koşulu sağlıyorsa ve aynı zamanda, ek olayı ej olayından önce gerçekleşiyorsa, ei ve ej olayları arasında bir bağımlılık olduğu kabul edilmektedir.

Sistem içinde aktörlere ulaşan mesajlar ve bu mesajlar arasındaki bağımlılıkları bir döngüsüz yönlü çizge (directed acyclic graph - DAG) ile ifade edebiliriz. Bu çizgede her mesaj alınma olayı bir düğüm (node), bu olaylar arasındaki nedensel bağımlılıklar ise birer yönlü uç (directed edge) ile ifade edilebilir. Bu şekilde ortaya çıkan bir çizge için elde edilebilecek tüm topolojik sıralamalar (topological orderings), sistemdeki tüm olası mesaj alınma sıralamalarını temsil edecektir. Ancak bu sıralamaların sayısı, çizgenin boyutuna oranla üssel (exponential) olarak artmaktadır. Tüm olası sıralamaları elde etmek bir yana, sadece bu sıralamaların sayısını hesaplamak bile, doğrusal uzantılar (linear extensions) bulma problemi olarak adlandırılmakta ve NP-zor bir problem olarak bilinmektedir [ 4 ]. Ancak henüz bu bildirinin yazımı sırasında basım aşamasında olan bir makalede [ 3 ], bu sayıyı yaklaşık olarak hesaplayan verimli bir algoritma ve bu algoritmanın R dili ile geliştirilmiş bir uygulaması önerilmiştir. Önerilen algoritma, n adet düğümü olan bir çizgede, topolojik sıralamaların sayısı olarak kabul edilen bir L değereini, 1 – δ kadar olasılıkla, 1+ ϵ kadar yakınsayarak bulmaktadır. Bu algoritma δ ve ϵ değerlerini birer parametre olarak kabul etmektedir ve karmaşıklığı O(n3(ln n)(ln L)2 ϵ −2 ln δ−1) olarak hesaplanmıştır [ 3 ]. Dolayısıyla, sistemin ölçeği, mesajların sayısı ve hesaplama için kullanılabilecek kaynakların miktarına bağlı olarak, bir test kapsama kriteri üst limiti olarak L değeri, farklı doğruluk seviyelerinde hesaplanabilmektedir.

Büyük ölçekli sistemlerin testleri sırasında tüm olası mesaj alınma sıralamalarını kapsamak tabi ki uygulanabilir ve gerçekçi bir hedef değildir. Ancak bu kapsama kriteri için bir üst limit belirleyebilmek, kapsama oranını ölçebilmek ve kıyaslama yapabilmek açısından önem teşkil etmektedir. 3.2

Mesaj Çifti Sıralamaları

Aktör tabanlı sistemler için pratik olarak uygulanabilir bir test kapsama kriteri oluşturmak adına, tüm mesaj alınma olayları yerine, her aktörü ayrı ayrı ele an ve bir aktör tarafından işlenen mesaj çiftlerinin farklı sırlamalarının sayısını ölçen mesaj çifti sıralamaları (pair of receives - PR) [ 17,19 ] bir ölçü olarak önerilmiştir. Bu ölçüye göre iki farklı asenkron ei ve ej olayı arasındaki bir sıralama hedefi, aşağıdaki koşulların tümü sağlandığında ulaşılmış sayılır:    alıcı(ei) = alıcı(ej) ej olayı, en az bir test sırasında ei olayından önce gelmektedir ej olayı, en az bir test sırasında ei olayından sonra gelmektedir

PR ölçüsü için bir üst limit belirlenmediğinden, bir kapsama oranı yerine, sadece sıralama hedefine ulaşılan farklı mesaj çiftlerinin sayısı cinsinden bir ölçüm sunulmuştur [ 17 ]. Daha sonradan PCR (pair of consecutive receives) ve PBR (pair of behavior change and receive) gibi PR ölçüsünün farklı varyantları de önerilmiş olmakla birlikte, deneysel çalışmalarda hata bulma etkinliği açısından PR ölçüsünün en etkin kriter olduğu gösterilmiştir [ 17 ]. 3.3

Sıralamayı Kapsayan Diziler

Aktör tabanlı sistemlere özel bir kriter olarak geliştirilmemiş olsa da, genel olarak eş zamanlı çalışan bir sistemde meydana gelen olayların farklı sıralarda çalışmasını göz önünde bulunduran genel bir yaklaşım olarak sıralamaları kapsayan diziler (sequence covering arrays) [ 9 ] önerilmiştir. Bu yaklaşımda, bir test kapsama kriteri olarak t-li test sıralaması (t-way test sequence), t farklı olayın her bir olası sıralamasının en az bir test tarafından kapsanmasını hedeflemektedir. Eğer bir sistemde n farklı olay var ise, bunların bir alt kümesi olan t adet (t <= n) veya daha az sayıdaki olayın tüm olası (t! adet) sıralamasının her birinin en az bir test sırasında gerçekleşmiş olması beklenmektedir. Her bir test sırasında, geriye kalan n – t adet olayın sırlaması herhangi bir şekilde olabilir.

İlk görüşte, bir test kapsama kriteri olarak t-li test sıralamasının, t değeri 2 iken, bir önceki bölümde tanıtılan PR kriteri ile aynı olduğu düşünülebilir. Ancak, aktör tabanlı sistemlere özel olarak önerilen PR kriteri, tüm olaylar arasında olay çiftlerinin farklı sıralamalarını değil, her bir aktör için ayrı ayrı, ilgili aktör tarafından alınan mesaj çiftlerinin sıralamalarını dikkate almaktadır.

Bir test kapsama kriteri olarak sıralamaları kapsayan diziler ilk defa Kuhn ve diğerleri [ 11 ] tarafından önerilmiş, kriteri sağlamak için gerekli test sayısı için bir alt limit hesaplanmış ve bu testleri otomatik bir şekilde oluşturabilmek için sezgisel bir algoritma sunulmuştur [ 11 ]. Yakın zamanlarda bu hesaplamalar ve algoritmalar üzerine yeni çalışmalar sunulmuştur [ 15,5 ]. Fakat şu ana kadar önerilen algoritmalar ve hesaplama yöntemleri, aktör tabanlı sistemler için uyarlanmamış/kullanılmamış ve büyük ölçekli sistemler üzerinde uygulanmamıştır. Literatürde sunulan vaka çalışmalarında kullanılan sistemlerde gerçekleşen toplam olay sayısı ancak 100 civarındadır. 3.4

Öncelikli/İlgili Mesajların Sıralamasını Kapsayan Diziler Olaylar arasındaki bağımlılıkların dikkate alınmasına rağmen, milyonlarca mesajın paylaşıldığı aktör tabanlı sistemlerde, bir önceki bölümde tanıtılan test kapsama kriterlerini sağlamak mümkün olmayabilir. Bu sebeple, sıralamaları kapsayan diziler yaklaşımı iki farklı gözleme dayalı olarak uyarlanabilir.

Birincisi, aktörler arasında paylaşılan tüm mesajlar, hataların ortaya çıkma olasılığı açısından aynı derecede önemli olmayabilir. Bu sebeple, tüm olaylar yerine, bu olayların alan uzmanları tarafından tanımlanan bir alt kümesine odaklanmak, söz konusu olabilir. Bu yaklaşım ile uyumlu bir kriter olarak temel seçim kapsamından (base choice coverage) [ 2 ] esinlenilebilinir. Genel bir kapsama kriteri olarak, k-seçimli, t-li test sırlaması, n farklı olay gerçekleşen bir sistemde, bu olayların bir alt kümesi olan seçilmiş k adet (k <= t <= n) temel olayı içeren t veya daha az sayıdaki olayın, tüm olası (t! adet) sıralamasının her birinin en az bir test sırasında gerçekleşmiş olmasını beklenmek şeklinde tanımlanabilir.

İkincisi, PR ölçüsünde olduğu gibi tüm mesajların bir arada değerlendirilmesi yerine her aktör tarafından işlenen mesajlar ayrı ayrı ele alınabilir. Bu durumda, her bir aktör için t-li test sıralaması, bu aktör tarafından işlenen t farklı mesajın her bir olası sıralamasının en az bir test tarafından kapsanmasını hedefler. Her aktör tarafından işlenen mesaj sayısı farklı olacağından, t değeri bir üst limit belirleyecek, aktör tarafından işlenen mesaj sayısını geçmeyecek şekilde farklı aktörler için farklı değerler söz konusu olacaktır. 4

İlgili Çalışmalar Actorverse [ 18 ] aktör tabanlı sistemler için geliştirilmiş bir hata ayıklama aracıdır. Bu araç ile aktörler arası mesajlaşmalar üzerinde kesme noktaları (breakpoints) tanımlanabilmektedir. Sistemin çalışması bu noktalarda durdurulabilmekte ve bu noktalardan geriye alınabilmektedir. Aynı zamanda bu araç, hataları tekrar oluşturabilmek için, aktörler arasında gerçekleşen mesajlaşma senaryolarının kayıt altına alınıp, daha sonradan aynı sıralama ile tekrar oynatılmalarını sağlamaktadır; ancak olası mesajlaşma sıralamalarının kapsama miktarının ölçümüne ilişkin bir destek sunmamaktadır.

Aktör sistemlerinde gerçekleşen mesajlaşmaların zamanlamaya bağlı olası sırlamalarını sistematik bir şekilde oluşturmak, bu sıralamalara uygun şekilde sistemin çalışmasını sağlamak ve test kapsamını bu bakış açısından ölçmek için Bita [ 17,19 ] aracı geliştirilmiştir. Bu bildiride, test kapsamının ölçümü problemine odaklanılmaktadır. Bita aracı tarafından değerlendirilen, her aktör için mesaj çifti sıralamalarını ayrı ayrı ele alan ölçüler (PR) ile birlikte, alternatif ölçü ve hesaplama yöntemleri irdelenmiştir.

Aktör bazlı sistemlerin tasarım aşamasında doğrulanabilmeleri için Rebeca [ 11 ] gibi modelleme dilleri ve model denetimi (model checking) araçları geliştirilmiştir. Bu araçlar, oluşturulan modele uygun olarak tüm olası senaryoları kontrol etmektedirler; ancak ölçeklenme konusundaki kısıtları sebebiyle sadece küçük ölçekli sistemler için uygulanabildikleri görülmüştür.

Eşzamanlı programlarda iş parçacıkları ve değişken erişimleri arasındaki sıralamalara ilişkin farklı seviyelerde 7 kapsama kriteri önerilmiştir [ 14 ]; ancak bu kriterler aktör tabanlı sistemlere odaklanmamaktadır. Genel olarak bir dizi olayın farklı sıralarda meydana gelmesinden ötürü ortaya çıkan hataların yakalanabilmesine yönelik gerçekleştirilen testlerin değerlendirilmesi için sıralamaları kapsayan diziler önerilmiştir [ 11 ]. Olaylar arası sırlamaları kapsamak için gereken test sayısını hesaplamak ve sezgisel bir algoritma ile bu testleri oluşturmak üzere çalışmalar yapılmıştır [ 15,5 ]. Ayrık matematik alanında da bu algoritmalar [ 3 ] üzerine çalışmalar olsa da, aktör tabanlı sistemlerde test kapsama ölçümü ile ilgili olarak ilk kez bu çalışmada ele alınmışlardır. 5

Sonuç

Bu bildiride, aktör tabanlı sistemler için kullanılabilecek test kapsama kriterleri irdelenmiştir. Literatürde önerilmiş mevcut kriterlere ek olarak yeni kriterler ile, ayrık matematik alanında son zamanlarda yayınlanmış olan çalışmaların aktör tabanlı sistemler için test kapsama kriterlerini değerlendirmek üzere uygulamaları ele alınmıştır.

Önerilen kapsama kriterlerine göre değerlendirme yapabilen ve bu kriterleri sağlayacak şekilde test durumlarını otomatik olarak oluşturan bir test altyapısı şu an geliştirme aşamasındadır. Bu test altyapısı ile farklı aktör tabanlı sistemler üzerinde deneyler gerçekleştirilerek, test kapsama kriterlerinin nicel olarak değerlendirilmesi hedeflenmektedir.

Teşekkür. Bu çalışma, Türkiye Bilimsel ve Teknolojik Araştırma Kurumu (TÜBİTAK) Teknoloji ve Yenilik Destek Programları Başkanlığı (TEYDEB) tarafından desteklenen 3170457 numaralı proje kapsamında yürütülmüştür. Yazarlar, başta yazılım geliştirme müdürü Birol Karatay ve genel müdür Mustafa Kayırıcı olmak üzere, EPİAŞ yönetici ve çalışanlarına desteklerinden ötürü teşekkür eder.

References

1. Agha G. : A Model of Concurrent Computation in Distributed Systems . Cambridge, MA, USA: MIT Press ( 1990 )

2. Amman P. , Offut J .: Introduction to Software Testing, Cambridge University Press, ( 2017 )

3. Banks J. , Garrabrant S.M. , Huber M.L. , Perizzolo A. : Using TPA to count linear extensions , Journal of Discrete Algorithms , in press (available online) 2018 .

4. Brightwell G. , Winkler P. : Counting linear extensions is #P-complete . In Proceedings of the 23rd Annual Symposium on Theory of Computing , 175 - 181 ( 1991 )

5. Chee Y.M. , Colbourn C.J. , Horsley D. , Zhou J .: Sequence Covering Arrays . SIAM Journal on Discrete Mathematics , Vol. 27 , No. 4 , 1844 - 1861 ( 2013 )

6. Hewitt C. : Actor model for discretionary, adaptive concurrency . CoRR , vol. abs/1008 .1459 ( 2010 )

7. Armstrong , J. , Virding , R. , Wikström C. , Williams M. : Concurrent Programming in ERLANG . 2nd ed. Hertfordshire, UK: Prentice Hall ( 1996 )

8. Haller P. , Odersky M.: Scala actors: Unifying thread-based and event-based programming . Theoretical Computer Science , Vol. 410 , No. 2 - 3 , 202 - 220 ( 2009 )

9. Gupta M. : Akka Essentials . Birmingham, UK: Packt Publishing ( 2012 )

10. Padua D. (Editor): Encyclopedia of Parallel Computing . New York, USA, Springer, ( 2011 )

11. Jafari A. , Kamespanah E. , Sirjani M. , Hermanns H. , Cimini M.: PTRebeca: Modeling and analysis of distributed and asynchronous systems . Science of Computer Programming , Vol. 128 , 22 - 50 ( 2016 )

12. Kuhn D.R. , Higdon J.M. , Lawrence J.F. , Kacker R.N. , Lei Y. : Combinatorial Methods for Event Sequence Testing . In Proceedings of the 5th International Conference on Software Testing, Verification and Validation , 601 - 609 ( 2012 )

13. Lopez C. , Marr S. , Boix E. , Towards advanced debugging support for actor languages studying concurrency bugs in actor-based programs . In Proceedings of the 6th ACM SIGPLAN International Workshop on Programming Based on Actors, Agents, and Decentralized Control , 1 - 5 ( 2016 )

14. Lu S. , Jiang W. , Zhou Y. : A Study of Interleaving Coverage Criteria . In Proceedings of the 6th ACM SIGSOFT Symposium on the Foundations of Software Engineering , 533 - 536 ( 2007 )

15. Murray P.C. , Colbourn C.J. : Sequence Covering Arrays and Linear Extensions . In Proceedings of the 26th International Workshop on Combinatorial Algorithms , 274 - 285 ( 2015 )

16. Sözer H. , Gürler O. , Yılmaz O. : Towards a Testing Framework with Visual Feedback for Actor-based Systems . In Proceedings of the 18th IEEE International Conference on Software Quality , Reliability, and Security ( 2018 )

17. Tasharofi S. , Pradel M. , Lin Y. , Johnson R .: Bita: Coverageguided, automatic testing of actor programs . In Proceedings of the 28th IEEE/ACM International Conference on Automated Software Engineering , 114 - 124 ( 2013 )

18. Shibanai K. , Watanabe T. : Actoverse: A reversible debugger for actors . In Proceedings of the 7th ACM SIGPLAN International Workshop on Programming Based on Actors, Agents, and Decentralized Control , 50 - 57 ( 2017 )

19. Tasharofi S. : Efficient testing of actor programs with non-deterministic behaviors . Ph.D. Thesis , University of Illinois at Urbana-Champaign ( 2013 )