Özet. Uygulamaların kullanıldığı iş alanı hakkındaki bilgi yazılım testlerinin gerçekleştirilebilmesi için önemli bir kaynaktır. Bu nedenle bir yazılımın iş alanının tanımlanabilmesi ve bu iş alanında yerine getirilen görevlerin bulunması, otomasyonun yapılabilmesinin temelindedir. Bu bilgiler ile testlerde kullanılacak veri seti de otomatik olarak oluşturulabilir ve tüm test sürecinin otomatize edilmesi mümkün olabilir. Bu çalışmada uygulamaların benzerlik derecelerinin bulunması için makine öğrenmesi tekniklerini kullanıyoruz. Aynı iş alanı için geliştirilen uygulamaların benzerlik oranının yüksek olması gerektiği varsayımından yola çıkarak, aynı iş alanındaki uygulamaların, o alanın içindeki benzer görevleri yerine getirmekle yükümlü olacağı öngörülebilir. Bu hipotez doğrultusunda, belli bir iş alanı için genelleştirilmiş bir sonlu durum makinesi modeli oluşturulabilmesi durumunda; aynı iş alanındaki uygulamaların yerine getirdiği görevlerin bu modeldeki belirli durum ve geçiş kümeleri ile eşleştirilmesi mümkün olabilir. Bir iş alanı ile ilgili uygulamaların genel modelindeki durum ve geçiş kümeleri eşleşen uygulamaların test edilmesi için, daha önceden bu kümeye eşleştirilmiş uygulamalar için hazırlanmış olan test betiklerinin ve veri setinin yeniden kullanılması mümkün olabilecektir. Bu çalışmada iki yeni kavramı öne sürüyoruz. Model Giydirme ve Otomatik Keşif Testi. Model giydirme kavramı bir uygulamayı, o uygulamanın iş alanı için üretilmiş bir modele eşleştirme işlemini tanımlamaktadır. Otomatik Keşif Testi ise bir iş alanının bilgisi ve bu alandaki uygulamarın test edilmesi ile elde edilen tecrübenin uygulama testinde yeniden kullanılmasıdır.
Mobile Application Classification using Machine Learning and Automated Exploratory Testing Mehmet Cagri Calpur, Sevgi Arca, Tansu Cagla Calpur and Cemal Yilmaz Faculty of Engineering and Natural Sciences
Sabanci University, İstanbul, Turkey
{mehmetcagri,cyilmaz}@sabanciuniv.edu
Abstract. The knowledge of the business domain of a
Software-UnderTest (SUT) is crucial for testing. Therefore identification of business
domain and the underlying business processes is the basis for automated
testing. Test cases and test input set can be automatically generated
depending on the domain and process information. In this research, we
apply machine learning techniques to determine the similarity of
applications. Applications in the same domain should be highly similar and
we can say that, same business processes are implemented in the
applications of a business domain. Our hypothesis argues that assuming we
can create a generalized Finite State Machine (FSM) model of a business
domain, the states and transitions of the FSM could be matched to the
business processes of a business domain. Previously created test cases
and test input could be used for testing an application that is coherent
with the states and transitions of the formal model. In this research we
coin two novel terms,Model Dressing and Automated Exploratory
Testing. Model dressing is matching an application to the generalized model
of a business domain. Automated exploratory testing is using the
previously gathered business domain knowledge to test new applications and
gradually merging outcome to the previous know-how to improve testing
process.
Yazılım testlerinin otomasyonunun doğru yapılabilmesi ve girilen veri seti ile elde
edilen sonuçların değerlendirilebilmesi için test edilmekte olan yazılımın iş alanı
ile ilgili bilgiye sahip olunması gerekmektedir. Tamamen otomatikleştirilmiş bir
yazılım test platformu tasarlanabilmesi için yazılımların iş alanlarına göre
sınıflandırılması ilk adım olarak görülebilir. Benzer uygulamaların benzer görevleri
yerine getirdikleri varsayımından yola çıkılarak önceden iş alanı bilinen bir
yazılım için hazırlanmış veri seti ve test durumlarının aynı iş alanına sınıflandırılmış
bir uygulamanın test edilmesinde kullanılabilir [
Grafik arayüzü temelli olmaları ve hızlı gelişen bir ekosisteme sahip olması nedeniyle araştırmamızı mobil uygulamalar üzerinde gerçekleştirdik. Mobil uygulamalar genel olarak ince istemci mimarisine sahip uygulamalar olmaktadır. Mobil uygulamalar aktivite adı verilen ve birbirinden bağımsız olan program bileşenlerinden oluşmaktadır. Her bir aktivite veya ardışık aktiviteler grubu bir uygulama iş alanındaki iş görevlerinin hayata geçirilmesinden sorumlu olmaktadır. Aktiviteler arası geçişler veri girişi, grafik arayüz elemanlarının tıklanması veya jestlerle yapılabilmektedir. Kullanıcı etkileşimi mobil telefon ekranı ve düğmeler aracılığıyla fiziksel olarak gerçekleşmektedir. Bu nedenle de mobil uygulamaların sistematik test edilmesi için normal bir kullanıcının etkileşimin simule edilmesi gerekmektedir. Standart bir kullanıcı bilinci yardımıyla bir uygulama ile olan etkileşimini ve girmesi gereken verinin belirlenmesini sezgisel olarak yerine getirebilmektedir. Araştırmamızda böyle bir bilginin otomatik olarak keşfedilip edilmeyeceği sorusunu soruyoruz.
Mobil uygulama marketlerindeki kategorizasyon, araştırmamızdaki iş alanı sınıflandırması için gereken kategorilerin temelini oluşturdu. Mobil uygulamaların grafik arayüzleri, uygulama kaynak kodu ve konfigürasyon dosyaları zengin metin içeriğine sahiptir ve bu metinler sınıflandırma işleminin veri kaynağını oluşturmaktadır. Araştırmamızın ilk aşaması metin verileri üzerinde makine öğrenmesi teknikleri kullanılarak uygulama benzerliklerinin bulunması oldu. İkinci aşamada aynı iş alanında sınıflandırılmış olan uygulamaların gerçekleştirdiği görevlerin kendi içlerinde sınıflandırılması yapılmıştır. Bu sınıflandırma deneyi aynı iş alanındaki uygulamaların yerine getirdiği temel görevler için ortak çözümler kullanması ve bu ortak çözümlerin test edilmesinde daha önce benzer uygulamalarda kullanılan test durumlarının yeniden kullanılabileceği varsayımına dayanmaktadır. Üçüncü aşama mobil uygulamaların arayüzünde bulunan bir arayüz elemanının uygulamanın hangi görevi yerine getiren aktivitesinde olduğunun tahmin edilmesinden oluşmaktadır. Araştırmamız için çok çeşide sahip bir örnek mobil uygulama havuzu oluşturduk. Bu havuzda 10 farklı iş alanı ve her iş alanında da 10 mobil uygulama bulunmaktadır.
Tablo 1. İş Alanları ve Örnek Uygulamalar Otomatik keşif testi için ilk adım uygulamanın içinde bulunduğu veya benzediği iş alanına sınıflandırılması işlemidir. İş alanının belirlenmesi test otomatının uygulamanın bağlamından haberdar olması nedeniyle veri ve test uzayının daraltılmasını sağlayacaktır. İş alanı içindeki belirli iş görevleri mobil uygulamadaki aktivitelere veya aktivite gruplarına karşılık gelmektedir. Bu aktiviteler ile de uygulama sonlu durum modelindeki durumlar eşleştirilebildiğinde, aynı alandaki uygulamaların test edilmesinde kullanılacak temel bir test durumu deposu oluşturulabilir. Test otomatı uygulama içinde bir grafik arayüz elemanı ile karşılaştığında, bu elemandan elde edeceği metin bilgisi kullanılarak önceden öğrenilmiş uygulama modelinde bir aktiviteye eşleşmesi sağlanabilir. Bu sayede test otomatı hangi iş görevinin yerine getirildiği aktivitede bulunduğunu tanımlayabilir ve aktivite ile ilgili testleri başlatabilir. Sınıfandırma süreçleri görseli şekil 1’de incelenebilir.
Deney platformu olarak Android Platformunu kullanıyoruz ancak önerdiğimiz yöntem donanım ve yazılım platformlarından bağımsız prensiplere dayanmaktadır. Bir android uygulaması aktivite denilen programlardan oluşmaktadır. Aktiviteler başka aktivitelerden gelecek bilgi ile çalışması gerekse bile, yaşam süreçleri uygulamadaki diğer aktivitelerden bağımsızdır. Uygulama paketleri her aktivite için gerekli bilgi ve kaynak dosyalarını barındırmaktadır; aktiviteler ve aralarındaki ilişkiler de bu paketlerdeki veri ile oluşturulmaktadır. Aktivitelerin birbirinden bağımsız olmaları onları sonlu durum makinasının durumları olarak tanımlamak için uygun bir temel oluşturmaktadır. Aktivitenin konfigürasyonu değişse bile temel yerine getirdiği iş görevi aynı kalacaktır, bu nedenle aktiviteleri "Meta-Durum" olarak da tanımlayabiliriz ve konfigürasyonlarını da alt/iç-durum olarak adlandırabiliriz. Geçiş, veri girişi ve aksiyon kombinasyonları sonrası bir durumdan başka bir duruma ulaşmak olarak tanımlanabilir. Bir geçiş kendine döngüye neden olabilir, yani belirli bir geçiş aksiyonu sonrası aynı durumda kalma/ulaşma ile sonlanabilir. Mobil uygulamanın değerlendirmediği geçersiz işlemler yapılması nedeniyle uygulamanın geçerli işlemleri bekleyerek aynı durumda bulunması ile tanımlanan geçiş kendine döngü olur. İkinci kendine döngü ise alt-durumlar arası geçiş nedeniyle Meta-Durumda kendine döngü olan geçiş tanımlanmasıdır. Bu durumda Meta-Durum değişmez ancak aktivite konfigürasyonu değişmiştir, bu nedenle alt-durumlar arası geçiş olmuştur. Bu durumda etkileşim sağlanan parçalar değişmiş olabilir bu da geçiş tanım kümesi fonksiyonunu değiştirir. Kısaca özetlemek gerekirse, önerdiğimiz yöntem bir aktiviteyi model durumuna, bir veri giriş alanını durum parametresine ve kullanıcı aksiyonunu (kaydırma, tıklama, v.b.) da geçişe eşleştirmektedir. 2.1
Uygulama fonksiyonel gereksinimlerinin test edilmesi için uygulanacak kara kutu test yönteminin doğru yapılabilmesi için uygulamanın iş alanı bilgisi gerekmektedir. Yazılım testlerinin çok çeşitli iş alanlarına giren çok sayıda uygulamanın test edildiği geniş çaplı bir test servisi öngörüyoruz. Bu yoğunlukta bir servis devasa boyutlarda uygulama verisinin ve test yapıtının (test durumu, girdi, v.s.) sağlayabilir. Bu veri birikimi uygulamaların iş alanlarını sınıflandırma yöntemi ile otomatik belirlenmesinde kullanılabilir. Araştırmamızdaki öngörümüz, mobil uygulamaların kaynak dosyalarından metin madenciliği ile toplanan verilerin böyle bir sınıflandırma için gerekli ve yeterli olabileceğidir. Sınıflandırma için elde edilen metin verisinin toplu halde kullanılması mümkündür, ancak önceki bölümde bahsedilen iş görevi ve grafik arayüz elemanı sınıflandırma işlemleri için veri üzerinden ek işlemler gerekecektir. 2.2
Genelleştirilmiş Sonlu Durum Makinesi İş alanının otomatik olarak tanımlanmasından sonra, iş alanları için biriken bilgi ile bir iş alanı modeli oluşturulabilir. Bu model hem iş görevlerini hem de kullanıcıların uygulamayı kullanırken gerçekleştirebileceği aksiyonları tanımlar. Bu modelin oluşturulması için sonlu durum makinası konsepti kullanılabilir. Uygulamayı oluşturan alt üniteler(aktiviteler) de bu sonlu durum makinasında gösterilebilir. Şekil 2 havayolu rezervasyon sistemi iş alanı için oluşturulabilen genelleştirilmiş sonlu durum makinasına örnektir. Şekil 2. Havayolu rezervasyon iş alanının kısmi sonlu durum modeli ve durum parametreleri. Örnek uygulamalardaki metinler ingilizcedir, model içindeki durum isimleri ve parametreler de aslına uygun olarak ingilizce isimleri ile eklenmiştir.
Elimizde bir iş alanı modeli ve test edilecek bir uygulama olduğunda, hedefimiz bu uygulamayı model ile eşleştirebilmektir. Bu sayede test edilecek program için test durumları bu model üzerinden üretilebilir. Uygulama - model eşleştirmesi işlemini model giydirme, modelde birikmiş bilgiyi kullanarak testleri yürütmeyi ise otomatik keşif testi olarak adlandırıyoruz. Model giydirmenin amacı, bir test otomasyon ajanının önceden öğrenilmiş bir uygulamanın test durumlarını, yeni test edilecek uygulamaya uyarlamasını sağlamaktır. Önerilen yöntemin pratik faydası olduğuna inanıyoruz, çünkü bulut tabanlı test servisleri sayıca artmakta ve bu servislerin test ettikleri her uygulamadan test ile ilgili yeni bir şey öğrenmesi ve öğrendiği bu test bilgisi yığınını gelecek test işlerini geliştirmek için kullanması mümkündür. 2.3
Aynı iş alanı içinde sınıflandırılan uygulamaların bilgilerinin kendi içinde sınıflandırılması ile uygulama iş görevlerini ayrıştırmak mümkün olabilecektir. Aktivitelerden elde edilen metin yığınlarını aktivite adları ile etiketleyerek benzerlik sınıflandırması yaptığımızda aynı iş görevi ile ilgili görevi yerine getiren aktivitelerin aynı sınıfa düşmesi ile görevleri sınıflandırmamız mümkün olacaktır. Bu sınıflandırma sonrasında da uygulamaların sahip olduğu aktiviteler genelleştirilmiş sonlu durum makinesindeki durumlara eşleştirerek model giydirme işlemi yerine getirilir. 2.4
Grafik Arayüz Bilgilerinden İş Görevi Belirlenmesi İş görevi sınıflandırması için kullanılan makine öğrenmesi modelleri, test otomasyon ajanlarının test edilen uygulamada bulundukları yeri otomatik tespit etmeleri için kullanılabilir. Test edilmeye başlanan bir uygulamanın kullanıcı arayüzündeki elemanların bilgisi kullanılarak hangi iş görevi ile ilgili aktivitede bulunduğunun tespit edilmesi ile testler aktivite bilgisi doğrultusunda devam ettirilik. Bu yer belirleme gereksinimi uygulama modelinin tüm uygulamalar için genelleştirilmesi nedeniyle ortaya çıkmaktadır. Hakkında iş alanı dışında bilgi sahibi olunmayan bir uygulamanın aktif halde bulunan aktivitesinin hangi iş görevi ile ilgili olduğu bu sayede belirlenir ve otomatik keşif testine devam edilir. 3
Araştırmamızın ilk aşaması olan iş alanı sınıflandırması ile aynı iş alanının bulunması için yaptığımız araştırmada, mobil uygulama paketlerinin içinden metin madenciliği ile çıkardığımız metin yığınlarını uygulama marketlerinden aldığımız iş alanı bilgisi ile etiketledik. 4 katlı çapraz doğrulama destek vektör makinesi kullanarak yaptığımız deneylerde yüksek kesinlik ve duyarlık değerlerinde sınıflandırma sonuçları elde ettik (Tablo 2 ve 3). F1-ölçütünü baz aldığımızda ortalama %92’lik başarım ortaya çıkmaktadır.
Deney setimizdeki iş alanlarından havayolu rezervasyon ve hava durumu kategorilerini seçerek iş görevi sınıflandırma deneylerimizi gerçekleştirdik. Manuel olarak gerçekleştirdiğimiz iş görevi tanımlama işlemi sonucunda bu kategoriler için bulduğumuz iş görevleri ve kaç tane uygulamanın bu görevleri içerdiği ile ilgili bilgi aşağıdaki tablolarda (4 ve 5) incelenebilir.
Tablo 4 ve 5’de verilen iş görevleri ile etiketlenmiş aktivite bilgileri üzerinde
gerçekleştirdiğimiz 4 katlı çapraz doğrulama destek vektör makinesi
sınıflandırması sonuçları aşağıda görülebilir (Tablo [
Tablo 6. Havayolu iş alanındaki uygulamaların iş görevlerinin sınıflandırılması
İş alanları arasında benzerlik madenciliği Dong [
Zhu vd. [
He vd. [
Hallenberg ve çalışma arkadaşları çalışmalarında [
Makine öğrenmesi teknikleri aynı zamanda static kaynak kod analizinde de
kullanılmaktadır. Shabtai vd. [
Kowalczyk ve çalışma arkadaşları [