Tüketici elektroniği alanında müşterilerin temel beklentisi, aldıkları ürünlerin son teknolojileri içermesi ve aynı zamanda ürünün işlevlerinin hatasız bir şekilde çalışması yönündedir. TV, uydu alıcı, beyaz eşya ve cep telefonları gibi sayılabilecek bu ürünler artık eski elektro-mekanik yapılarından uzaklaşıp karmaşık yazılım sistemleri haline dönüşmektedirler. Ürünlere son teknoloji özellikler eklendikçe test edilmesi gereken işlevlerin sayısı artmaktadır ve test süresinin kabul edilemez değerlere yükselmesine sebep olmaktadır. İşgücünün ve zamanın verimli kullanılması için test otomasyonu sağlanması yönünde çalışmalar yapılmıştır. Ancak test otomasyonu, test verimliliği için tek başına çözüm olmamaktadır. Ancak doğru tasarlanmış, hata tespit oranı yüksek test senaryolarının otomatik olarak sistem üzerinde uygulanması, maliyetlerin azaltılmasını, ürün kalitesinin yükseltilmesini, kaynak ve zamanın daha etkin kullanılmasını sağlayabilmektedir.
Model Bazlı Test (MBT) [1], test senaryolarının otomatik olarak oluşturulmasını sağlayarak verimliliği arttıran test tekniklerinden biridir. Bu teknikte öncelikle sistem gereksinimleri analiz edilerek, test edilecek sistemin beklenen davranışları, kullanıcı aksiyonları ve girdileri modellenir. Bir MBT aracı ile tasarlanan model üzerinden otomatik olarak test senaryoları oluşturulur.
MBT ile prensip olarak sonsuz sayıda test senaryosu üretmek mümkündür, ancak bu senaryoları sınamak için kaynaklar kısıtlıdır. Verimin yüksek olması için otomatik oluşturulan test senaryolarının hata tespit etkinliklerinin artırılması gerekmektedir. Dolayısıyla, test senaryosu oluşturmak için kullanılan modelin içeriği ve kullanılan model parametreleri kritik öneme sahiptir.
Bu çalışmada, hata tespit etkinliği yüksek test senaryolarının MBT ile oluşturulabilmesini sağlamak üzere, sistem modeli geliştirmek ve iyileştirmek için bir yöntem öneriyoruz. Yöntemimizde, sistem modelini Markov zincirleri [10][12] ile oluşturuyoruz. Bunun için öncelikle kullanım profili [6] ile statik kod analizlerinin sonuçlarını temel alarak, sık kullanılan ve hata oluşumuna yatkın olan işlevleri değerlendiriyoruz. Bu değerlendirmelere göre modelde temsil edilen durumlar ile bu durumlara geçiş olasılıklarını belirliyoruz. Geliştirilen model ile oluşturulan test senaryoları çalıştırılırken, sistem üzerinde dinamik analizler gerçekleştiriyoruz. Dinamik kod analizi sonuçlarına göre hata oluşumuna yatkın olan durumları tekrar belirliyoruz ve sistem modeli üzerinde durum geçiş olasılıklarını güncelliyoruz.
Önerdiğimiz yöntem ile gerçek bir Akıllı TV sistemi yazılımı için geliştirilen bir modele dayalı olarak test senaryoları oluşturduk. Bu test senaryolarını çalıştırırken gerçekleştirdiğimiz dinamik analizleri değerlendirerek modeli güncelledik. Güncellenen modele dayalı olarak tekrar test senaryoları oluşturduk ve bu süreci 3 kez tekrarladık. Her tekrarda, hataya daha yatkın olan yazılım işlevlerini kapsayan test senaryolarının sayısı artarken, toplam test senaryolarının sayısının azaldığını ve buna rağmen tespit edilen hata sayısının arttığını gözlemedik.
Bir sonraki bölümde yöntemimiz detayları ile açıklanmaktadır. 3. Bölümde ise yöntemimizi sınamak için gerçekleştirdiğimiz vaka analizi ve sonuçları sunulmuştur. Daha sonra literatürde yer alan ilgili çalışmalar 4. Bölümde açıklanmıştır ve son olarak 5. Bölümde bildirinin katkıları özetlenmiştir.
Yaklaşımımızda yer alan manuel ve otomatik işlemler ile bu işlemlerin girdileri ve çıktıları, Şekil 1'de bir akış şeması ile gösterilmektedir.
Şekilde gösterilen süreçte, ön çalışma ile elde edilen iki adet girdi bulunmaktadır: 1) Bir statik kod analiz aracı kullanılarak elde edilen, her bir yazılım modülü başına raporlanan uyarı/hata sayıları, 2) Her yazılım işlevinin ne sıklıkta kullanıldığı bilgisini içeren kullanım profilleri analizi [6] sonuçları. Bu girdiler sistem modelini Şekil 2'de örneklendiği gibi bir Markov zinciri [10][12] şeklinde oluşturmak için kullanılmaktadır. Markov zincirinde en sık kullanılan sistem işlevlerine ilişkin durumlara (örnek modeldeki A, B, C durumları gibi) yer verilmektedir. Bu durumlar arasındaki geçişler için kullanılan olasılık değerleri [11] ise (örnek modelde C durumundan D durumuna geçiş için belirlenmiş 0.5 olasılık değeri gibi), ilgili işlevlere tekabül eden modüller için statik kod analiz aracı tarafından raporlanan uyarı sayılarına göre belirlenmektedir. Fazla sayıda uyarı, yüksek risk taşıyan bir modüle işaret olarak görülmektedir. Eğer bir durumdan n farklı duruma (n > 1) geçiş söz konusu ise, her alternatif durum geçişi için, hedef durum i (1 ≤ i ≤ n) ile ilgili modüller için raporlanan uyarı sayısı, W i olsun. Bu halde, i durumuna geçiş olasılığı, P(i) = W i / ∑ k=1..n W k olarak hesaplanmaktadır. Alternatif durumlar için geçiş olasılıkları toplamı 1'e eşittir, yani ∑ k=1..n P(k) = 1.
Yöntemimizi değerlendirmek üzere, Vestel Elektronik firması tarafından geliştirilmekte olan Akıllı TV sistemlerinin test süreçleri kapsamında bir vaka analizi gerçekleştirdik. Gelişen yeni teknolojiler ve hızlı İnternet bağlantısı ile televizyon sistemleri akıllı televizyonlar haline dönüşmüştür. Bu sistemler, gelişmiş multimedya servisleri gibi geniş kapsamlı birçok interaktif servisler ve uygulamaları içermektedir (örnek olarak IPTV, interaktif TV, Hybrid Broadcast Broadband TV, Pay TV, Portal uygulamaları; Facebook, Twitter, Youtube ve daha birçok İnternet uygulamaları sayılabilir). Artık kullanıcılar TV sistemlerini bir kanal izlemek için kullanmanın yanı sıra, TV program takipleri, bir program izlerken diğer programları kaydedebilme, İnternet işlemleri, online video izleme, harici cihazlar bağlayarak TV'leri çok amaçlı kullanabilme gibi birçok ek işlem yapabilmekteler. Bu sebeple TV sistemlerinde kullanılan yazılım boyutu artmış ve karmaşık bir hal almıştır.
Vaka analizi çalışmamız kapsamında, önerdiğimiz yöntemi (Şekil 1) oluşturan işlemleri sırasıyla Akıllı TV sistemlerinin testlerini gerçekleştirmek üzere uyguladık ve bulgularımızı kaydettik. Öncelikle gerçek TV kullanıcıların hareketlerini kayıt altına alarak ve analiz ederek, kullanıcıların günlük kullanım hareketlerini yansıtan bir sistem modeli hazırladık. Tüm yazılım sistemini statik kod analizine tabi tuttuk ve hatalı olarak raporlanan modülleri, sistem modelinde yer alan durumlar ile eşleştirdik. Statik kod analizi sonucunda raporlanan hata sayılarına göre göre modeldeki durumlar arası geçiş olasılıklarını tayin ettik. Bir MBT aracı ile geliştirdiğimiz modeli kullanarak test senaryoları oluşturduk. Bu test senaryolarını otomatik olarak çalıştırırken dinamik kod analizleri gerçekleştirdik. Analiz sonuçlarına göre, modelde yer alan her durum için oluşan bellek açığı miktarlarını ölçtük ve modeldeki durumlar arası geçiş olasılıklarını ölçümlerimize göre güncelledik. MBT ile test senaryolarının oluşturulması, oluşturulan test senaryolarının sistem üzerinde çalıştırılması, dinamik analizlerin gerçekleştirilmesi ve modelin analiz sonuçlarına göre güncellenmesi işlemlerini 3 kez tekrar ettik. Sonuç olarak gerçekleştirdiğimiz testlerin hata tespit etkinliğini giderek geliştirdiğini gözlemledik. Aşağıda, vaka analizi sırasında gerçekleştirdiğimiz işlemleri ve elde ettiğimiz sonuçları detaylı bir şekilde açıklıyoruz.
Kullanım profili bilgilerini toplayabilmek için, 10 adet Akıllı TV sistemi, 10 farklı son kullanıcıya dağıtılmıştır. Kullanıcıların 10 gün boyunca bu sistemleri kullanmaları sağlanmıştır. Bu süre zarfında kullanıcıların sistem ile etkileşimi ve gerçekleştirdikleri işlemler kayıt altına alınmıştır. Kaydedilen bilgiler içinden "durum" ve "geçiş" bilgileri analiz edilmiştir. Bu durumlar kullanıcının girdiği herhangi bir menünün ya da kaynağın bilgisini içermektedir. Geçişler ise o menülere nasıl girildiğinin bilgisini vermektedir. 10 günün sonunda alınan veriler, durum-geçiş bilgileri izlenebilirlik matrisi oluşturularak analiz edilmiştir. Böylece kullanıcıların hangi işlevlerin kullanımına yoğunlaştıkları bilgisi ortaya çıkarılmıştır.
Kullanıcılardan alınan bilgilere göre sık gerçekleştirilen işlemler, "kanal geçişleri, rehbere girme, rehber üzerinden kayıt kurma, USB üzerinden video izleme ya da başka içerikler görüntüleme, Teletext uygulamasına girme, kanal listesi operasyonları, İnternet uygulamalarına girme, Youtube üzerinden video izleme, başka kaynakları görüntüleme, kanallar arası navigasyon, kanal izleme, ses açma/kapatma" olarak belirlenmiştir. Bu işlemleri kapsayacak şekilde bir sistem modeli Şekil 3'te görüldüğü şekilde hazırlanmıştır. Modelleme aracı olarak MaTeLo2 aracı [9] kullanılmıştır. Şekil 3'te gösterilen model en üst seviye modeldir. Bu modelde yer alan farklı her durum için ilgili durumda gerçekleştirilen işlemleri tanımlayan alt modeller bulunmaktadır. En üst seviye modelde, sık kullanılan temel işlevlere tekabül eden 11 adet duruma yer verilmiştir: HDMI (SSw), SCART (SSw), HBBTV, Portal (Pr), Youtube (Yt), Edit Channel List (ChO), Navigation Channels (ChL), EPG, Teletext (TXT), PVR, Media Browser (MB).
Modelde yer alacak durumları ve be durumlar arasındaki geçişleri belirledikten sonra, durum geçiş olasılıklarını belirlemek üzere statik kod analizleri gerçekleştirilmiştir. Klocwork3 aracı kullanılarak, modelde yer alan işlevleri gerçekleyen modüller için raporlanan uyarı sayıları belirlenmiştir. Tablo-1'de, modelde yer alan durumlara ilişkin modüller için raporlanan hata sayıları ve hesaplanan durum geçiş olasılık değerleri listelenmiştir. Bazı işlevlerin gerçeklemesinde ortak yazılım modülleri kullanılmaktadır. Bu modüller için raporlanan hata sayıları, ilgili durum geçiş olasılığı hesaplamaları için eşit paylaştırılmıştır.
Hata Oluşturulan testlerin çalıştırılması 3 saat sürmüştür ve testler sonucunda 1 adet hata bulunmuştur.
Şekil 3. Kullanım profili ve statik kod analizi sonuçları ile hazırlanan üst seviye model
İlk hazırlanan model ile oluşturulan test senaryoları, Akıllı TV sistemi üzerinde otomatik olarak çalıştırılmıştır. Testlerin çalıştırılması sırasında, Teraterm4 aracı ile sistemdeki yazılım modüllerinin bellek kullanımları kayıt altına alınmıştır. Kayıt altına alınan değerler ve bu değerlere göre hesaplanan yeni durum geçiş olasılıkları Tablo 2'de listelenmiştir. Statik kod analizi sonuçlarının değerlendirilmesinde de yapıldığı gibi, ortak kullanılan yazılım modüllerine ilişkin bellek kullanımı miktarlarının, bu modülleri kullanan işlevler tarafından eşit paylaşıldığı varsayılmıştır.
Bellek
Literatürde, MBT için birden fazla yaklaşım [1][5] ve modelleme teknikleri önerilmiştir. Sonlu durum makinaları [14] (Finite State Automata), Birleşik modelleme dili (UML), Markov zincirleri [8][12] bu yaklaşımlarda yaygın olarak model tipleridir. Raporlanan çalışmalarda daha çok modelleme yaklaşımları ve test senaryosu oluşturma metotlarına odaklanılmıştır. Modellerin geliştirilmesi ve iyileştirilmesi ise manuel olarak gerçekleştirilen ve ağırlıklı olarak alan bilgisi ile tecrübeye dayanan bir aktivitedir. Modellerin dinamik analizlere göre iteratif güncellenmesi konusu üzerine çok fazla çalışma yapılmamıştır.
Yakın zamanda modelleme ve capture-replay test tekniklerinin birlikte kullanılmasına yönelik bir yaklaşım önerilmiştir [15]. Bu yaklaşımdac capture-replay test araçları ile modelin güncellenmesine odaklanılmıştır. Biz çalışmamızda modeli ilgili modullerin bellek aciklarina göre güncellemekteyiz. Ayrıca biz metodumuzu, yaptığımız deneysel çalışma verileri ve sonuçları ile desteklemekteyiz.
Yakın zamanda, modeli tecrübeye göre güncellemek konusunda bir yaklaşım sunulmuştur [2]. Bu çalışmanın amacı MBT ile tecrübeye dayalı testleri birleştirerek modelleri iyileştirmeye dayalıdır. Tecrübeli test mühendislerinin testler sırasında gerçekleştirdikleri işlemler kayıt altına alınarak ve analiz edilerek MBT için kullanılan modellerdeki eksiklerin bulunulması sağlanmıştır. Fakat kullanım profili, statik ve dinamik analizlere dayalı bir iyileştirme yapılmamıştır.
Daha önce de MBT sürecinin endüstride kullanımına ilişkin tecrübelerimiz paylaşılmıştır [3]. Bu tecrübeler kapsamında kullanım profilleri model geliştirme sürecinde değerlendirilmiştir. Ancak mevcut yaklaşımımızda dahil ettiğimiz statik kod analizine dayanan hesaplamalar ve dinamik kod analizi ile modeli her defasında iyileştirme yöntemi kullanılmamıştır.
Bir önceki çalışmamızda [16] dinamik analizlere dayalı risk hesaplayarak model güncelleme yaklaşımını değerlendirmiştir. Fakat bu kapsamlı bir vaka analizi ile sınamamıştık. Ayrıca, bu çalışmada kullanım profili ve statik kod analizine dayalı geliştirilen ilk modelin hâlihazırda var olduğunu varsaymıştık.
Bu çalışmada, MBT için sistem modeli geliştirmek ve iyileştirmeye yönelik özgün bir yöntem önerdik. Yöntemimizde, kullanım profili ve statik kod analizlerinin sonuçlarını temel alarak, sık kullanılan ve hata oluşumuna yatkın olan işlevlere odaklanan bir model geliştirilmesini sağladık. Geliştirilen model ile oluşturulan test senaryoları çalıştırılırken, sistem üzerinde dinamik analizler gerçekleştirerek hata oluşumuna yatkın olan durumları tekrar tekrar gözden geçirerek sistem modelini iteratif olarak güncelledik.
Önerdiğimiz yöntemi sınamak adına, gerçek bir Akıllı TV sisteminin test süreçleri kapsamında bir vaka analizi gerçekleştirdik. İlk modelin geliştirilmesinin ardından model iyileştirme sürecini 3 kez tekrarladık. Her tekrarda, toplam test senaryolarının sayısının ve test süresinin azaldığını; fakat buna rağmen tespit edilen hata sayısının arttığını gözlemedik.
İleriki çalışmalarda, vaka analizi sayısını artırmayı ve bellek kullanımı dışındaki hata tiplerini de çalışma kapsamına almayı hedefliyoruz. Ayrıca, oluşturulan modelleri yazılım güvenilirliğine [7][13] ilişkin sayısal veriler elde etmek için de kullanmayı planlıyoruz.