Özet. TV ve STB‟lar (Uydu Alıcıları), kullanıcılara sundukları yeni teknolojiler ile tüketici elektroniği pazarında önemli bir yere sahiptir.
Bu pazarda müşterilerin temel beklentisi:
Aldıkları ürünlerin son teknolojileri içermesi, Üründeki özelliklerin sorunsuz çalışması ve Bu son teknoloji ürünler markete çıkar çıkmaz uygun fiyata o ürünlere sahip olabilmek yönündedir.
Bu bağlamda, üreticinin, son teknolojilerin bulunduğu ürününü, pazara aynı alandaki rakiplerine göre daha hızlı ve daha kaliteli şekilde çıkarabilmesi önemli bir kriterdir.
Son yıllarda televizyonlar eski elektro-mekanik yapılarından uzaklaşıp hızla karmaşık yazılım sistemleri haline dönüşmektedir. Bu nedenle ürünün kalitesi, sadece donanımsal güvenilirliğe değil, üründe kullanılan yazılımın güvenilirliğine de önemli derecede bağlıdır. Markete daha hızlı ve hatasız çıkabilmek adına Vestel Ar-Ge Tasarım Doğrulama ve Test Grubu olarak bu karmaşık sistemlerin testini hızlandırmak ve daha verimli hale getirmek için sürekli yeni yöntemler araştırmaktayız.
Bu süreçte testin tasarımı ve çalıştırılmasının birbiriyle doğrudan ilişkili ve önemli iki parça olduğunu gördük. Doğru tasarlanmış bir testin otomatik olarak çalıştırılması, maliyetlerin azaltılmasını, ürün kalitesinin yükseltilmesini, kaynak ve zamanın daha etkin kullanılmasını sağlar. Otomatik test sayesinde sınırlı bir süre içinde, önemli test senaryolarının kapsandığı testler yapılabilir.
Ancak verimli testin temelinde otomasyon değil önemli test senaryolarının kapsandığı testin tasarımı yatar. Hatayı bulan otomasyon sistemi değil tasarımı iyi yapılmış testtir.
Tasarımı iyi yapılmamış test senaryosu manual koşulduğunda hata bulunmuyorsa otomatik koşulduğunda da hata bulunmayacaktır. Otomasyonun hedefi manual testte bulunmayan hataları bulmak olmamalıdır.
Verimli test stratejileri de sadece hata bulmaya odaklanmaz. Kullanım sıklığı daha yüksek olan kısımlar test edilerek, testler daha verimli hale getirilebilir. Kullanım profilini baz alan test senaryolarını kullanmak, bu noktada daha anlamlı olacaktır.
Vestel Ar-Ge Tasarım Doğrulama ve Test Grubu tarafından yapılan bu çalışmada, TV‟ler son kullanıcıya ulaşmadan önce, AR-GE aşamasında iken yayınlanan tüm yazılımlar ile, kullanım profili baz alınarak, testler için kullanılacak test senaryoları ve test datasının otomatik hazırlanması, Vestel Test Yönetim ve Otomasyon Sistemi VesTA üzerinden bu test senaryolarının otomatik çalıştırılması ve sonuçlarının yine bu sistemde saklanıp zaman içinde gerekli olduğu durumlarda çeşitli raporlar oluşturulabilmesi için belirlenen yöntem anlatılmıştır.
Bu çalışma ile daha etkin, daha kapsamlı, daha spesifik test senaryoları oluşturmak ve testleri otomatik olarak çalıştırıp zamanı verimli kullanmak mümkün olmuştur.
İlerleyen bölümlerde Vestel Test Yönetimi ve Otomasyon sistemi VesTA‟dan, VesTA üzerinde koşturulmak üzere kullanım modeli baz alınarak hazırlanan test senaryolarından ve kullanılan bu sistemin getirilerinden bahsedilecektir.
Anahtar Kelimeler. Tasarım Doğrulama, Yazılım Sınama ve Doğrulama, Manual test, Otomatik test, Kullanım Modeli Bazlı Test, Test otomasyonu, Verimli test, kullanım profili, Kullanım olasılıkları, Test Senaryosu. 1
Tüketici elektroniği alanında düşük fiyatlı, yüksek kaliteli ürün beklentisi giderek artmaktadır. Müşterilerin temel beklentisi:
Aldıkları ürünlerin son teknolojileri içermesi Üründeki özelliklerin sorunsuz çalışması ve Bu son teknoloji ürünler markete çıkar çıkmaz uygun fiyata o ürünlere sahip olabilmek yönündedir.
Son teknolojilerin bulunduğu ürünün, pazara aynı alandaki rakiplerine göre daha
hızlı ve daha kaliteli şekilde çıkarılabilmesi için, ürün AR-GE aşamasında birçok
testten geçirilir. TV ve STB(Set Top Box) projelerinde ömür testleri, stres testleri,
elektriksel testler gibi donanımsal testlerin yanı sıra ağırlıklı olarak yazılım testleri
yapılır. Gelişen teknolojiler ile televizyonların akıllı televizyonlar haline getirilmesi
[
Bu uygulamaların her geçen gün artması yeni ürünlerin yazılım sürümlerinin de sürekli güncellenmesi anlamına gelmektedir.
Bu gibi karmaşık sistemlerin detaylı test edilmesi uzun süre gerektirir. Ürün geliştirme sürecinde test aktiviteleri toplam ürün geliştirme süresinin yaklaşık yüzde 30‟unu kapsamaktadır.
Ürün yaşam döngüsü boyunca testin büyük önemi vardır. Genel hatları ile ürün tasarım ve test yaşam döngüsü ürün yönetim ekibinin müşteri taleplerini içeren gereksinim dökümanı yayınlaması ile başlamış olur. AR-GE aşamasında TV ile yapılan ilk test, tasarım grupları tarafından yayınlanan ürün teknik detaylarının belirtildiği döküman üzerinden yapılır. AR-GE test aşamasında belirli sayıda ürün üzerinde detaylı fonksiyonel test yapılır. Artan ürün karmaşıklığı ve proje için öngörülen zaman kısıtı nedeni ile testlerin çalıştırılma tipini manual ya da otomatik olarak ayrımlaştırma ve testlerin bir kısmını otomatik koşma gerekliliği artmaktadır. Testleri otomatik çalıştırmak zaman ve kaynak kullanımında verimliliği sağladığı gibi, bazı testlerde de aynı sürede manual teste göre çok daha kapsamlı bir testi bitirebilmeyi sağlar. Manual test olarak uygulandığında uzun zaman alacak birçok test senaryosu kısaltılır ya da atlanır. Bu da birçok hatanın AR-GE aşamasında görülmeden TV‟nin üretime girmesine neden olabilir.
Otomatik test prosedürlerine geçiş sadece işgücünün etkin kullanılmasını
sağlamakla kalmaz, ürünün pazara giriş süresini kısaltır, maliyetini düşürür ve kaliteyi
yükseltir. Bu nedenle, test otomasyonu ve yönetimi giderek kritik ve stratejik bir
zorunluluk haline gelmiştir.[
Testlerin otomatize edilmesi hem zaman hem de kaynak kullanımında verim sağlar. Ancak esas önemli nokta testin nasıl tasarlandığıdır. Otomasyon araçları kendi başlarına hata bulamazlar. Otomayon araçları, o araca verdiğiniz test senaryolarını otomatik olarak çalıştırmanızı sağlar. Sistemdeki kritik hataların bulunması ancak iyi bir test tasarımı ile mümkündür. Kullanım profilini ve olasılıklarını çıkarmak da, bize TV‟de hangi bölümlerin daha fazla kontrol edilmesi gerektiği konusunda fikir vermektedir. Test tasarımını yaparken kullanım profilini ve olasılıklarını baz almak, bizi karmaşık bir sistemde daha spesifik test alanlarına götürür. Böylece müşterilerin kullanım alışkanlıklarına göre bir test tasarımı yapmış oluruz ve müşteriler tarafından görülmesi olası hataların önceden önüne geçerek, daha kaliteli ürünler üretebiliriz.
Test senaryolarının kullanım profiline göre çıkarılması, model bazlı test tekniği
kullanılarak sağlanmıştır [
Bu çalışmada, kullanım profili temel alınarak hazırlanan model ile otomatik test senaryolarının oluşturulması, yazılımın işlevselliğini doğrulamaya olanak sağlayan kara kutu test yöntemi kullanılarak test senaryolarının çalıştırılması ve tüm bu işlemlerin Vestelde tasarlanan test yönetim ve otomasyon sistemi üzerine nasıl gerçekleştiği incelenmiştir.
İlerleyen bölümlerde aşağıdaki konular açıklanacaktır;
Gerçek kullanıcılar kullanılarak kullanım olasılıklarının belirlenmesi
Kullanım profilinden olasılık ve olayların çıkartılarak kullanım modelinin
oluşturulması. Kullanım modelinin MaTeLo [
VesTA üzerinden test sonuçlarının değerlendirilmesi Kullanım profili temel alınarak tasarlanan test süreci aşağıdaki bölümlere ayrılır: Gereksinimlerin belirlenmesi.
Bu gereksinimleri test etmek üzere gerekli test başlıklarının belirlenmesi. Yazılım durum geçiş diyagramının çıkarılıp, olasılık bilgilerinden de faydalanılarak TV kullanım modelinin oluşturulması.
Test senaryoların oluşturulması: o Girişlerin belirlenmesi; o Olasılık dağılımına göre otomatik olarak test adımlarının belirlenmesi; o Beklenen sonuçların tanımlanması.
Test senaryolarının çalıştırılması.
Test çıktılarının beklenen sonuçlar ile karşılaştırılması .
TV test süreci, MaTeLo aracında modellenen bir testin, test sonuçları elde edilmesine kadar hangi süreçlerden geçtiğini gösteren genel bir diyagram, aşağıdaki şekil (Şekil 1) ile ifade edilebilir.
Şekil 1. TV Test süreci diyagramı 2
TV uygulaması ile kullanıcıların etkileşimi sistemsel olarak durum-geçiş diyagramı olarak modellenebilir. Bu diyagramda aktif kullanıcı ara yüzünü ya da o anki fonksiyonel durumu “durum” olarak tanımlanır. Kumanda ya da ön panel tuşları ile gönderilen komutlar ise “geçiş”leri ifade eder.
Özel yazılımlar aracılığı ile TV-kullanıcı etkileşimini otomatik olarak çıkarmak mümkündür. Gerçek kullanıcılardan alınan kullanım bilgileri bir takım olasılık bilgisini de barındırması açısından büyük önem taşır. Bu veriler ile gerçek hayata yönelik yüksek olasılıklı koşulların öncelikli olarak kontrol edilmesi ve ürünler seri üretim aşamasına gelmeden önce olası hataların bulunması müşteri memnuniyeti açısından büyük önem taşır.
Kullanım profili ve olasılıkların belirlenmesi 2 aşamadan oluşur [
İlk aşamada kullanıcıların televizyon ile etkileşimleri (Televizyona belli durumlarda kumanda ya da ön panel tuşları ile gönerdikleri komutlar) televizyonlarına takılan boş USB‟lere kaydedilir. Kaydedilen dosyalar içinde “durum” ve “geçiş”ler bulunmaktadır. Bu durumlar kullanıcının girdiği herhangi bir menünün ya da kaynağın bilgisini içerir. Geçişler ise o menülere nasıl girildiğinin bilgisini verir (hangi kumanda komutu ya ön panel tuşu ile girildiğinin bilgisi).
İkinci aşamada ise kullanıcılardan alınan dosyalar incelenerek ve ayrıştırılarak kullanım profili ve kullanım olasılıkları çıkartılmış olur.
Yapılan çalışmalarda kullanıcı profili parametresi bulunmamaktadır. İleride yapılacak çalışmalarda farklı kullanıcı kategorisi belirlenip(yaş aralığı, meslek grubu vs.) bu kategorilere göre kullanım profili oluşturulması ve modelin kullanıcı profiline göre nasıl farklılık gösterdiği belirlenebilir. 3
Kullanım modeli, kullanıcıların sistemi nasıl kullandığını gösterir [
Kullanım profili için basit bir örnek verme amacıyla hazırlanan model aşağıdaki gibidir.(Şekil 2) Verilen kullanım profili, 3 durum (Picture, Sound ve Settings) ve 6 geçiş (Picture_Sound, Sound_Picture, Sound_Settings, Settings_Sound, Picture_Settings, Settings_Picture) içermektedir.
Her bir durum aşağıdaki bilgileri içerir; Olası bir geçiş için bir giriş olayı.
Bir sonraki durum bilgisi ve giriş olayının meydana gelme olasılığı.
Sistemi modellerken, daha önemli fonksiyonlar için daha yüksek geçiş olasılıkları verilir. Böylece test senaryoları oluşturulurken, yüksek olasılıklı olan geçişler daha fazla test adımında kullanılmış olur.
Bu şekilde, sık kullanılan özellikler, testler sırasında daha çok kontrol edilmiş olur
[
Şekil 2. Sonlu durum makinaları 3.1
TV modelleme
Bir TV seti modellenmesi öncelikle fonksiyonel spesifikasyon analizi ile başlar.
Gerçek bir modelleme için, teste alınan sistemin tüm bileşenleri için durum, giriş, çıkış ve
olasılıklar belirlenmelidir [
Basit bir model tablo1‟de gösterilmiştir. 2 durum ve 2 geçiş içermektedir. Bir durum TV‟deki herhangi bir durumun yerini belirler. (Açma/kapama, menüye girme vb.) Geçişler bir durumdan başka bir duruma geçmek için kullanılır. (TV açma durumundan, tv kapama durumuna geçilmesi) Bir geçiş bir ya da birden fazla olay içerebilir.
Şekil 3‟te durumlar arası geçişleri gösteren TV açma ve kapatma modeli (“Standby off” / “on”) verilmiştir.
Şekil 3. TV açma ve kapatma (Standby off/on) “Standby off” durumundan “on” durumuna geçmek için (“standby”, “pr+”, “pr-”, “0”, “1”, “2”, “3”, “4”, “5”, “6”, “7”, “8”, “9”) olaylarından biri kullanılabilir. Ancak standby off durumundan on durumuna geçebilmek için yalnızca bir olay vardır.(“standby”)
Kaynak Durumu
Geçiş STANDBY_OFF
ON
G_On G_Off
S
{S1, S 2,...Sn}
Süreç başlangıç durumundan başlar ve diğer duruma geçer. Her geçiş bir adım olarak adlandırılır. Eğer mevcut durum Si ise, bu mevcut durum olan i‟ye bağlı olan olasılık ile Sj durumuna geçer.
S ( Xn 1 | X 1, X 2,...Xn)
S ( Xn 1 | Xn)
Bu olasılık pij ifade edilir ve bu geçiş olasılığı olarak adlandırılır. Eğer süreç aynı durumda kalacaksa bu kez olasılık pii olarak ifade edilir. Markov zinciri N x N geçiş olasılık P matrisinde gösterilir. Bu matrisin her satırındaki değerlerin toplamı 1‟e eşittir.
i
N
Pij
1 j 1
Tablo1‟deki kullanım modeli durum tablosu temel alınarak her geçiş için olasılıklar da eklenir. Bir durumdan diğer bir duruma geçişte toplam kaç geçiş varsa bu geçişlerin olasılıklarının toplamı 1‟e eşit olmalıdır.
Her bir geçiş için de, kaç adet olay kullanılıyorsa bu olayların da olasılıkları toplamı 1‟e eşit olmalıdır. (3). Olasılıkların doğru dağılımı için gerçek kullanıcılardan alınan bilgiler kullanılmalıdır. (Deneysel sonuçlar bölümünde gerçek kullanıcıların tecrübeleri kullanarak hazırlanan model bulunmaktadır.)
Tablo1‟de verilen modelde kullanılan geçişler ve olaylar için olasılık dağılımı örneği tablo 2‟de gösterilmiştir.
Kaynak Durumu
Geçiş
Geçiş Olasılığı STANDBY_OFF
ON
G_On G_Off
Tablo2‟de hazırlanan bu durum tablosu, Şekil 4‟te görüldüğü gibi MaTeLo Usage Model Editor kullanılarak tasarlanır [15].
Aşağıdaki şekilde; yeşil ok bulunan durum başlangıç durumunu, kırmızı karenin bulunduğu durum ise bitiş durumunu ifade etmektedir. Kullanıcı davranışlarına göre hesaplanan olaslık bilgilerini içeren yay oklar, TV durum geçişlerini ifade etmektedir.
Geçişlere “delay”, erteleme bilgisi de verilebilmektedir. Bir durumdan diğerine geçerken kaç saniye sonra geçmesi gerektiği bilgisi geçişlere atanabilmektedir.
Şekil 4. MaTeLo Usage Model Editor‟de modelleme 4
MaTeLo ile yapılan modelleme sonrası MaTeLo Testor kullanılarak yüzlerce test senaryosu oluşturulabilir [15][16].
MaTeLo Testor‟un çıktısı olarak, TV durum ve geçiş bilgilerini içeren, test senaryolarının bulunduğu XML dosyası yayınlanır. Vestel Test Yönetim ve Otomasyon aracında (VesTA) bu test senaryolarını kullanabilmek için, XML dosyası özel olarak hazırlanan bir yazılım aracılığı ile test scriptlerine dönüştürülür. Bu scriptler, TV uzaktan kumanda otomatik navigasyonu, ses/görüntü yakalama/işleme ve karşılaştırma gibi alt işlemlerin bilgilerini içerir.
Test senaryoları modelleme sırasında model üzerinde ayarlanan kullanım olasılıklarına göre oluşturulur. MaTeLo Testor Part ile test senaryoları oluşturulurken başlangıç durumundan başlanır, verilen olasılıklar dâhilinde devam edilir ve bitiş durumu ile bitirilir.
MaTeLo Testor Part ile test senaryosu oluşturmak için kullanılabilecek 4 algoritma
[
Olasılığı en yüksek oluşum yaklaşımı: Olasılığı en yüksek geçişler değerlendirilerek test senaryoları oluşturulur. Test senaryosu kompleksitesi basittir. Kapsam hedefi nominal senaryolardır.
Risk bazlı yaklaşım: Karmaşıklığı en yüksek yerler değerlendirilerek test senaryoları oluşturulur. Test senaryosu kompleksitesi karmaşıktır. Kapsam hedefi risktir. Arcs Kapsamı yaklaşımı: Gereksinimler değerlendirilerek test senaryoları oluşturulur. Test senaryosu kompleksitesi karmaşık ve birbirini etkileyecek şekildedir. Kapsam hedefi gereksinimlerdir.
Kullanım-odaklı: Operasyonel kapsam değerlendirilerek, kullanıcıların davranışlarına uygun test senaryoları oluşturulur. Test senaryosu kompleksitesi birbirini etkileyecek şekildedir. Kapsam hedefi güvenilirliktir.
Bir test senaryosu test girişleri sıraları(test input sequences), TV‟de alınacak aksiyonlar(durumlar, geçişler) ve beklenen çıkış sıralarını(expected output sequences) içermektedir.
Bu test senaryolarının XML halinde yayınlanmasının nedeni birçok farklı test otomasyon aracında çalıştırılabilir olmasıdır.
Kullandığımız sistemde, bu XML dosyalarının VesTA‟da çalıştırılabilmesi için yine AR-GE‟de, kendi geliştirdiğimiz bir çevirici program kullanmaktayız. XML çıktısı olarak aldığımız test senaryolarını bu program ile VesTA‟da çalıştırılabilecek şekilde düzenleyebilmekteyiz. Aynı zamanda bu XML dosyaları, manual testler için de kullanıma uygundur.
Aşağıdaki şekilde, (Şekil 5) XML dosyası, bir web tarayıcı aracılığıyla açıldığında, o XML dosyasının herhangi bir test adımları hakkında nasıl bir bilgi verdiği görülmektedir.
Şekil 5‟te 5 adımdan oluşan bir test senaryosu bulunuyor. Bu senaryoda; TV‟ye güç veriliyor, kumandadaki numerik tuşlardan “6” tuşu ile TV açılıyor, kumanda üzerindeki “source” tuşu ile kaynaklar listesi açılıyor, listedeki ilk kaynak tipi seçiliyor ve ardından TV “standby” tuşu ile kapatılıyor.
Şekil 5. XML çıktısı
TV fonksiyonel testinde, genellikle manual, yarı otomatik ya da tam otomatik test
şemalarının kullanıldığı kara kutu testi yaklaşımı kullanılır [
Otomasyon sistemi olarak Vestel Test Yönetim ve Otomasyon Sistemi (VesTA) kullanılmıştır.
VesTA otomasyon aracı, ürünün hızlı ve güvenilir bir doğrulamadan geçirilmesini sağlar.
VesTA, TV‟nin fonksiyonel doğrulaması için kullanılır.
VesTA‟da, TV tasarım spesifikasyonlarına göre, oluşturulan test scriptlerine dayalı bir otomatik test gerçekleştirilir. TV tasarım spesifikasyonu test edilen TV için girdileri belirler. Test girdileri temel alınarak, test edilen TV için çıktı verileri oluştururur. Bu veriler, test edilen TV davranışının doğruluğunu belirlemek için beklenen sonuçlar ile karşılaştırılarak oluşturulmuştur. VesTA test yönetim ve otomasyon aracı test için gerekli tüm donanımsal ve yazılımsal modulleri içerir (ya da ilgili cihazları .dll dosyaları desteği ile uzaktan kontrol eder); ses/görüntü yakalama/işleme cihazı, TV uzaktan kumanda emulatörü ve işlemlerin gerçekleştirileceği istasyon.
MaTeLo Testor Part ile en uygun algoritma seçilerek otomatik olarak oluşturulan test senaryoları, VesTA otomasyon sistemi aracılığı ile çalıştırılır. MaTeLo Testor Part‟ın test senaryolarını XML formatında oluşturduğunu ve özel bir yazılım ile bu XML‟in test scriptlerine dönüştürüldüğünü belirtmiştik. Test scriptine dönüştürülen bu test senaryoları, VesTA otomasyon aracının veritabanına eklenir ve bu test senaryoları için test planı oluşturulur.
VesTA‟da sırasıyla aşağıdaki adımlar izlenerek otomatik olarak hazırlanan test senaryoları TV üzerinde otomatik olarak çalıştırılır.
VesTA „Test Management System‟ üzerinde yeni bir test paketi oluşturulur. (Şekil6) Otomatik olarak oluşturulan test senaryoları test paketine eklenir.
VesTA „Test Plan Management Module‟ üzerinde bu test senaryoları için yeni bir test planı oluşturulur. (Şekil-7) VesTA „Executor‟ Modül üzerinde test planı bir kez çalıştırılır ve referans resimler alınır. (Şekil-8)
Test senaryoları karşılaştırma için tekrar çalıştırılır.
Referans resimler ile gerçek çıktıların karşılaştırma sonuçları (Pass/Fail) „Reporter‟ modülde otomatik olarak yayınlanır. (Şekil-9)
Şekil 6. VesTA Test Management System Şekil 8. VesTA Executor Module Şekil 9. VesTA Reporter Module 6
Bilinen testler ve eskiden manual olarak çalıştırılan testler otomatize edilip zamandan ve kaynaktan kazanç sağlamayı hedefleyen yöntemler bazen son kullanıcının karşılaşabileceği kritik hataları bulamayabilir.
Otomatik testler, otomatize edilebilen, üründe otomatik olarak çalıştırılabilecek testlerden seçilir. Önemli olan, otomatize etmekten çok neyin otomatize edildiğidir. Bu sebeple testin tasarımı ve bu test oluşturulurken kullanılan teknik, kritik hataların bulunmasında önemli ölçüde rol oynar.
Biz çalışmamızda testi, kullanıcılardan aldığımız kullanım profiline uygun, son kullanıcılar tarafından karşılaşılması daha muhtemel hataları bulmaya yönelik tasarladık. Bu şekilde hem sahada oluşabilecek kritik hataların önüne geçmeyi hedefledik, hem de modelleme sonucu otomatik olarak oluşturulan binlerce test senaryosunu otomatik test koduna dönüştürebilecek bir yöntem oluşturduk.
Otomatik oluşturulan test senaryolarını otomatik olarak çalıştırarak hem zaman hem de kaynak kullanımında verimlilik sağladık.
Yeni bir projenin karşılaması gereken gereksinimleri, test edilecek senaryoları ve tamamlanan testlerin sonuçlarını veri tabanında tutarak, üretime verilecek yazılım ile ilgili bilimsel değerler ortaya çıkardık (test coverage, requirement coverage vb…) hem test hem de onay grubu olarak, hangi yazılıma neden üretim onayı verip vermediğimizi matematiksel olarak ifade edebildik.
Vestel Tasarım Doğrulama ve Test Grubu tarafından geliştirilen Vestel Test Yönetim ve Otomasyon Sistemi üzerine çalışmalarımız devam etmekte ve yine bu sistem kullanılarak hazırlanacak yazılım güvenilirliği hesaplama yöntemi ile ilgili çalışmalar da Vestel Elektronik AR-GE Test grubunda çalışmalar devam etmektedir.
11. K.-K. Cheong, I. Kim, S.-K. Park, and Y.-J. Park, “User Performance Measures for Evaluating Interactive TV Pointing Devices”, IEEE Transactions on Consumer Electronics, Vol. 57, No. 3, August 2011, pp. 1236-1244. 12. J. Philipps, A. Pretschner, O. Slotosch, E. Aiglstorfer, S. Kriebel, K. Scholl, “Model-Based Test Case Generation for Smart Cards”, Elsavier Electronic Notes in Theoretical Computer Science 80 (2003). 13. J. A. Whittaker and M. G. Thomason, 14. “A Markov Chain Model for Statistical Software Testing”, IEEE Transactions on Software
Engineering Vol. 20, NO. IO, October 1994 15. S. J. Prowell, “Using Markov Chain Usage Models to Test Complex Systems”, Proceedings of the 38th Hawaii International Conference on System Sciences, 2005 16. A. Guiotto, B. Acquaroli, A. Martelli, “MaTeLo: Automated Testing Suite for Software
Validation”, Proceedings of DASIA 2003 Jun. 2003, Prague, Czech Republic. 17. W. Dulz, Z. Fenhua, “MaTeLo – Statistical Testing Using Annotated Sequence Diagrams, Markov Chains and TTCN-3”, IEEE International Conference on Quality Software, Nov. 2003 18. V. Pekovic, N. Teslic, I. Resetar, and T. Tekcan, "Test management and test execution system for automated verification of digital television systems", IEEE 14th International Symposium on Consumer Electronics, 2010. 19. B. Beizer, "Black-box testing: techniques for functional testing of software and systems," Wiley, 1995