=Paper=
{{Paper
|id=Vol-2201/UYMS_YTM_2018_paper_39
|storemode=property
|title=Tren Yolcu Bilet Sisteminde Bir Kullanilabilirlik Testi Uygulamasi(Usability Testing Application on a Train Passenger Ticket System)
|pdfUrl=https://ceur-ws.org/Vol-2201/UYMS_YTM_2018_paper_39.pdf
|volume=Vol-2201
|authors=Kadir Herkiloglu,Esen Ozbayramoglu,Pinar Alptekin Binici,Zeynep Gonulalan,Yildiz Ebru Oktensoy,Volkan Arisoy,Burak Yolacan
}}
==Tren Yolcu Bilet Sisteminde Bir Kullanilabilirlik Testi Uygulamasi(Usability Testing Application on a Train Passenger Ticket System)==
https://ceur-ws.org/Vol-2201/UYMS_YTM_2018_paper_39.pdf
Tren Yolcu Bilet Sisteminde
Bir Kullanılabilirlik Testi Uygulaması
Kadir Herkiloğlu1, Esen Özbayramoğlu1, Pınar Alptekin Binici1,
Zeynep Gönülalan1, Yıldız Ebru Öktensoy1, Volkan Arısoy1, Burak Yolaçan1
1
HAVELSAN A.Ş. Mustafa Kemal Mah. 2120 Cad. No:39 Çankaya, Ankara, Türkiye
{kherkiloglu, eozbayramoglu, pabinici,
zgonulalan, eoktensoy, vkapkac, byolacan}@havelsan.com.tr
Özet. Kullanılabilirlik, ilgili sistemin, Uluslararası Standartlar Organizasyo-
nu’nda (ISO-9241-11) verilen tanımı kapsamında son kullanıcı ile olan arayüzü
üzerinden etkili, verimli ve tatmin edici bir biçimde kullanılabilir olma yeteneği
olarak tanımlanmaktadır. Bu çalışmada, HAVELSAN A.Ş. tarafından geliştiri-
len bir Tren Yolcu Bilet Sistemi yazılımı, söz konusu yeteneğin ne ölçüde açığa
çıktığını belirlemek amacıyla, kullanılabilirlik testine tabi tutulmuştur. Bu bağ-
lamda, test öncesi uygun profilde ve sayıda denekler seçilip, bu deneklere çeşitli
görevler verilerek yazılımı kullanması ve sesli düşünme yönetimi ile geri dönüş
yapılması sağlanmıştır. Test gözlemcilerinin elde ettiği veriler kullanılarak ISO
9241-11 kapsamında ürün etkinliği ile ürün verimliliği ölçülmüş ve Sistem Kul-
lanılabilirlik Ölçeği (SKÖ) skor çalışması yapılarak kullanıcı memnuniyet sevi-
yesi belirlenmiştir. Ayrıca, söz konusu yazılım ürününün iyileştirme ihtiyacı
olabilecek potansiyel alanları analiz edilerek önerilerde bulunulmuştur.
Anahtar Kelimeler: Kullanılabilirlik, Kullanılabilirlik Testi, Tren Yolcu Bilet
Sistemi
Usability Testing Application on a Train Passenger
Ticket System
Kadir Herkiloğlu1, Esen Özbayramoğlu1, Pınar Alptekin Binici1,
Zeynep Gönülalan1, Yıldız Ebru Öktensoy1, Volkan Arısoy1, Burak Yolaçan1
1
HAVELSAN A.Ş. Mustafa Kemal Mah. 2120 Cad. No:39 Çankaya, Ankara, Turkey
{kherkiloglu, eozbayramoglu, pabinici,
zgonulalan, eoktensoy, vkapkac, byolacan}@havelsan.com.tr
Abstract. According to International Standards Organization (ISO-9241-11),
usability is defined as the ability of the related system to be used via the inter-
face between the system and the end user effectively, efficiently, and satisfacto-
rily. In this work, usability testing is applied to a Train Passenger Ticket System
developed by HAVELSAN A.Ş. to reveal the level of such ability. In this con-
text, appropriate number of test subjects from different profiles is preliminary
determined. They are asked to use the software by performing certain given
tasks and to give feedback by using think-aloud method while doing the given
tasks. Product effectiveness and efficiency according the ISO 9241-11 standard
are measured by using the data acquired by the test observers and user satisfac-
tion level is determined by doing a System Usability Scale (SUS) score study.
Moreover, suggestions for the design team of the software are produced by ana-
lyzing the potential areas of the software product that need improvement.
Keywords: Usability, Usability Testing, Train Passenger Ticket System
1 Giriş
Kullanılabilirliğin en yaygın kullanılan operasyonel tanımı Uluslararası Standartlar
Organizasyonu’nda (ISO) verilmektedir. ISO-9241-11 (1994)’e [1] göre kullanılabi-
lirlik; “Bir ürünün, belirli bir kullanım bağlamında, belirli kullanıcılar tarafından,
belirli amaçları gerçeklestirmek üzere, etkili (effective), verimli (efficient) ve tatmin
edici (satisfactory) bir biçimde kullanılabilmesi”dir. Etkinlik; kullanıcıların amaçları-
nı ve görevlerini doğru ve tam olarak tamamlama düzeyleri, Verimlilik; amaçlara ve
görevlere ulaşırken harcanan kaynakları (zaman/çaba), Memnuniyet ise kullanıcıların
sistem kullanımı ile ilgili pozitif tutumları ve rahatlıkları ile ölçülmektedir.
Bu çalışmada, HAVELSAN A.Ş. tarafından geliştirilen Tren Yolcu Bilet Sistem
yazılımı, kullanılabilirlik testine tabi tutulmuştur. Bu bağlamda, ilgili sistem kapsa-
mındaki kullanılabilirlik testi, Etkinlik, Verimlilik ve Memnuniyet boyutlarında öl-
çümler alınmasında belirleyici olmuştur. Tipik olarak bir grup potansiyel kullanıcı
adayı tespit edildikten sonra HAVELSAN A.Ş. kullanılabilirlik test mühendisleri
tarafından ilgili test gerçekleştirilmiştir. Bu kapsamda kullanıcılardan bir dizi olağan
olarak yapılagelen görevleri icra etmeleri istenmiştir. İlgili oturumların testlerinin
kayıt altına alınmasından sonra sistem yazılımının geliştirme ve iyileştirme ihtiyacı
olabilecek potansiyel alanları analiz edilmiştir.
Bu bildirinin takip eden ikinci bölümünde uygulanan test metodolojisine değinil-
mektedir. Üçüncü bölüm, elde edilen test sonuçları ve bu sonuçların analizi üzerine-
dir. Son olarak, dördüncü bölüm bu deneyim sonrası ilgili sistem kapsamında ulaşılan
sonuçları özetlemektedir.
2 Test Yöntemi
Test hazırlık aşamasında, kullanılabilirlik çalışması yapılacak yazılım arayüzü be-
lirlendikten sonra, test sırasında kullanılacak araçlar, anketler, gizlilik sözleşmesini
içeren denek rıza formu, hedef kullanıcı kapsamındaki denek grubu ve bu deneklerin
yapacakları görevler (Görev 1: Bilet rezervasyonu, Görev 2: Rezerve edilmiş bileti
satın alma, Görev 3: Rezerve yapmadan bilet satın alma, Görev 4: Bilet açığa alma)
belirlenmiştir. Bu amaçla, 32 aday arasından trenle seyahat deneyimleri, eğitim düze-
yi, cinsiyet, yaş vb. kriterler kapsamında hazırlanan Denek Aday Profil Anketi (Tablo
1 ve Tablo 2) kullanılarak hedef kullanıcı profiline puantaj olarak en çok yakınsayan
14 test deneği belirlenmiştir. Çalışma kapsamındaki ilgili nicel veriler ISO’nun tanı-
mında yer alan etkinlik (görev tamamlama başarısı), verimlilik (görev tamamlama
süresi bazlı kaynak kullanımı) ve memnuniyet kriterleri baz alınarak değerlendirilmiş-
tir. Nitel veriler ise Sesli Düşünme Protokolü [2] ve gözlem aracılığıyla toplanarak
işlenmiştir.
Test sırasında denek kullanıcıya sırayla görevler verilerek her görev için görevi ba-
şarıp başaramadığı, yaptığı hata sayısı ve süre verileri tutulmuştur. Test süresince
deneğin sesli düşünmesi sağlanarak arayüzle ilgili nerelerde sorun yaşadığı ve arayüz
hakkında ne düşündüğü öğrenilmiştir. Bu esnada deneğin geri bildirimleri test göz-
lemcileri tarafından gözlemci kayıt formu aracılığıyla kaydedilmiştir. Her görev son-
rası derecelendirme anketi (ASQ-After Scenario Questionnaire) ve test bitiminde
kullanıcının arayüz hakkındaki memnuniyetini öğrenmek için Sistem Kullanılabilirlik
Ölçeği (SKÖ) / System Usability Scale (SUS) bazlı memnuniyet anketi uygulanmıştır.
Test sonrasında, bütün veriler toplanarak analiz edilip kullanılabilirlik sorunları ile
değişiklik/iyileştirme önerilerini de içerek şekilde rapor hazırlanmıştır.
Tablo 1. Denek Aday Profil Belirleme Anketi- I
Trenle şe-
Ne sıklıkla Seyahat Tren seyahat-
hirlerarası
Denek Eğitim şehirlerarası sınıfı leriniz genel-
Cinsiyetiniz? ne sıklıkla
No Düzeyiniz? seyahat tercihiniz likle kaç saat
seyahat
edersiniz? nedir? sürüyor?
edersiniz?
1 1 1 3 3 2 2
2 2 3 1 1 2 2
3 2 3 3 1 2 2
4 2 3 3 3 2 2
5 2 5 2 3 1 2
6 1 3 1 4 2 -
7 1 4 2 1 2 2
8 2 4 2 1 2 1
9 1 4 2 1 2 2
10 1 4 1 1 1 2
11 1 4 1 1 2 2
12 2 4 1 1 1 2
13 2 4 2 1 2 2
14 1 3 1 4 - -
Tablo 2. Denek Aday Profil Belirleme Anketi- II
Kişisel bilgisa-
Kişisel bilgisaya- İnternet erişimi yar işletim sis-
Trenle Çalışmakta
rınızı internet olan kişisel bilgi- temlerinden
ulaşım olduğunuz
Denek No erişimi için gün- sayarınızı en çok hangilerini Yaş?
amacınız sektör
de kaç saat kul- hangi amaçla kullanma dene-
nedir? hangisidir?
lanıyorsunuz? kullanıyorsunuz? yiminiz bulun-
maktadır?
1 2 2 2,5,8,9 3 1 1
2 1,2 2 1,5,6,7,8,9 1,2,3,4,5 1 3
3 1 1 1,2,4,5,9 1,2,3,5 1 2
4 1 2 1,2,5,8 3,5 1 3
5 1 2 5,7,8,9 1,2,4,5 1 4
6 3 1 2,9 1,2,3,4,5 1 1
7 2 3 1,3,5,6,8,9 1,2 1 1
8 2 1 2,6,7,8,9 1,2,3,4,5 1 1
9 2 2 1,2,3,6,8,9 1,2,3,5 1 1
10 1,2 1 6,7,8,9 1,2,5 1 3
11 2 2 1,2,3,6,7,8,9 4 7 1
12 1 1 2,5,9 1,3,5 1 2
13 1 2 3,5 1,2,3,4,5 1 2
14 - 2 3,6,7,8,9 1,2,3 1 2
3 Test Sonuçları
Tüm denekler (D-1 ~ D-14) “Görev-3” görevi dışındaki görevleri (Görev-1, Görev-
2, Görev-4) %100 başarıyla tamamlamışlardır. Deneklerin yaklaşık %93’i Görev-3’ü
başarıyla tamamlayabilmiştir. Görev-1’in deneklerin istedikleri tarih ve istedikleri
yere bilet rezervasyonu yapmalarını gerektiren en uzun görev olduğu (ortalama 06:55)
izlenmiştir. Bununla birlikte bu görevin tamamlanmasının yaklaşık 20 dakikadan
(19:50) 1,5 dakikaya yakın (01:20) değişen sürelerde yapılabildiği görülmüştür. Gö-
rev 4’ün en kısa görev olduğu (ortalama 00:51) değerlendirilmiştir. Deneklerin görev-
leri tamamlamakta harcadıkları zaman dağılımı Şekil 1 ve Şekil 2’de verilmektedir.
ISO 9241’e göre etkinlik ölçeği, kullanıcıların uygulamayı kullanarak yapmaları
beklenen görevleri ne düzeyde başarabildiklerini ifade etmektedir. Verimlilik ise be-
lirlenen görevi yapmak için kullanıcı tarafından kullanılan kaynaklar baz alınarak
ölçülmektedir. Bu kapsamda test edilen ürünün verimliliği, etkin deneklerin (görevi
başarıyla tamamlayan) harcadığı zamanın tüm deneklerin (etkin olan ve etkin olma-
yan) harcadığı zamana oranı olarak tanımlanmaktadır. Bu bağlamda çalışmada kulla-
nılan metriklerin formülasyon içerikleri sırasıyla Tablo 3 ve Tablo 4’de verilmektedir
[3].
Test gözlemcilerinin elde ettiği veriler kullanılarak ISO 9241-11 kapsamında ürün
etkinliği %98.21 ve ürün verimliliği %94.97 olarak ölçülmüştür. Ürün etkinliğinin
harf cinsinden sınıflandırması için [6]’da verilen derecelendirme skalası kullanılabilir.
Deneklerin tüm görevleri tamamlamasından sonra uygulanan Sistem Kullanılabilir-
lik Ölçeği (SKÖ/SUS) [4] tabanlı memnuniyet anketinde çıkan sayısal sonuçlara uy-
gulanan hesaplamalar üzerinden memnuniyet oranı bulunmuştur. İlgili anket 10 soru-
dan oluşmaktadır [Bkz. Tablo 5] ve 1-5 aralığında puanlama ile yapılmaktadır. Mem-
nuniyet anketindeki sorulardan tek numaralı sorular olumlu, çift numaralı sorular
olumsuz yapıda kurguludur.
Deneklerin ankete verdiği cevaplardan yola çıkarak hesaplama (Bkz. Tablo 6) [5]
yapıldığında memnuniyet değerinin 73,21 olduğu hesaplanmıştır. Elde edilen değer
[72.6 – 74.0] aralığında yer alırken uygulamanın kullanıcı nezdinde “B-“ sınıfı mem-
nuniyet sağladığı değerlendirilmektedir (Bkz. Tablo 7) [6].
Şekil 1: Görev Süreleri Dağılımı
Şekil 2. Denek Bazlı Ortalama Görev Süreleri
Tablo 3. Etkinlik Metriği
N Görev Sayısı
R Denek Sayısı
nij i numaralı deneğin j numaralı görevi başarıyla tamamlanma
durumu 0: başarısız
1: başarılı
Ürün Etkinliği ∑ (∑ ( ))
(Product Effectiveness)
̅
Tablo 4. Verimlilik Metriği
N Görev Sayısı
R Denek Sayısı
nij i numaralı dene-
ğin j numaralı 0: başarısız
görevi başarıyla
tamamlanma
durumu 1: başarılı
tij i numaralı deneğin j numaralı görevi tamamlanmak için harcadığı
saniye cinsinden süre
Zaman
Bazlı
∑ (∑ ( ))
Verimlilik
(Time ̅
Based
Efficiency) (∑
∑ ( ))
Tablo 5. SKÖ(SUS) Anket Soruları
Soru No Soru
1 Bu ürünü sıklıkla kullanacağımı düşünüyorum.
2 Ürünü gereksiz bir şekilde karmaşık buldum.
3 Ürünün kolay kullanıldığını düşündüm.
4 Bu ürünü kullanabilmek için teknik bir kişinin desteğine ihtiyacım olabilece-
ğini düşünüyorum.
5 Üründeki çeşitli fonksiyonları iyi entegre olmuş biçimde buldum.
6 Üründe çok fazla tutarsızlık olduğunu düşündüm.
7 Birçok insanın bu ürünü hızlı bir şekilde kullanabileceğini düşünüyorum.
8 Ürünün kullanımını çok hantal buldum.
9 Ürünü kullanırken kendimden emindim.
Tablo 6. Memnuniyet Metriği
R Denek Sayısı
Q+ Anketteki pozitif soru sayısı
Q- Anketteki negatif soru sayısı
pij+ j deneği tarafından i numaralı (pozitif) soruya verilen cevabın ağırlığı [0..4]
pij- j deneği tarafından i numaralı (negatif) soruya verilen cevabın ağırlığı [0..4]
Ortalama
Memnuniyet ∑ (∑ ( )) ∑ (∑ ( ))
(Average
Satisfaction) ̅
( )
Tablo 7. SKÖ(SUS) Puanı Memnuniyet Sınıflandırması
SKÖ(SUS) Skor Değeri Memnuniyet Derecesi
84,1 -100 A+
80.8 – 84.0 A
78.9 – 80.7 A-
77.2 - 78.8 B+
74.1 -77.1 B
72.6 – 74.0 B-
71.1 – 72.5 C+
65.0 – 71.0 C
62.7 - 64.9 C-
51.7 – 62.6 D
0.0 – 51.6 F
4 Sonuç
Bu çalışmada, HAVELSAN A.Ş. tarafından Tren Yolcu Bilet Sistemi yazılımına
kullanılabilirlik testi uygulanmıştır. Çalışma için önce uygun profilde denekler seçilip,
bu deneklere çeşitli görevler verilerek uygulamayı kullanması ve geri dönüş yapması
sağlanmıştır. İlgili uluslararası standart (ISO-9241-11) kapsamında teste tabi yazılı-
mın etkinlik ve verimlilik metrikleri ile ölçeklendirilmesi sağlanmış ve memnuniyet
derecesi tespit edilmiştir. Test sırasında deneklerin yaşadıkları problemlere ve kulla-
nıcı arayüzünde belirsizlik olduğunu düşündükleri noktalara dikkat çeken ve genel
kullanım kolaylığını geliştirebilecek, üç görev kapsamında yüksek önem dereceli 16
adet değişiklik önerisi, dört görev kapsamında orta önem dereceli 24 adet değişiklik
önerisi ve bir görev kapsamında düşük önem dereceli 5 adet iyileştirme önerisinde
bulunularak yazılımının olgunlaştırılması yönünde katkı sağlanmıştır.
Kaynakça
1. ISO, SFSEN. "9241-11. 1998." Ergonomic Requirements for Office Work with Visual Disp-
lay Terminals (VDTs)–Part II Guidance on Usability.
2. Boren, Ted, and Judith Ramey. "Thinking aloud: Reconciling theory and practice." IEEE
transactions on professional communication 43.3 (2000): 261-278.
3. Alsabhan, Waleed. Designing a human-centred, mobile interface to support real-time flood
forecasting and warning system. Diss. Brunel University London, 2017: 241-244.
4. System Usability Scale (SUS), 2018, http://www.usability.gov/how-to-and-
tools/methods/system-usability-scale.html.
5. Brooke, John. "SUS-A quick and dirty usability scale." Usability evaluation in industry
189.194 (1996): 4-7.
6. Sauro, Jeff, and James R. Lewis. Quantifying the user experience: Practical statistics for user
research. Morgan Kaufmann, 2016: 42, 204.