Özet. Günümüzde kamu kurumları hizmetlerini çevrim içi sunarak iú lem maliyetlerini azaltırken, verimlilik ve hizmet kalitesini artırmayı hedeflemektedirler. Çevrim içi web siteleri aracılı÷ ıyla hizmetlerin kaliteli bir ú ekilde sunulması bu sitelerin kullanılabilir olması ile do÷ rudan iliú kilidir ve bu da ancak kullanıcı merkezli tasarım ile mümkün olacaktır. Bu çalıú ma kapsamında Radar Performans ve ø z Analiz Merkezi (RAPSø M) için tasarımı gerçekleú tirilen web sitesinin kullanılabilirli÷ inin de÷ erlendirilmesi ve elde edilen sonuçların kullanıcı merkezli tasarım gereklilikleri do÷ rultusunda sitenin güncellenmesi için kullanılması hedeflenmektedir. Bu do÷ rultuda RAPSø M web sitesinin kullanılabilirlik testi yaklaú ımı ile de÷ erlendirilmesi gerçekleú tirilmektedir. Katılımcılara kullanılabilirlik testi ve kullanılabilirlik de÷ erlendirme anketi uygulanmıú tır. Linklerin ikonlar ile desteklenmesi, menülerin farklı bir ú ekilde gruplandırılması gibi görsel problemler ile arama motoru ihtiyacı, üyelik iú lemleri sayfası ihtiyacı gibi fonksiyonel problemler tespit edilmiú ve sitenin tasarımının iyileú tirilmesi amacıyla geliú tiricilerle paylaú ılmıú tır. Anahtar Kelimeler. Kullanılabilirlik, Kullanılabilirlik testi, Web sitesi tasarımında kullanılabilirlik, WAMMI
ø nternetin yaygınlaú ması ile birlikte kurumlara ait web sitelerinin önemi her geçen gün artmaktadır. Kurum kimli÷ ine uygun ve kullanılabilir bir web sitesi her kurumun amacı olmaktadır. Geniú bir kullanıcı kitlesine sahip olmaları bakımından kullanılabilirli÷ in önemi kurumlar için de oldukça fazladır. Kullanıcı kitlesinin web sitesi hakkındaki memnuniyeti, kullanıcının o kurumu tercih etmesinde önemli kriterlerdendir [1].
Kamu kurumlarına ait web siteleri farklı özelliklere sahip birçok kullanıcı tarafından ziyaret edilmektedir. Kamuya ait olmayan kurumların web siteleri, kullanıcıların herhangi bir memnuniyetsizlik durumunda alternatif bir siteye yönelmesi tehlikesi ile karú ı karú ıyadır. Ancak kamu web sitelerinin ço÷ u ilgilendi÷ i alanda otorite rolü üstlenmektedir ve kullanıcı kaybı tehlikesi ile karú ı karú ıya de÷ illerdir. Bu durum kullanılabilirli÷ in sa÷ lanmasını daha da önemli bir hale getirmektedir.
Kullanılabilirlik etkililik, verimlilik ve etkinlik kavramları ile yakından
iliú kilidir [2]. Nielsen [3] kullanılabilirlik kavramını; kolay ö÷ renilebilirlik, etkin
kullanılabilirlik, hatırlanabilirlik, düú ük hata oranı ve kullanım memnuniyeti ú eklinde
beú faktör ile tanımlamaktadır. Bu kullanılabilirlik faktörleri göz önünde
bulundurularak tasarım gerçekleú tirmek daha kullanılabilir sistemlerin oluú turmasını
sa÷ layabilmektedir [4]. Robins ve Holmes’a [
Ça÷ ıltay [
Türkiye’deki bir çok kamu web sitesine ait kullanılabilirlik de÷ erlendirmesi
çalıú ması gerçekleú tirilmiú tir. Akıncı ve Ça÷ ıltay’ın [
RAPSø M, Rüzgar Enerji Santrali (RES) kurmak isteyen yatırımcı firmaların,
santrali kurmak istedikleri bölge ve tesis bilgileri ile baú vurarak askeri sistemlere olan
etkisinin incelenmesini istedikleri kurumdur. Yatırımcı firmaların baú vurularını
kolaylaú tırmak ve hızlandırmak amacıyla Resim. 1’de örnek ekran görüntüsü yer alan
RAPSø M web sitesi [
2
Bu çalıú ma kullanılabilirlik problemlerini tespit etme yöntemlerinden biri olan
kullanıcı testi kullanılarak gerçekleú tirilmiú tir [
Katılımcılar Nielsen [3], beú adet katılımcıyı kullanılabilirlik testlerinde geçerli sonuçlara ulaú mak için yeterli bulmakta ve beú katılımcı ile kullanılabilirlik problemlerinin %75’ine ulaú ılabildi÷ ine vurgu yapmaktadır. Bu çalıú mada da ilgili web sitesinin de÷ erlendirilmesi için RAPSø M web sitesi’ni daha önce kullanmamıú 6 katılımcı ile kullanılabilirlik testi gerçekleú tirilmiú tir. Bu katılımcılardan ikisi deneyimli, di÷ er dördü deneyimsiz kullanıcılardan oluú maktadır. Deneyimli kullanıcılar daha önce bir web sitesi geliú tirme sürecine dahil olmuú veya bilgi sahibi kiú ilerden oluú maktadır ancak bu sitenin kullanımı ile ilgili deneyime sahip de÷ illerdir Deneyimli (U) ve deneyimsiz (K) kullanıcıların analiz sonuçları karú ılaú tırılarak web sitesinin ne kadar kolay ö÷ renilebilir oldu÷ u ve iki grup arasındaki memnuniyet farklılıkları incelenmiú tir. RAPSø M web sitesinin kamuya açık bir site olması nedeniyle çalıú madaki katılımcıların farklı e÷ itim durumu, cinsiyet, yaú ve ilgi alanında olmalarına özen gösterilmiú tir. Kullanıcılar, günlük hayatında genel bilgisayar kullanımı konusunda deneyimli kullanıcılardır. Araú tırma katılımcılarının cinsiyet, bilgisayar ve internet kullanım süresi, deneyimi ve düzeyine iliú kin özellikler Tablo 1’de verilmiú tir.
Tablo 1. Kullanılabilirlik Testi Katılımcılarının Özellikleri
Kadın Erkek
Çok Az Orta ø yi Çok ø yi
0-5 Yıl 6-10 Yıl 10 Yıldan fazla
5 Saatten Az 5-15 Saat 15 Saatten Fazla ø nternet Kullanım Düzeyi Çok Az Orta ø yi
RAPSø M web sitesi çok karmaú ık olmayan ve kısıtlı sayıda amaca hizmet eden bir site olması nedeniyle gerçekleú tirilebilecek görev sayısı da sınırlı sayıdadır. Görev listesi sistemin gerçek kullanıcıları tarafından hergün iú letilen senaryolarının bir listesinden oluú maktadır. Kullanıcıların uygulaması beklenen görevler Tablo-2’de verilmiú tir.
Görevlerin uygulatılması öncesinde kullanıcıların web sitesini incelemeleri
amacıyla web sitesinde gezinmeleri için serbest zaman tanınmıú tır. Web sitesini
ziyaret eden gerçek kullanıcıların Türkiye’nin her yerinden ve çeú itli kiú isel
özelliklere sahip olması, belirli bir kullanıcı profili bulunmaması sebebiyle
kullanıcıların web sitesi konusunda e÷ itimi gerçekleú tirilememektedir. Bu noktadan
hareketle, gerçek kullanıcı profilini ve davranıú ını test etmek amacıyla
kullanılabilirlik testi katılımcılarına web sitesi hakkında e÷ itim verilmemiú tir [
Kullanıcıların, görevleri uygulamaları sırasında ihtiyaç duyacakları kullanıcı adı, ú ifre gibi bilgiler görev dokümanlarına yazılmıú ve test katılımcıları bu konuda bilgilendirilmiú tir. Aynı zamanda katılımcılara, gerçekleú tirilecek görevler sırasında herhangi bir hata veya sorunla karú ılaú maları durumunda bunun tamamen web sitesinden kaynaklı olabilece÷ i ve karú ılaú ılan problemlerin web sitesinin geliú tirilmesi adına önemli oldu÷ u bilgisi verilmiú tir. Görevlerin gerçekleú tirilmesi sırasında katılımcılardan sesli düú ünmeleri istenmiú ve karú ılaú tıkları problemleri görev ka÷ ıtlarına not etmeleri istenmiú tir. Görevlerin gerçekleú tirilmesi sırasında, kullanılabilirlik testini uygulatan gözlemci tarafından katılımcının hareketleri gözlemlenmiú tir. Aynı zamanda katılımcıların görev tamamlama oranları ve süreleri de test sırasında kaydedilmiú tir.
No 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
Tablo 2. Kullanılabilirlik Testi Görev Listesi
Monostatik ve bistatik RKA (Radar Kesit Alanı) hesabı hakkında bilgi edinilen sayfaya ulaú ılması Saçılma Merkezi Tespiti analizine ait bilgi edinilen sayfaya ulaú ılması TEA durumları listesinin görüntülenmesi TEA baú vurusunda ödenmesi gereken ücret bilgisine ulaú mak ED50 formatından WGS84 formatına koordinat dönüú ümünü sa÷ layan yardımcı araca eriú im.
RAPSø M’e baú vuru esnasında kullanılacak olan bilgi dosyasına eriú im. RAPSø M tarafından sa÷ lanan hizmetlerin listelenmesi Örnek kullanıcı adı ve ú ifresi ile kullanıcı sayfasına eriú ilmesi ø letiú im bilgilerinin sergilenmesi Kullanıcıya ait önceden hazırlanmıú RES projesinin toplam güç bilgisinin ö÷ renilmesi Kullanıcıya ait önceden hazırlanmıú RES projesinin haritada gösterilmesi En az bir türbine ait türbin bilgilerinin harita üzerinde gösterilmesi Kullanıcı baú vuru bilgilerinin pdf olarak bilgisayara kaydedilmesi Kullanıcı baú vuru bilgilerinin kmz dosyası olarak bilgisayara kaydedilmesi Kullanıcı için tanımlanan ú ifrenin de÷ iú tirilmesi
Kullanıcının siteden güvenli çıkıú ı gerçekleú tirmesi.
Çalıú ma kapsamında kullanıcı testindeki görevlerin tamamlanmasının ardından web
sitesinin memnuniyet ve etkilili÷ ini ölçmeye yönelik olarak bir anket uygulanmıú tır.
Bu anket Claridge ve Kirakowski [
Anketin giriú bölümünde kullanıcılara cinsiyetleri, bilgisayar kullanım düzeyleri, haftalık ortalama bilgisayar ve Internet kullanım sıklıkları sorularak kullanıcılar hakkında demografik bilgiler toplanmıú tır. Anketin ikinci kısmında yer alan kullanılabilirlik de÷ erlendirmesine yönelik sorular etkililik ve memnuniyet alt baú lıklarında de÷ erlendirilmektedir. Her bir alt baú lık 10 soru olmak üzere toplamda 20 sorudan oluú maktadır. Ankette bulunan olumsuz sorular Türkçe’ye çevirme iú lemi sırasında olumlu cümlelere çevrilmiú tir. Katılımcılardan 1 (katılmıyorum) – 5 (katılıyorum) aralı÷ ında cevap vermeleri istenmiú tir. 3
Bulgular Katılımcılar kullanılabilirlik testi görev listesinde yer alan 16 farklı görevi gerçekleú tirirken gözlemlenmiú ler ve görev tamamlama süreleri kaydedilmiú tir. Kullanılabilirlik de÷ erlendirmesine katılan deneyimli ve deneyimsiz kullanıcıların görevleri gerçekleú tirme süreleri Tablo 3’de gösterilmiú tir.
Görev-1 Görev-2 Görev-3 Görev-4 Görev-5 Görev-6 Görev-7 Görev-8 Görev-9 Görev-10 Görev-11 Görev-12 Görev-13 Görev-14 Görev-15 Görev-16
6 sn 3 sn 12 sn 8 sn
9 sn 3 sn 15 sn 5 sn 5 sn 12 sn
7 sn 5 sn 30 sn 3 sn
K-2 7 sn 3 sn 15 sn 10 sn 22 sn 10 sn 4 sn 16 sn 5 sn 6 sn 8 sn 15 sn 6 sn 5 sn 28 sn 3 sn
K-3 8 sn 4 sn
9 sn 14 sn 11 sn 4 sn 16 sn 6 sn 7 sn 8 sn 14 sn 8 sn 6 sn 40 sn 4 sn
K-4 7 sn 4 sn 27 sn 7 sn 15 sn 20 sn 4 sn 15 sn 4 sn 7 sn 7 sn
8 sn 6 sn 33 sn 4 sn Kullanıcılar arasında görev tamamlama süreleri arasında çok fazla farklar olmamasına ra÷ men deneyimli kullanıcıların deneyimsizlere oranla görevleri daha kısa sürede gerçekleú tirdi÷ i gözlemlenmiú tir. Deneyimli kullanıcılar tüm görevleri gerçekleú tirirken deneyimsiz kullanıcıların bazı görevlerde fazla zaman harcadı÷ ı yada görevi gerçekleú tiremedi÷ i gözlemlenmiú tir. Deneyimsiz kullanıcıların Görev-3, Görev-5 ve Görev-12’de deneyimli kullanıcılara göre oldukça fazla zaman harcadıkları yada görevi gerçekleú tiremedikleri gözlemlenmiú tir.
Deneyimsiz kullanıcıların görev maddelerini yerine getirmesi sırasında kaydedilen problem sayısı 10’dur. Problemler kullanıcıların hata ya da geliú tirilmesi gereken özellik olarak nitelendirdi÷ i durumları içermektedir. Deneyimli kullanıcılar 14 farklı problem bulmuú tur. Bulunan problemlerin 7 tanesi her iki grup tarafından da belirtilmiú tir. Karú ılaú ılan problemlerin görev ve katılımcıya göre da÷ ılımı Tablo 4’de belirtilmiú tir.
Tablo 4. Hataların Görev ve Katılımcılara Göre Da÷ ılımı
RKA linkleri baú ında ikon bulunmaması ø letiú im sayfasındaki kroki büyütülemesi RKA sayfasındaki linkler RKA Hesaplama menüsünün alt menüsü olmalı Hesaplamalar baú lıklı menünün bulunmaması Data gönderimi linkinin anlaú ılır olmaması ø letiú im sayfasında bulunan konum bilgisinin lre haritada gösterilememesi lebm bBuillguindmoasmyaassıının, Baú vuru Bilgileri sayfasında roP Ana sayfa sekmesi yapılan iú i tasvir eden resimle le desteklenmemesi srö TEA durumları listesi RES TEA Analizi G sayfasında bulunmaması
Sayfa son güncelleme tarihi belirtimemesi Üyelik iú lemleri sayfası bulunmaması
Arama motoru yok er Türbinin üzerine gelindi÷ inde tıklanabilir lm oldu÷ unun belli olmaması leb Site haritasının bulunmaması ro Sıkça sorulan sorular bölümünde ücretlendirme leP bilgisinin bulunmaması on Açılıú sayfasının kullanıcı giriú i yapıldıktan sonra isy görünmemesi onk Firma giriú i ardından, Ana Sayfaya dönüú ün F kullanıcı giriú i gerektirmesi Görev Görev1 Görev9 Görev1 Görev2 Görev6 Görev9 Görev6 Görev7 Görev3 Görev7 Görev9 Görev5 Görev12 Görev16 Görev4 Görev8 Görev8
K1, U1 K1, U1 K2, K3,U1 U1, U2 K1, U2 K1,K2,K3,U1 K1, K2,U2 K1, U2 K1 K1 K1 U2 U1 U1 U2 U2 U2
Katılımcılar anket sorularına 1 (kesinlikle katılmıyorum) – 5 (kesinlikle katılıyorum) aralı÷ ında puan vermiú lerdir. Verilen puanların Etkililik ve Memnuniyet baú lıkları altında ortalamaları alınmıú tır. Deneyimsiz kullanıcılar Etkililik baú lı÷ ı altında sorulan sorulara ortalama 3,9 puan vermiú lerdir. Aynı anket sorularına deneyimli kullanıcıların ortalama 3,1 puan verdikleri belirlenmiú tir. Memnuniyet baú lı÷ ı altında sunulan sorulara verilen deneyimsiz kullanıcıların yanıtlarının ortalaması alındı÷ ında 3,75 sonucuna ulaú ılırken deneyimli kullanıcılar için ortalamanın 3,4 oldu÷ u gözlemlenmektedir.
Resim. 2. Deneyimli ve deneyimsiz katılımcıların anket de÷ erlendirmesi
Anket sonuçları incelendi÷ inde, deneyimli ve deneyimsiz kullanıcıların web sitesinin hızlı oldu÷ u ve web sitesini kullanmanın zaman kazandırdı÷ ı konusunda hemfikir oldukları gözlemlenmiú tir. Ankette tüm katılımcılardan site tasarımını de÷ erlendirmeleri istenmiú tir. Deneyimsiz kullanıcılar tasarımın çekicili÷ ine ortalama 3,8 puan vererek be÷ enilerini göstermiú lerdir. Deneyimli kullanıcıların ortalama 2,5 puan vermiú olmaları site tasarımı hakkında olumsuz görüú belirttikleri sonucuna ulaú mamızı sa÷ lamıú tır. Ankette bahsi geçen bir di÷ er önemli konu olan sitenin ilk kullanım için ne kadar kolay kullanılır oldu÷ u sorusuna tüm katılımcılar olumlu görüú belirtmiú lerdir.
Uygulama sırasında her iki grup tarafından benzer sayıda hata/problem bulunmuú tur. Deneyimli kullanıcılar tarafından daha fazla görevin tamamlanmıú oldu÷ u ve görevlerin gerçekleú tirilme sürelerinin bu grupta daha kısa oldu÷ u verileri Tablo 3’te belirtilmiú tir. Fakat deneyimli kullanıcıların etkililik ve memnuniyet baú lıkları altında verdikleri puanların deneyimsiz kullanıcılara oranla düú ük oldu÷ u gözlemlenmiú tir. Deneyimli kullanıcıların görevlerini di÷ er katılımcılara göre daha kısa sürede ve daha baú arılı ú ekilde bitirmelerine karú ılık etkililik ve memnuniyet baú lı÷ ı altında toplanan anket sorularına “Orta” dereceli not verdikleri gözlemlenmiú tir. Deneyimsiz kullanıcıların tamamlayamadıkları görevleri bulunmasına ve deneyimli kullanıcılara oranla görevlerini daha uzun sürede tamamlamalarına karú ılık memnuniyet ve etkililik konusunda web sitesine “ø yi” dereceli not vermiú lerdir. 4
Kurumların web sayfasınsa sahip olmalarındaki temel amaçları, hedef kitlelerine
ihtiyaç duydukları bilgileri etkili ve verimli ú ekilde sunmaktır. Bu amaçlarına ne
kadar ulaú abildiklerinin tespiti de gerçek kullanıcı gözlemlerine ait verilerin nitel ve
nicel olarak de÷ erlendirilmesi ile gerçekleú tirilebilir [
Sonuç olarak, gerçekleú tirilen çalıú manın hataların/problemlerin belirlenmesinde yararlı oldu÷ u düú ünülmektedir. Belirlenen hatalar, web sitesini geliú tiren yazılımcılara ıú ık tutması açısından gözlemci tarafından kayıt altına alınmıú tır. Belirlenen problemlerden bazıları deneyimli ve deneyimsiz kullanıcılar tarafından ortak olarak belirlenmiú tir. Ortak olarak belirlenen hatalar/problemler ciddi statüsünde de÷ erlendirilebilir. Görevlerin gerçekleú tirilme süreleri, web sitesi geliú tiren yazılımcı gruplar ile gerçek kullanıcılar arasındaki bakıú açısı farklılıklarını sergilemesi bakımından önemlidir.
Kullanılabilirlik de÷ erlendirmesi sırasında, sitenin kullanıcı çeú itlili÷ i göz önünde bulunduruldu÷ unda, de÷ erlendirmeye katılan kiú i sayısı arttırılarak bulgular geniú letilebilir. Ayrıca kullanıcıların göz hareketlerini inceleyen bir izleme cihazının kullanılabilirlik de÷ erlendirmesine dahil edilmesi katılımcı kitlesinin görevleri gerçekleú tirirken odaklandı÷ ı noktaları belirleyerek tasarımın iyileú tirilmesine katkıda bulunacaktır. Gerçekleú tirilen bu çalıú mada, kullanılabilirlik analizi çalıú masında karú ılaú ılan problemler de÷ erlendirilmek üzere web sitesi geliú tirici grubuna iletilmiú tir. Geliú tirici grup tarafından problemler ele alınarak oluú turulacak yeni versiyonun, var olan versiyon ile kullanılabilirlik analizi bakımından karú ılaú tırması gerçekleú tirilecek ve bu çalıú manın ne kadar baú arılı oldu÷ u de÷ erlendirmesini yapmak mümkün olacaktır. Yeni ve eski versiyonların karú ılaú tırılması ile kullanılabilirlik de÷ erlendirme çalıú ması iteratif bir ú ekilde uygulanacak ve sürekli iyileú tirme imkanı do÷ acaktır.
1. Patterson, K., Alles, A : Usability And Meeting The Needs Of Educational Web Site
Users, http://ausweb.scu.edu.au/aw04/papers/refereed/patterson/paper.html (2004) 2. ISO 9241-11:1998 Ergonomic requirements for office work with visual display terminals (VDTs) guidance on usability, http://www.userfocus.co.uk/resources/iso9241/part11.html 3. Nielsen, J. : Usability Engineering, Academic Press, Boston (1993) 4. Kılıç, E., Güngör, Z. : Web Site Tasarımlarında Kullanılabilirlik De÷ erlendirme Yöntemlerinin Önemi. Akademik Biliú im Konferansı (2006)