At one extreme, functional requirements define the functions that a software component or system should perform and on the other hand, nonfunctional requirements aimed at specifying how a software product is supposed to be are defined in terms of quality attributes such as reliability, maintainability and the one which comprises the scope of this study, namely, usability that is defined as the software capability of being easily used by the end user via the interface provided to them. Complementarily, usability testing targets at determining the extent to which this capability gets realized. In this study, the experience obtained by following the usability testing approach formed via Software Usability Measurement Questionnaire based on specific usability heuristics and Think Aloud method accompanied by observations is demonstrated in the scope of SKYFE In Flight Entertainment System that is in development.
Son bir kaç on yılda geliştirilen ürünlerin kullanılabilirliğinin öneminin
kavranmasıyla beraber (örneğin IBM ve Boing Co. gibi büyük ölçekli şirketlerin
yazılım geliştirirken ve satın alırken kullanılabilirliği anahtar faktör olarak kabul
etmeleri [
Kullanılabilirlik testi, köklerini klasik deneysel metodolojiden alan bir araştırma
aracı olarak görülebilir [
Kullanılabilirlik boyutları, bir denek grubunun kullanımıyla ölçülebildiği gibi, bu
işi kullanıcı bağımsız modeller ile değerlendirebilen yöntemler de mevcuttur. Bilişsel
Modelleme yöntemleri olarak da bilinen bu yöntemlerin ilki GOMS (nam-ı diğer
CMN GOMS) yöntemidir. Yöntem, araştırmacıları olan Card, Moran ve Newell’in
[
Bu yöntemlerin yanı sıra, belirlenen sezgisel öznitelikler kullanılarak uygulamaya
özel olarak oluşturulan senaryolar ve arkasından uygulanan anketler vasıtasıyla, ilgili
uygulama hakkında kullanıcıların görüşlerini kullanan yöntemler de mevcuttur [
Bu bildirinin takip eden ikinci bölümünde uygulanan test metodolojisine değinilmektedir. Üçüncü bölüm, elde edilen test sonuçları ve bu sonuçların analizi üzerinedir. Son olarak, dördüncü bölüm bu deneyim sonrası SKYFE projesi kapsamında ulaşılan edinimleri özetlemektedir.
SKYFE kullanıcı ara yüzünde yapılan değişikliklerin birbirini tekrar etmesinin gözlenmesini müteakip kullanılabilirlik ölçümünün SKYFE projesi kapsamında yapılması gerekliliği ortaya çıkmıştır. Yapılan araştırma sonucunda, son kullanıcıların değerlendirmeye dâhil edildiği Sezgisel Değerlendirme (Heuristic Evaluation) tekniğinin yaygın olarak kullanılması ve projede uygulanabilmesi için gerekli eforun olanaklı olması nedeniyle daha etkili ve kolay hayata geçirilebilir bulunmuştur.
SKYFE projesi bağlamında Nielsen’in sezgisel değerlendirme metodu kullanılmıştır. Bu metot kapsamında, ilk olarak SKYFE sistem özelliklerinin son kullanıcılar tarafından kullanılabileceği bir test senaryosu hazırlanmıştır. Test sırasında gözlemci teste müdahil olmadan test görev performanslarını ya da kullanıcı memnuniyetini önemli şekilde etkileyen vakaları kayıt altına alırken, kontrolör ise teste başlamadan kullanıcıları testin içeriği hakkında bilgilendirme, kullanıcılara test görevlerini sağlama, kullanıcıların sesli düşünmelerini yönetme, kullanıcıların test esnasında ne yapmayı amaçladıklarını belirtmeleri hususunda yönlendirme ve test oturumunun idame ettirilmesi sorumluğunu icra etmiştir.
Hazırlanan test için çeşitli yaş, meslek ve mobil uygulama kullanma alışkanlıkları olan 16 kişilik bir grup oluşturulmuştur. Seçilen kullanıcılar, uygulamanın geliştirildiği platformlar için (IOS ve Android) eşit iki gruba ayrılmıştır. Katılımcılardan testi kendi başlarına ve uygulama hakkında bilgilendirme olmadan koşmaları istenmiştir. Test sırasında kullanıcıların geri dönüşleri gözlemlenmiş ve kaydedilmiştir.
Testin geçerli sonuçlar vermesini tehdit eden faktör kullanıcıların sesli düşünmekten çekinmesi durumudur. Bu faktörün etkisini en aza indirmek için kullanıcıların sistem hakkında düşüncelerini hiç çekincesiz ifade etmeleri yönünde gerekli telkin mekanizması işletilmiştir. Bunun yanı sıra, her bir platform için beş kişiden oluşan ilk kullanıcı kümesi ile elde edilen test sonuçları normal dağılım göstermemesinden dolayı, kullanıcı kümesinin genişletilerek her bir platform sekiz kişilik kullanıcı kümesiyle test edilmiştir.
Uygulanan test sonrasında kullanıcılara daha önceden Nielsen'in sezgisel değerlendirme metotlarına uygun olarak hazırlanmış olan anket uygulanmıştır. Anket soruları; sistem durumu görünürlüğü, sistem ve gerçek dünya arasındaki uyum, kullanıcı kontrol ve özgürlüğü, tutarlılık ve standartlar, hatırlama yerine tanıma, esneklik ve kullanım verimliliği, estetik ve minimalist tasarım ve kullanıcılara tanıma, teşhis ve hatadan kurtulma yardımı sağlama başlıkları altında gruplanmıştır. Ankette bulunan sorular için, kullanıcılardan dereceleri "Hiç, %10, %25, %50, %85 ve Her Zaman" olan seçeneklerden sadece birini işaretlemeleri istenmiştir. Sezgisel değerlendirme grupları ve her bir grubun kapsamı ile en çok örtüşen anket soruları Tablo-1'de bulunmaktadır.
Tablo 1. Anket Soruları ve Sezgisel Öznitelik Grup Bilgileri
Soru No Sezgisel Değerlendirme Grubu
Sistem Durumu Görünürlüğü (Visibility of System Status) 1 Uygulamada neler olup bittiğini anlıyorum.
Sistem ve Gerçek Dünya Arasındaki Uyum (Match Between System and The Real World) 2 Kullanılan ikonlara aşinayım. İkonlar kültürel değil, uluslararası yolcular için evrensel olarak tasarlanmış. 5 Menü içeriğe göre mantıklı kategorize edilmiş. Menü seçenekleri en mantıklı şekilde sıralanmış. 15 Bir dahaki uçuşumda, SKYFE’yi hatırlarım ve daha kolay kullanırım. 18 Müzik listemi yaratırken ve düzenlerken hiçbir sorunla karşılaşmadım.
Kullanıcı Kontrol ve Özgürlüğü (User Control and Freedom) 4 Sayfalar arası geçişler kolay. 8 Kısa yol menü kullanışlı ve ana sayfada yönlendirmeler yeterli. 16 İstemediğim bir durumdan çıkmam ve geri dönmem mümkün.
Tutarlılık ve Standartlar (Consistency and Standards) 9 Uygulamanın bütün ekranlarda formatı standart ve tutarlı. 10 SKYFE’nin renk kullanımı uygun ve başarılı. 11 SKYFE’nin yönlendirme dili tutarlı ve alışılagelmiş. 21 Benzer işlemleri benzer görevler için benzer elemanlar ile yapılır.
Hatırlama Yerine Tanıma (Recognition Rather than Recall) 3 Seçilen ikonun, diğer ikonlara göre fark edilmesi kolay. 6 Buton başlıkları ve etiketler açık ve anlaşılır.
Esneklik ve Kullanım Verimliliği (Flexibility and Efficiency of Use) 20 Bir filmin altyazısını ve dublajını kolayca ve hızlıca değiştirebiliyorum.
Estetik ve Minimalist Tasarım (Aesthetic and Minimalist Design) 13 Her bir ekranda ihtiyacım olan bütün bilgiler mevcut. 14 Uçuşlarla ilgili verilen bilgiler kesin, tam ve anlaşılması kolay. 17 Görsellerin hizalanışı ve yerleri iyi dengelenmiş ve seçilmiş. 19 Müzik listemi düzenlediğim ekranda tasarım eksiği ve gereksiz özellik yok.
Kullanıcılara Tanıma, Teşhis ve Hatadan Kurtulma Yardımı Sağlama
(Help Users Recognize, Diagnose, and Recover From Errors) 7 Uygulamada bir problem oluştuğunda anlaşılabiliyor. SKYFE bu problemleri önlemede yeterli ve yardımcı.
12 Hata mesajları bilgilendirme konusunda kısa ve öz.
Anket sorularının sezgisel öznitelik odaklı sonuçlar vermesi için kullanıcının anlamakta güçlük çektiği sorular, ilgili özniteliklere göre anket esnasında açıklanmıştır. Her kullanıcının, test sonrası uygulanmak üzere hazırlanan ve içeriği Tablo-1’de verilen anket sorularını yanıtlaması sonucunda elde edilen veriler 10 puan üzerinden değerlendirilmiştir ve sorulara "Her Zaman" yanıtını veren kullanıcıların cevapları, kullanılabilirlik hatalarına odaklanma ve veri setindeki maksimum örnek değerleri olma noktasında hesaplamaya dâhil edilmemiştir. Anket sonuçları sezgisel öznitelik bazlı olarak Şekil-1’de ve soru yönelimli olarak Şekil-2’de verilmektedir. Şekil 1: Sezgisel öznitelik bazlı değerlendirme ortalama sonuçları Şekil 2. Soru yönelimli değerlendirme ortalama sonuçları
Anket sonuçları ve sesli düşün kullanılarak yapılan gözlemlerin ışığında, esneklik ve kullanım verimliliği niteliğinin görsellerin hizalanışı ve yerlerinin kullanıcılar tarafından beklendiği gibi olmamasından ötürü eksiklik gösterdiği fark edildi. Ek olarak bazı işlevlerin kullanıcı tarafından geç fark edildiği anlaşıldı. Bu nedenle görsellerin hizalanışına, yerlerinin tekrar ayarlanmasına ve geç fark edilen özelliklerin kullanıcıların alışık olduğu şekilde yönlendirme eklenmesi gerektiği anlaşıldı.
Kullanıcılara sunulan içeriğin bütün sayfalarda yeterli olduğu değerlendirilmesine karşın estetik ve minimalist tasarım niteliğini güçlendirmek için birkaç buton metininin sadeleştirilmesi gerektiği ortaya çıktı.
Kullanıcıların istemedikleri durumdan kolayca çıkabildiği gözlemlendi fakat bazı butonlara bastıklarını fark edememeleri ve menüye bakarak hangi içeriği görüntülediklerini anlamamaları sayfalar arası geçişi zorlaştırdığından uygulamada kullanıcı kontrol ve özgürlüğünü kısıtladığı ve kullanıcıların bazı eylemleri algılayamayarak kullanıcıların hatırlama yükünü artırabileceği ortaya çıktı. Basılan butonun ve seçilen menü öğesinin seçilmeyenlere göre ayırt edici olması için butonlara efektler eklenerek geri besleme sağlanması gerektiği anlaşıldı. Bazı buton etiketlerinin ise kullanıcılar tarafından kolay anlaşılmaması da kullanıcıların hatırlama yükünü artıracağı sonucu çıkarıldığından anlaşılmayan buton etiketlerinin değiştirilmesi gerektiği ortaya çıktı.
Tasarlanan ikonların kullanıcıların büyük bir çoğunluğu tarafından anlaşılması sonucu, sistem ve gerçek dünya arasında bu bağlamda uyumun sağlandığı ve ikonların evrensel olduğu değerlendirildi. Sadece bir ikonun kullanıcılar tarafından anlaşılmadığı sesli düşün metoduyla ortaya çıktığından, o ikonun tekrar tasarlanmasına karar verildi. Kullanıcıların bir işlevi yaptıktan sonra benzer işlevleri daha kolay yapabilmeleri uygulamada benzer işlevlerin benzer elemanları ve yöntemleri kullandığını ve yönlendirme dilinin tutarlı olduğunu fark ettirdi.
Hata mesajlarından birkaçının kullanıcıları yanlış yönlendirebildiğinin gözlenmesi kullanıcılara hatadan kurtulma yardımı sağlama açısından eksiklik olduğunu gösterdiğinden bu hata mesajlarının metinlerinin daha öz ve anlaşılır olma gereği ile beraber yönlendirmelerin sadeleştirilmesi ihtiyacı tespit edildi. Bu çalışmada, HAVELSAN A.Ş. ve THY Teknik A.Ş. tarafından ortaklaşa geliştirilmeye başlanan ilk yerli kablosuz Kabin İçi Eğlence Sistemi olan SKYFE’nin, belli kullanıcılar tarafından, belirli bir kullanım çerçevesinde, belirlenmiş olan hedeflere ulaşmak için etkililik, verimlilik ve memnuniyet kapsamında kullanılabilirliği araştırılmıştır.
Araştırma sonunda kullanıcıların yazılı ve sözlü ifadelerinden, olumlu ve olumsuz gözlemlerinin yanı sıra beklentileri de saptanabilmiştir. Araştırma sonucu elde edilen bulgular doğrultusunda SKYFE’nin içerik ve tasarımı ile ilgili düzenlemelerin yapılabilmesi ve kullanılabilirliğinin artırılabilmesi için değişiklik önerilerinde bulunulmuştur. Kullanılabilirlik testinden elde edilen bulgular ve öneriler kapsamında, SKYFE'nin grafiksel kullanıcı arayüz tasarımının etkilenen kısımları için uymazlıklar açılmış ve bunların çözümüyle beraber kullanılabilirlik kapsamında SKYFE yazılımının olgunlaştırılması sağlanmıştır. Buradan hareketle benzer yazılım projelerinde de bu araştırmadan elde edilen bulgulardan ve önerilerden yararlanılmasının faydalı olacağı öngörülmüştür.