=Paper= {{Paper |id=Vol-1980/UYMS17_paper_46 |storemode=property |title=Kullanici Merkezli Tasarim Yaklasimi ile Isletme Ici Uygulama Gelistirme Deneyimi: Satis Yonetimi Onay Yazilimi Ornegi(In-house Application Development Experience with User Centered Design Approach: Sales Management Approval Software Case) |pdfUrl=https://ceur-ws.org/Vol-1980/UYMS17_paper_46.pdf |volume=Vol-1980 |authors=Fatma Gozde Aytekin,Emrah Altug,Pinar Onay Durdu |dblpUrl=https://dblp.org/rec/conf/uyms/AytekinAD17 }} ==Kullanici Merkezli Tasarim Yaklasimi ile Isletme Ici Uygulama Gelistirme Deneyimi: Satis Yonetimi Onay Yazilimi Ornegi(In-house Application Development Experience with User Centered Design Approach: Sales Management Approval Software Case)== https://ceur-ws.org/Vol-1980/UYMS17_paper_46.pdf

Kullanıcı Merkezli Tasarım Yaklaşımı ile İşletme İçi
Uygulama Geliştirme Deneyimi: Satış Yönetimi Onay
Yazılımı Örneği

Fatma Gözde AYTEKİN1, Emrah ALTUĞ2, Pınar ONAY DURDU3
1
Endüstri Mühendisliği Bölümü, Fen Bilimleri Enst., Kocaeli Üniversitesi, Kocaeli, Türkiye
2
Bilgisayar Mühendisliği Bölümü, Fen Bilimleri Enst., Kocaeli Üniversitesi, Kocaeli, Türkiye
3
Bilgisayar Mühendisliği Bölümü, Mühendislik Fak., Kocaeli Üniversitesi, Kocaeli, Türkiye
1
gozde.aytekinn@gmail.com,
2
emrahaltug@gmail.com,
3
pinar.onaydurdu@kocaeli.edu.tr

Özet. Çalışma kapsamında bir işletmedeki satış süreçlerinde işletme içi onay iş-
lemlerinin elektronik ortamda yönetilmesine yönelik bir yazılımın kullanıcı
merkezli tasarım yaklaşımı benimsenerek gerçekleştirilen geliştirme aşamaları
sunulmuştur. Yazılım geliştirme sürecinde, kullanılabilirlik değerlendirme yak-
laşımları ile geliştirilmekte olan yazılımın etkililiği ve verimliliğinin değerlen-
dirilmesi iki aşamalı olarak gerçekleştirilen kullanılabilirlik testleri ile sağlan-
mıştır. Elde edilen bulgular doğrultusunda yazılımdaki tasarım eksiklikleri tes-
pit edilerek, yapılacak yazılım iyileştirmeleri planlanmıştır. Bu çalışma ile yazı-
lım tasarımının her aşamasında kullanıcıların tasarıma dahil edilmesi sağlana-
rak, kullanılabilirlik testleri ile, tasarımdan beklentilerinin ne ölçüde karşılandı-
ğının değerlendirilmesinin yazılım geliştirme süreçlerinde kolaylıkla uygulana-
bileceği örneklenmiştir.

Anahtar Kelimeler: Kullanıcı Merkezli Tasarım, Kullanılabilirlik, Kullanılabi-
lirlik Testi, Kullanılabilirlik Değerlendirmesi

In-house Application Development Experience with User
Centered Design Approach: Sales Management Approval
Software Case

Abstract. In the scope of the study, the development stages are implemented by
adopting a user-centered design approach to a software for managing in-house
approval processes in the sales process of an enterprise. In the software devel-
opment process, evaluation of the effectiveness and efficiency of the software
being developed by the usability evaluation approaches is provided by two-
stage usability tests. In the course of the findings, software design deficiencies

53
are identified and improvements are planned. The study demonstrates that how
easy it is to evaluate how well design expectations are met by usability testing
by incorporating users at every stage of software design in the software design
process.

Keywords: User Centered Design, Usability, Usability Testing, Usability Eval-
uation

1 Giriş

Günümüzde yazılım sistemleri günlük yaşantımızın ayrılmaz bir parçası haline gel-
miştir. Firmaların geliştirdikleri yazılımlarda fonksiyonel ve teknik gerekliliklerin
yanı sıra müşteri istekleri, kullanıcıların ihtiyaç ve beklentilerinin de karşılanmış ol-
ması önemli avantaj sağlamaktadır. Müşteri için hangi ürün özelliklerinin anlamlı
olduğunu anlamak ve müşteriden gelen geri beslemeleri de dikkate alarak ürünün
tasarım sürecini yönetmek önemli bir konudur [1, 2].
Bir yazılım sisteminin kullanıcıları tarafından kabul edilip kullanılması, kullanıcı-
ların görevlerini gerçekleştirirken kolay, etkili ve memnuniyet verici şekilde gerçek-
leştirmelerini sağlamasına bağlıdır [3]. Yazılım sistemleri için yapılan bu tanımlama
İnsan Bilgisayar Etkileşimi alanının temel konusu olan kullanılabilirlik kavramına
karşılık gelmektedir. Diğer taraftan kullanılabilirlik kavramı günümüzde herhangi bir
yazılım ürünü için olmazsa olmaz kalite ölçütlerinden biri haline gelmiştir [4]. ISO
standartlarında kullanılabilirlik kavramına yönelik kullanım kalitesi [5] ve yazılım
kalitesi [6] olarak iki tanım yer almaktadır. Kullanım kalitesi sistemin ne derece etkin,
verimli ve tatmin edici kullanılabildiğini, yazılım kalitesi ise kullanılabilirliğin belir-
lenen şartlar altında anlaşılacak, öğrenilecek, kullanılacak ve beğenilecek yazılım
olma becerisini ifade etmektedir [7]. Kullanılabilirlik birçok yönü ile özellikle ara yüz
değerlendirmede birincil öneme sahiptir. Kullanılabilirlik ara yüz için öğrenilebilirlik,
kullanım etkinliği, hatırlanabilirlik, yapılan hatalar ve memnuniyet gibi olguları da
içerisinde barındırır [8]. Kullanılabilir olmayan ürünlerin hem para hem de zaman
kaybına neden olması ve bazı durumlarda ürün kullanılabilirliğinin kullanıcıların
güvenliğini etkilemesi de kullanılabilirliğin önemini arttırmaktadır [9]. Kullanılabilir
yazılım sistemleri geliştirmenin sağlanabilmesi için kullanıcı merkezli tasarım yakla-
şımının uygulanması gerekmektedir. Bu yaklaşımda, kullanıcılar sistem odaklı tasa-
rımlardan farklı olarak tasarım sürecinin doğrudan içinde yer almaktadır. Kullanıcı-
lardan elde edilen bilgiler ile sistemin kullanılabilirliği, kullanışlılığı ve erişilebilirli-
ğin geliştirilmesi hedef alınmaktadır [10]. Proje tamamlandıktan sonraki yeniden
işleme; işletmelerin, eğitim için harcadıkları süreye kıyasla daha pahalı ve daha za-
man alıcı olabileceğinden, yazılım tasarımcıları için proje yaşam döngüsü boyunca
kullanılabilirliğin önemi ve yazılım tasarımına nasıl entegre edileceği konusunda
kullanılabilirlik eğitimi düzenlemesi, proje tamamlanma süresini ve maliyetini düşü-
recektir [11].
Geliştirilen ticari yazılım sistemlerinin kullanılabilirlikleri, ticari başarıları açısın-
dan önemli bir önkoşul haline gelmiştir. Ancak kullanıcılar açısından bakılacak olur-
sa, kullanılabilir olmayan ticari yazılımların piyasada pek çok başka alternatifinin

54
bulunma olasılığı nedeniyle bu uygulamalara zorunlu kalmayacaklardır. Diğer taraf-
tan işletme içi geliştirilen yazılım sistemleri için kullanılabilirliğin sağlanması ve
kullanıcı merkezli tasarım yaklaşımının ürün geliştirmede uygulanması daha fazla
önem kazanmaktadır. Çünkü son kullanıcılar için kullanabilecekleri başka bir alterna-
tif bulunmamaktadır. Bu çalışma kapsamında kullanıcı merkezli tasarım yaklaşımı
kullanılarak geliştirilen bir işletme içi yazılım programında uygulanan adımlar payla-
şılacaktır. Kapsam dahilinde sunulan yazılım, bir işletmedeki satış süreçlerinde işlet-
me içi onay işlemlerinin elektronik ortamda yönetilmesine yönelik olarak geliştirilen
Satış Yönetimi Onay Yazılımıdır.
Özellikle işletme içindeki işleyişin ve işletmenin müşteri ile olan ilişkilerinin sağ-
lıklı yürütülmesi konusunda müşteriye teklif ve sipariş verme süreçleri yönetiminin
etkin yapılabileceği bir yazılım ihtiyacı bulunmaktadır. Bu nedenle üst yönetim onayı
ile bilgi teknolojileri departmanında bir yazılım geliştirme projesi başlatılmıştır. Mev-
cut durumda teklif ve siparişler, ıslak imzalı olarak işletme içinde ilgili kişilerin onayı
ile müşteriye iletilmektedir. Geliştirilecek yazılım ile teklif ve sipariş onay sürecinin
elektronik olarak yürütülmesi hedeflenmektedir. Satış Yönetimi Onay Yazılımında;
öncelikli olarak satış departmanı çalışanları tarafından sisteme teklif ve siparişlere ait
bilgi ve ilişkili dokümanlar girilerek; ilgili onaylayıcı listesinin oluşturulması ve onay
sürecinin başlatılması, sağlanacaktır. Onaylayıcı listesindeki ilgili rollerin teklif ve
siparişlere ait bilgileri incelemeleri ve onaylamaları ardından süreç sonlanacaktır.
Satış Yönetimi Onay Yazılımının geliştirilmesinde beklenen fayda; onay aşamasında
ve sonrasında teklif ve siparişler ile ilgili ayrıntılı bilgiye kolay ve kontrollü bir şekil-
de erişimin sağlanması, onaylayıcıların kayıt altına alınması, sürecin elektronik olarak
yürütülmesi ile sürecin hızlanması, müşteriye karşı da doğabilecek gecikmelerin en-
gellenmesidir. Ayrıca gizlilik ve bilgi güvenliğinin sağlanması adına onayların elekt-
ronik imza ile verilmesi talep edilmiştir. Bu sayede imzalanmış verinin kimin tarafın-
dan, ne zaman imzalandığı ve güvenilirliği kontrol edilmiş olacaktır.
Geliştirilecek yazılım; işletme içerisinde halihazırda kullanılan SAP (Systems,
Applications and Products in Data Processing) ERP (Enterprise Resource Planning)
sisteminde geliştirilecek ve SAP ile entegre çalışacaktır. Çalışmada takip eden bö-
lümde çalışmanın katılımcıları, veri toplama süreci ve kullanılan araçlar dâhil olmak
üzere izlenen yöntem açıklanmıştır. Bulgular bölümünde, kullanılabilirlik testi aşama-
ları tanımlanmış, analiz sonuçları ve kullanılabilirlik testi görevlerinde yapılan tespit-
ler raporlanmıştır. Sonuç bölümünde çalışmanın özeti yapılmış, çalışmanın sonuçları
değerlendirilmiş, kazanımlarına yer verilmiştir.

2 Yöntem

Satış Yönetimi Onay Yazılımının geliştirilmesi sırasında kullanıcı merkezli tasarım
sürecinin üç temel ilkesi benimsenmiştir [12].
1. Kullanıcılar ve görevlere önceden odaklanma: Sistemi kullanacak kullanıcı kitlesi-
nin özellikleri, amaçları, becerileri, ihtiyaçları ve beklentilerinin belirlenmesi için
kullanıcıların gözlenebilmesi önemlidir. Böylece kullanıcıların bilişsel, tutumsal ve
davranışsal özellikleri hakkında detaylı bilgi edinmek mümkün olacaktır.

55
2. Ürün kullanımının değerlendirilmesi: Ara yüz tasarımları kullanıcılar ile kullanım
ve öğrenim kolaylığı ve erişilebilirliği açılarından değerlendirilmelidir.
3. Döngüsel tasarım: Ürün geliştirme sürecinde tasarımlar, kullanıcıların beklentileri-
ne yönelik olarak yeniden tasarlanmalıdır.
Yukarıda tanımlanan kriterlere uygun olarak uygulanan yazılım geliştirme sürecinde
birinci kriter doğrultusunda; geliştirilecek sistem için kullanıcı profilleri belirlenmiş
ve bu kullanıcılar gözlemlenmiştir. Yine bu kullanıcı profillerinden temsili katılımcı-
lar ile görüşmeler, beyin fırtınası ya da odak grubu etkinlikleri gerçekleştirilerek ge-
reksinimler toplanmıştır. İlk gereksinimlerin tespiti sonrasında uygulamada yer alacak
ara yüzler belirlenerek bunların prototipleri oluşturulmuştur. İkinci kriter doğrultu-
sunda tasarım belli bir aşamaya geldiğinde yazılım birim testleri, ara yüz ve entegras-
yon testleri sonrasında kullanılabilirlik değerlendirmeleri gerçekleştirilmiştir. Elde
edilen bulgular doğrultusunda yazılımda yapılacak iyileştirmeler tespit edilmiştir.
Üçüncü kriterle ilişkili olarak da tüm bu adımlar döngüsel bir şekilde yazılım iyileşti-
rilmesi için girdi olarak geliştirme sürecinde yer almıştır. Şekil 2’de süreci özetleyen
bir diyagram verilmiştir.

Şekil 1. Süreci özetleyen bir diyagram

Kullanılabilirlik değerlendirmelerinde testler iki aşamalı olarak gerçekleştirilmiştir.
Birinci aşamadaki testin uygulanmasındaki amaç; yazılımı daha önce hiç kullanmamış
farklı profile sahip iki katılımcı grubunun yazılım kullanımı ile ilgili yaşadıkları kul-
lanılabilirlik sorunlarının tespiti ve SAP’yi kullanma derecelerinin bu tasarımın kulla-
nılabilirliği üzerinde etkili olup olmadığının görülmesidir. İkinci aşamadaki testte ise
teklif ve siparişi onaya gönderme ve onaylama aşamaları olmak üzere iki kategoride
görevler oluşturulmuştur. Birinci kategorideki teklif ve siparişin onaya gönderilmesi-
ne kadarki süreç, daha önce hiç test edilmemiş görevlerden oluşmuştur. Böylece yazı-
lım eksiklikleri tespit edilerek iyileştirme yapılabilecektir. İkinci kategori ise aynı
profile sahip katılımcı gruplarının yazılımı ilk kez ve ikinci kullanımlarında yaşadık-

56
ları deneyimlerin incelenmesi ve buna bağlı olarak yazılım kullanılabilirliğinde artış
olup olmayacağı sorularına cevap aramaktadır.

2.1 Katılımcılar
Kullanılabilirlik çalışmalarına katılacak katılımcı sayısının ne olması gerektiği ile
ilgili alan yazında farklı görüşler yer almaktadır. [13], [8] ve [14] 5 kişi ile kullanıla-
bilirlik problemlerinin büyük bir çoğunluğunun (%80) tespit edilebileceğini savun-
maktadır. Diğer taraftan başka bir çalışmada [15] kullanılabilirlik problemlerinin en
az %80 oranında tespit edilmesine yönelik katılımcı sayısının 4±1 modeli incelenmiş
ve elde edilen sonuçlara göre 4±1 kuralını ancak bütçe veya kişi sınırı olan durumlar-
da ya da karmaşık olmayan küçük ölçekli projelerde makul bulunmuştur. Bu bağlam-
da 5 kuralının her durumda kapsayıcı olmadığı göz önünde bulundurulmalıdır. Çalış-
mada katılımcıların hedef kitleyi temsil etmesine özen gösterecek şekilde belirleme
yapılmıştır.
Öncelikle geliştirilen yazılım ile ilgili gelen taleplerin hangi kullanıcılardan geldiği
incelenmiş, bu kullanıcıların katılımcı olmaları sağlanmaya çalışılmıştır. Projedeki
zaman kısıtı göz önünde bulundurularak farklı kullanıcı tiplerinde her tip için 5’ten az
olmayacak şekilde testler gerçekleştirilmiştir. Katılımcı profilleri Tablo 1’de verilmiş-
tir. İlk aşama kullanılabilirlik testindeki I. Tip katılımcı grubu SAP sistemini genel
anlamda çok sık kullanan; her teklif/sipariş bilgilerinin sistemde oluşturulması ve
onayında yazılımı kullanacak olan satış departmanı çalışanlarından (S) oluşmaktadır.
II. Tip katılımcı grubu ise sisteme haftada ortalama 10 kere giriş yapan ve geliştirilen
yazılımı sadece kendi proje ve departmanları ile ilgili bir teklif/sipariş açıldığında
onaylamak için kullanacak olan proje yöneticileri, proje yöneticisi yardımcıları ve
departman yöneticisinden (K) oluşmaktadır. İkinci aşama kullanılabilirlik testleri ise
sadece satış departmanı çalışanları ile gerçekleştirilmiştir. Testlere katılan I. Tip katı-
lımcı grubu birinci aşama kullanılabilirlik değerlendirilmesinde de yer almış olan
gruptur, III. Tip katılımcı grubu ise yazılımı ilk kez kullanacak olan katılımcılardan
(T) oluşmaktadır.

Tablo 1. Kullanılabilirlik değerlendirmeleri katılımcı profilleri
Kullanılabilirlik Testi Birinci Aşama Katılımcı Kullanılabilirlik Testi İkinci Aşama Katılımcı
Grupları Grupları
I. Tip Katılımcı Grubu I. Tip Katılımcı Grubu
Satış Departmanı Çalışanları
Satış Departmanı Çalışanları 7 Kişi 7 Kişi
(Birinci aşamaya katılan satış ekibi)
II. Tip Katılımcı Grubu III. Tip Katılımcı Grubu
Proje Yöneticileri 4 Kişi
Satış Departmanı Çalışanları
Proje Yönetici Yardımcısı 2 Kişi 5 Kişi
(Yazılımı ilk kez kullanan satış ekibi)
Departman Yöneticisi 1 Kişi

57
2.2 Veri Toplama Süreci ve Kullanılan Araçlar
Satış Yönetimi Onay yazılımı için belirlenen gereksinimler doğrultusunda ara yüz
prototipleri oluşturulmuş ve bunların değerlendirilmesi için de kullanıcı görevleri
belirlenmiştir. Kullanılabilirlik değerlendirmesi birinci aşama için teklifin elektronik
ortamda onaylanmasına ait süreci kapsayan 14 adet görev tanımlanmıştır. İkinci aşa-
ma testlerinde ise yazılımı en fazla kullanacak olan satış departmanı katılımcıları için
görev listesi 15 maddeden ve geliştirilen yazılımın özelliği gereği iki kategoriden
oluşmaktadır. İlk kategori görevleri teklifin yaratılmasından başlayarak teklifin onaya
sunulması ile sona ermektedir. İkinci kategori görevleri ise aynı zamanda birinci aşa-
madaki teklifin onaylanması ile ilgili aynı görevlerden oluşmaktadır.
Geliştirilen yazılım geliştirme ortamından test ortamına taşınarak kullanıcıların ya-
zılımı bu ortamda test etmesi sağlanmıştır. Tüm katılımcılara test ortamına giriş yapa-
bilmesini sağlayacak bilgiler (kullanıcı adı, parola) ve görev listesi test başlamadan
önce verilmiştir. Katılımcıların kullanılabilirlik testi yapacakları bilgisayara gerekli
yazılımlar yüklenmiştir, görev tamamlama süreleri kaydedilmiştir. Görevlerin tamam-
lanması sırasında, katılımcılardan görevleri gerçekleştirirken sesli düşünmeleri isten-
miş ve kullanıcı yorumları not alınmıştır. Alınan notlar geliştirilen yazılım için geri
besleme sağlamıştır. Katılımcılara programın performansı hakkında kullanımında
karşılaştıkları güçlükler ve önerileri sorulmuştur.

3 Bulgular

3.1 Kullanılabilirlik Testi Birinci Aşama
Kullanılabilirlik testi birinci aşama sonunda katılımcı bazında görevlerin tamamlanma
süreleri ölçülmüş ve Tablo 2’te gösterilmiştir.

58
Tablo 2. Kullanılabilirlik testi birinci aşama görevlerin tamamlanma süreleri (sn)
Görevler I. Tip Katılımcı Grubu Ortala II. Tip Katılımcı Grubu Ortala
ma ma
Görev
Görev Matrisi S1 S2 S3 S4 S5 S6 S7 Süre K1 K2 K3 K4 K5 K6 K7 Süre
No (sn) (sn)
1 Gelen İş Listene Git 4 5 2 5 2 3 3 3,4 2 2 2 3 2 2 4 2,4
2 Teklif Çıktısına Tıkla 2 5 4 2 2 2 3 2,9 2 4 2 2 4 2 4 2,9
Çıktı Açılınca İlk Sayfayı
3 3,4 3,0
Kontrol Et 2 4 3 3 3 4 5 4 3 2 3 4 2 3
4 Çıktıyı Kapa 2 2 3 1 2 1 2 1,9 4 2 2 2 2 1 2 2,1
5 Teklif Eklerini Tıkla 2 4 3 2 2 2 3 2,6 3 3 2 2 3 2 3 2,6
6 Ekler Açıldığında Kapatıp Çık 3 5 2 5 3 4 4 3,7 3 2 4 3 2 2 5 3,0
Bilgilendirme Dokümanını
7
Tıkla 2 1 2 3 2 2 3 2,1 3 3 2 2 2 2 3 2,4
Bilgilendirme Dokümanı
8 3,4
Açıldığında Kapatıp Çık 3 4 3 3 3 4 4 3 2 3 3 3 2 3 2,7
9 Maliyet Bilgisini Kontrol Et 11 42 23 28 40 29 35 29,7 44 32 26 21 36 22 33 30,6
Açıklama Yaz (Yazılacak
10 açıklama; bu bir test
çalışmasıdır.) 5 10 8 14 15 18 16 12,3 14 5 8 10 17 7 6 9,6
11 Onaycı Listesini Kontrol Et 12 23 17 26 30 27 16 21,6 29 21 22 18 24 11 23 21,1
Kabul ya da Red
12
Seçeneklerinden Birine Tıkla 3 5 4 2 4 2 5 3,6 2 2 3 3 2 2 3 2,4
13 Sakla Tuşuna Bas 2 5 4 5 8 7 10 5,9 8 6 3 3 7 3 6 5,1
E-İmzanı At, Teklifi Bir
14
Sonraki Onaycıya Gönder 5 8 5 4 5 5 9 5,9 4 4 5 4 4 4 6 4,4
TOPLAM Süre (sn) 58 123 83 103 121 110 118 102,3 125 91 86 79 112 64 104 94,43

Geliştirilen yazılımda; SAP’yi tanıma, sık kullanma ve departman farklılığı gibi konu-
ların iki grup arasında farklılık yaratıp yaratmadığı araştırılmaktadır. İki gruptaki
görev tamamlama süreleri ortalamaları Mann-Whitney U testi [16, 17] ile karşılaştı-
rıldığında anlamlı bir fark tespit edilmemiştir (p=0.41; p > 0.05). Ayrıca test sırasında
katılımcıların görev tamamlama başarıları gözlemlenmiş ve Tablo 3’te testlerdeki
başarı durumları verilmiştir.
Teklif çıktısının görüntülenmesini sağlayan Görev 2’de kullanıcılar %71 oranında
başarılı olmuştur ancak çıktının görüntüleneceği sütunda çıktı butonu yerine doğrudan
teklif görüntüleme butonuna tıklayan %29 oranında kullanıcının çoğunlukla satış
departmanı kullanıcıları olduğu gözlemlenmiştir. Kullanıcılar teklif numarasına tık-
lama eğilimi gösterdiklerini dile getirmişlerdir. Maliyet bilgisine ulaşılmasını içeren
Görev 9’u sadece bir katılımcının tamamlayabildiği, yedi katılımcının ise görevi ta-
mamlayamadığı gözlemlenmiştir. Katılımcılar ara yüzdeki maliyet sütununda maliyeti
göster butonuna tıkladıklarında maliyet bilgisine ulaşmayı beklediklerini ancak açılan
ekranda ilgili proje kodunun göründüğünü ve maliyete ilişkin bir bilgi görünmediğin-
den ekranı kapatıp çıktıklarını ifade etmişlerdir. Programda proje koduna çift tıklan-
dığında projeye ait maliyet bilgisi görünmektedir. Ancak bu görevi sadece bir katı-
lımcı tesadüfen başarı ile tamamlamıştır. Proje koduna tıklandığında maliyet bilgisine
ulaşılacağını ifade eden bilginin ilgili ekranda yer almasının sağlanması gerekliliği
görülmüştür. Katılımcıların hiçbirinin başarılı olarak tamamlayamadıkları Görev
11’de katılımcılar yazılım ara yüzünde onaylayıcı listesi gibi bir ifade göremedikle-
rinden bu görevi tamamlayamadıklarını belirtmiştir. Katılımcıların ancak beş tanesi

59
onayda bekleyen sütununda kendi isimlerinin üzerine çift tıklamayı denemiş ve tüm
onaylayıcı listesine bu şekilde ulaşmışlardır. Onaylayıcı listesine kolay ulaşılamadığı-
nı ifade etmişlerdir. Görev 13’de yer alan teklifin kontrolünün bitirilerek Kabul ya da
Red seçeneklerinden biri seçilip kaydedilmek istendiğinde ise öncelikle ilgili teklif
satırı seçildikten sonra sakla tuşuna basılmalıdır ancak katılımcıların sadece %42’si
bu görevi başarılı şekilde tamamlamışlardır. Kalan katılımcılar ise doğrudan sakla
tuşuna basma denemelerinde bulunmuş sonrasında ilgili satırı seçerek kaydetmeleri
gerektiğini fark etmişlerdir. Sakla tuşuna bastıklarında önce satırı seçmeleri gerektiği-
ni ifade eden bir uyarı ekranı karşılarına çıkarsa yönlendirici olacağını söylemişlerdir.

Tablo 3. Kullanılabilirlik testi görev tamamlama başarı durumu
Görevler Başarı Durumu
Görev No Görev Matrisi Başarılı Zorlandı Başarısız Başarı Yüzdesi %
1 Gelen İş Listene Git 14 0 0 100,00
2 Teklif Çıktısına Tıkla 10 4 0 71,43
3 Çıktı Açılınca İlk Sayfayı Kontrol Et 14 0 0 100,00
4 Çıktıyı Kapa 13 1 0 92,86
5 Teklif Eklerini Tıkla 14 0 0 100,00
6 Ekler Açıldığında Kapatıp Çık 14 0 0 100,00
7 Bilgilendirme Dokümanını Tıkla 14 0 0 100,00
8 Bilgilendirme Dokümanı Açıldığında Kapatıp Çık 14 0 0 100,00
9 Maliyet Bilgisini Kontrol Et 1 6 7 7,14
10 Açıklama Yaz (Yazılacak açıklama; bu bir test çalışmasıdır.) 8 6 0 75,00
11 Onaycı Listesini Kontrol Et 0 5 9 0,00
12 Kabul ya da Red Seçeneklerinden Birine Tıkla 14 0 0 100,00
13 Sakla Tuşuna Bas 6 8 0 42,86
14 E-İmzanı At, Teklifi Bir Sonraki Onaycıya Gönder 11 3 0 78,57

Başarı oranı yüksek olan görevlerde ise yapılmak istenen adımların ilgili yazılım ara
yüzünde açık ve net şekilde görünen görevler olduğu gözlemlenmiştir. II. Tip Katı-
lımcı grubu analizler sırasında talep etmedikleri bir isteği kullanılabilirlik testleri
sırasında fark ettiklerini dile getirmişlerdir.

3.2 Kullanılabilirlik Testi İkinci Aşama
Kullanılabilirlik testi ikinci aşamada görevler kategori I ve kategori II olmak üzere
ikiye ayrılmıştır. Her görev ve kullanıcı bazında görevlerin tamamlanma süreleri, aynı
zamanda ortalama süreler Tablo 4’te verilmiştir.
Kategori I’deki görevleri her iki katılımcı grubu da ilk defa gerçekleştirmişlerdir.
Görev 3’teki doküman türlerinin yanı sıra işletme içi bilgilendirmeyi sağlayan yeni bir
doküman türünün oluşturulması talep edilmiştir. Görev 4 kapsamında onaylayıcı liste-
sinin oluşturulması sırasında onaylayacak kişilerin seçimini yaparken katılımcıların
yanlış işlem yapması ve yapılan hatanın geri alınamaması görevlerin tamamlanma
sürelerinde uzamaya neden olmuştur.

60
Tablo 4. Kullanılabilirlik testi ikinci aşama görevlerin tamamlanma süreleri
Görevler I. Tip Katılımcı Grubu Ortala III. Tip Katılımcı Grubu Ortala
ma ma
Kate Görev
Görev Matrisi S1 S2 S3 S4 S5 S6 S7 Süre Y1 Y2 Y3 Y4 Y5 Süre
gori No (sn) (sn)
Teklifi Yarat (müşteri, malzeme, SAS no,
1
geçerlilik tarihi, fiyat bilgisi girilir.) 30 35 28 40 25 38 42 34,0 40 25 27 35 38 33
2 Teklif Çıktısını Kontrol Et 4 5 8 7 6 5 6 5,9 9 10 8 12 10 9,8
Teklife Gir, Teklif Eki Ekle 1 adet, Teklife
I 3
Bilgilendirme Dokümanı Ekle 1 adet
20 25 30 27 21 32 13 24,0 23 27 30 35 25 28
Teklif Onaycı Listesini Oluştur, Onaycı
4
Listesini Kaydet 22 27 29 36 40 41 32 32,4 25 47 28 32 41 34,6
5 Teklif Onay Sürecini Başlat 2 1 1 1 2 1 1 1,3 1 2 2 1 1 1,4
6 Gelen İş Listene Git 3 2 4 2 3 4 3 3,0 4 3 7 5 6 5
Teklif Çıktısına Tıkla, Çıktı Açılınca İlk
7
Sayfayı Kontrol Et, Çıktıyı Kapa 5 3 4 3 4 5 2 3,7 5 9 7 4 6 6,2
Teklif Eklerini Tıkla, Ekler Açıldığında
8
Kapatıp Çık 2 2 3 2 3 3 3 2,6 4 4 5 4 6 4,6
Bilgilendirme Dokümanını Tıkla,
9 Bilgilendirme Dokümanı Açıldığında
Kapatıp Çık 2 2 2 3 4 2 2 2,4 5 6 6 7 8 6,4
II 10 Maliyet Bilgisini Kontrol Et 4 5 4 6 5 5 4 4,7 25 17 35 22 28 25,4
Açıklama Yaz (Yazılacak açıklama; bu bir
11
test çalışmasıdır.) 7 8 8 9 7 10 9 8,3 10 11 9 13 12 11
12 Onaycı Listesini Kontrol Et 5 4 3 4 3 3 4 3,7 18 25 19 20 23 21
Kabul ya da Red Seçeneklerinden Birine
13
Tıkla 1 1 2 1 1 1 1 1,1 2 1 2 1 2 1,6
14 Sakla Tuşuna Bas 3 3 4 3 2 2 3 2,9 9 8 6 10 7 8
E-İmzanı At, Teklifi Bir Sonraki Onaycıya
15
Gönder 2 3 2 4 3 4 2 2,9 4 3 5 4 4 4
TOPLAM Süre (sn) 112 126 132 148 129 156 127 132,9 184 198 196 205 217 200

Kategori II’deki Görev 7’de teklif çıktısının hem Türkçe hem de İngilizce çıktı alanla-
rında sanki çıktı varmış gibi görünen görüntüle butonu mevcuttur, kullanıcıların teklif
Türkçe verilmiş olmasına rağmen İngilizce butonunu tıkladıkları gözlemlenmiştir.
Onay ekranında teklif hangi dilden verildi ise sadece o çıktının aktif olması sağlanma-
lıdır. Bu durum da programda düzeltilecek madde olarak kayıt altına alınmıştır. Görev
10 ve görev 12’de kullanılabilirlik testi birinci aşamada tespit edilen sorunlar ikinci
aşamada da karşılaşılmıştır. Ancak ilk teste katılan I Tip katılımcı grubunun bu testte
daha başarılı sonuçlar elde ettiği görülmektedir. Görev 14’te onaylayıcıların “Kabul”
ya da “Red” seçeneğini tıklamaları ardından sakla butonuna bastıklarında e-imza
atmaları gerekmektedir. Fakat e-imzalarını attıktan sonra ekranda sağ alt köşede yeşil
bir onaylandı işareti belirmektedir. Onaylandı işaretine basmaları gerektiğini kullanı-
cıların bulmasının zaman aldığı gözlemlenmiştir. Hatta basmayı unutarak programı
kapatıp çıkan iki kullanıcı olmuştur.
Her iki kullanılabilirlik testinde yer alan ortak görevler işletme içinde yazılım kul-
lanıma alındığında farklı kullanıcı rolleri tarafından kullanılacak görevler olduğundan
kullanıcı memnuniyetinin sağlanması ve etkili bir yazılım geliştirilmiş olması açısın-
dan önemli bir role sahiptir ve iyileştirme için doğru tespitlerin yapılması önem taşı-
maktadır. I Tip katılımcı grubu her iki kullanılabilirlik testine katılmıştır ve görev
tamamlama süreleri arasında anlamlı bir fark tespit edilmiştir (p<0.05). Hangi görev-
de ortalama olarak ne kadar süre farkı olduğu Şekil 2’de görülmektedir. Sürelerdeki

61
bu farklılık bize aslında öğrenme etkisini göstermektedir. Ancak geliştirilen yazılımı
sadece kendi proje ve departmanları ile ilgili bir teklif/siparişi onaylamak için kulla-
nacak olan kullanıcı grubu için hatırlanabilirlik, yazılımı sürekli kullanan kullanıcılar
kadar kolay olmayabilir. Özellikle ilk tamamlama süreleri oldukça yüksek olan görev-
ler ilk kullanıcılar açısından zorluk çıkaracak ve yazılıma karşı olumsuz tutum geliş-
tirmelerini sağlayacak kullanılabilirlik problemlerine işaret etmektedir. Diğer taraftan
birinci ve ikinci kullanımda süre açısından fazla iyileşme gözlenmeyen görevlerin de
beraber ele alınarak programda iyileştirmelerin yapılmasının fayda sağlayacağı açık-
tır.

Şekil 2. Görev numaralarına göre katılımcı ortalamaları karşılaştırması

4 Sonuç ve Öneriler

Yazılım geliştirme süreçlerinde kullanıcı merkezli tasarım ve kullanılabilirlik değer-
lendirmelerinin uygulanması genelde zaman ve maliyet kısıtından dolayı göz ardı
edilmektedir. Ancak kullanım sonrasında çıkan yeni isteklerin uygulanması ve kulla-
nıcıların sistemde yaşadıkları sıkıntılardan dolayı sürekli destek alması durumu çoğu
zaman yazılım geliştirme maliyetlerini ve sürelerini oldukça yükseltmektedir. Kulla-
nıcıların fonksiyonel ihtiyaçlarını karşılayan bir yazılım geliştirmek kadar kolay kul-
lanılabilir bir yazılım olması da önemlidir. Bu çalışmada kullanılabilirlik yöntemleri-
nin, yazılım yaşam döngüsünde tasarım başlamadan önce dahil edilmesi ve tasarım
sonlanmadan kullanıcı değerlendirmelerinin alınması ile kullanıcı merkezli tasarım
yaklaşımının işletme içi bir yazılım geliştirme sürecinde nasıl uygulandığı aktarılmış-
tır. Kullanılabilirlik testlerine olan önyargının aksine tasarım sonlanmadan yazılımın
seçilen katılımcı grupları ile buluşturulması hızlı ve etkili bir geri bildirim alınmasını
sağlamıştır.
Kullanılabilirlik testi birinci aşamadaki sonuçlar değerlendirildiğinde kullanıcıların
SAP sisteminde deneyimli olmaları ya da sistemi kullanma sıklıkları gibi kriterlerin
kullanılabilirliğe etkisi olmadığı görülmüştür. I. Tip katılımcı grubunun ikinci aşama
kullanılabilirlik testinde yeniden yer alması ise kullanılabilirlik değerlendirmesinde
yazılımın ilk kullanımında ve ikinci kullanımındaki farklılığın açıkça ortaya konması-

62
nı sağlamıştır. Analiz sonuçları ise bize yazılımın bu hali ile canlı kullanıma alınma-
sının kullanıcılar açısından görevleri tamamlama sürecinde verimsizlik yaşayacakları-
nı göstermiştir. İşletme içinde ilgili yazılımı sürekli kullanmayan çoğunluklu bir grup
olduğundan tespit edilen yazılım ve ara yüz eksiklikleri sebebi ile süre kaybedecekleri
açıktır. Katılımcıların karşılaştıkları problemler iyileştirme fırsatı olarak ele alınıp
program tasarımına yansıtılacaktır. Ayrıca kullanılabilirlik testleri sırasında gözlem-
lenen birkaç maddeye ilişkin anlaşılır uyarı ekranların eklenmesi kullanıcılara kolay
ve hızlı şekilde süreç adımlarının uygulanmasında rehberlik etmesini sağlayacaktır.
Geliştirilen yazılımın henüz kullanıma alınmadan daha az kişi ile hatalar tespit
edilmiş ve katılımcılar ile gerçekleştirilen kullanılabilirlik testleri sonrası tespit edilen
bulguların tasarıma aktarılması planlanmıştır. Ara yüz kalitesinin arttırılması ile hem
proje başarısının olumlu yönde etkileneceği hem de yazılımın ilk kullanımında işlet-
me içinde yaratacağı negatif etkisinden korunmuş olunacağı düşünülmektedir.

Referanslar
1. Veryzer, R.W.: Key factors affecting customer evaluation of discontinuous new products,
Journal of Product Innovation Management 15(2), 136-50 (1998).
2. Cristiano, J.J., Liker, J.K., White, C.C.: Customer-driven product development through
quality function deployment in the US and Japan, Journal of Product Innovation Manage-
ment, 17(4), 286-308 (2000).
3. Shacker, B.: Usability – context, framework, definition, design and evaluation. In: Shac-
kel, B., Richardson, S.J. (eds.) Human Factors for Informatics Usability, pp. 21-38. Camb-
ridge University Press, Cambridge (1991).
4. Seffah, A., Metzker, E.: The obstacles and myths of usability and software engineering,
Communications of the ACM, 47(12), 71-76 (2004).
5. ISO/IEC.: ISO/IEC 9241:1998, Ergonomic requirements for office work with visual disp-
lay terminals (VDTs) – Part 11 Guidance on usability, ISO/IEC 9241:1998, (1998).
6. ISO/IEC.: ISO/IEC. 9126:2000, Software Product Quality - Quality Model, ISO/IEC 9126:
2000, (2000).
7. Abran A., Khelifi A., Suryn W., Seffah A.: Usability meanings and interpretations in ISO
standards, Software Quality Journal, 11(4), 325-338 (2003).
8. Nielsen, J.: Usability engineering, Morgan Kaufmann Publishers Inc., San Fransisco
(1993).
9. Jordan P. W.: An introduction to usability. Taylor & Francis CRC Press,London (1998).
10. Corry, M.D., Frick, T.W., Hansen, L.: User-centered design and usability testing of a web
site: An illustrative case study, Educational Technology Research and Development 45(4),
65-76 (1997).
11. Gumussoy, Ç.A.: Usability guideline for banking software design: Computers in Human
Behavior, 62(1), 277-285 (2016).
12. Gould, J.D., Lewis, C.: Designing for usability: Key principles and what designers think.
Communications of the ACM, 28(3), 300-311 (1985).
13. Virzi, R.A.: Refining the test phase of usability evaluation: How many subjects is enough?.
Human Factors, 34(4), 457-468 (1992).
14. Turner, C.W., Lewis, J.R., Nielsen, J.: Determining usability test sample size. International
Encyclopedia of Ergonomics and Human Factors 3(2), 3084-3088 (2006).

63
15. Cazañas, A., Miguel, A, Parra, E.: Estimating sample size for usability testing. Enfoque
UTE 7(1), 172-185 (2017).
16. Mann, H. B., Whitney, D. R.: On a test of whether one of two random variables is stochas-
tically larger than the other. Annals of Mathematical Statistics 18 (1), 50–60. (1947).
17. Fay, M. P., Proschan, M. A.: Wilcoxon–Mann–Whitney or t-test? On assumptions for hy-
pothesis tests and multiple interpretations of decision rules. Statistics Surveys 4(1), 1–39
(2010).