In the scope of the study, the development stages are implemented by adopting a user-centered design approach to a software for managing in-house approval processes in the sales process of an enterprise. In the software development process, evaluation of the effectiveness and efficiency of the software being developed by the usability evaluation approaches is provided by twostage usability tests. In the course of the findings, software design deficiencies
are identified and improvements are planned. The study demonstrates that how easy it is to evaluate how well design expectations are met by usability testing by incorporating users at every stage of software design in the software design process. 1
Günümüzde yazılım sistemleri günlük yaşantımızın ayrılmaz bir parçası haline
gelmiştir. Firmaların geliştirdikleri yazılımlarda fonksiyonel ve teknik gerekliliklerin
yanı sıra müşteri istekleri, kullanıcıların ihtiyaç ve beklentilerinin de karşılanmış
olması önemli avantaj sağlamaktadır. Müşteri için hangi ürün özelliklerinin anlamlı
olduğunu anlamak ve müşteriden gelen geri beslemeleri de dikkate alarak ürünün
tasarım sürecini yönetmek önemli bir konudur [
Bir yazılım sisteminin kullanıcıları tarafından kabul edilip kullanılması,
kullanıcıların görevlerini gerçekleştirirken kolay, etkili ve memnuniyet verici şekilde
gerçekleştirmelerini sağlamasına bağlıdır [
Geliştirilen ticari yazılım sistemlerinin kullanılabilirlikleri, ticari başarıları açısından önemli bir önkoşul haline gelmiştir. Ancak kullanıcılar açısından bakılacak olursa, kullanılabilir olmayan ticari yazılımların piyasada pek çok başka alternatifinin bulunma olasılığı nedeniyle bu uygulamalara zorunlu kalmayacaklardır. Diğer taraftan işletme içi geliştirilen yazılım sistemleri için kullanılabilirliğin sağlanması ve kullanıcı merkezli tasarım yaklaşımının ürün geliştirmede uygulanması daha fazla önem kazanmaktadır. Çünkü son kullanıcılar için kullanabilecekleri başka bir alternatif bulunmamaktadır. Bu çalışma kapsamında kullanıcı merkezli tasarım yaklaşımı kullanılarak geliştirilen bir işletme içi yazılım programında uygulanan adımlar paylaşılacaktır. Kapsam dahilinde sunulan yazılım, bir işletmedeki satış süreçlerinde işletme içi onay işlemlerinin elektronik ortamda yönetilmesine yönelik olarak geliştirilen Satış Yönetimi Onay Yazılımıdır.
Özellikle işletme içindeki işleyişin ve işletmenin müşteri ile olan ilişkilerinin sağlıklı yürütülmesi konusunda müşteriye teklif ve sipariş verme süreçleri yönetiminin etkin yapılabileceği bir yazılım ihtiyacı bulunmaktadır. Bu nedenle üst yönetim onayı ile bilgi teknolojileri departmanında bir yazılım geliştirme projesi başlatılmıştır. Mevcut durumda teklif ve siparişler, ıslak imzalı olarak işletme içinde ilgili kişilerin onayı ile müşteriye iletilmektedir. Geliştirilecek yazılım ile teklif ve sipariş onay sürecinin elektronik olarak yürütülmesi hedeflenmektedir. Satış Yönetimi Onay Yazılımında; öncelikli olarak satış departmanı çalışanları tarafından sisteme teklif ve siparişlere ait bilgi ve ilişkili dokümanlar girilerek; ilgili onaylayıcı listesinin oluşturulması ve onay sürecinin başlatılması, sağlanacaktır. Onaylayıcı listesindeki ilgili rollerin teklif ve siparişlere ait bilgileri incelemeleri ve onaylamaları ardından süreç sonlanacaktır. Satış Yönetimi Onay Yazılımının geliştirilmesinde beklenen fayda; onay aşamasında ve sonrasında teklif ve siparişler ile ilgili ayrıntılı bilgiye kolay ve kontrollü bir şekilde erişimin sağlanması, onaylayıcıların kayıt altına alınması, sürecin elektronik olarak yürütülmesi ile sürecin hızlanması, müşteriye karşı da doğabilecek gecikmelerin engellenmesidir. Ayrıca gizlilik ve bilgi güvenliğinin sağlanması adına onayların elektronik imza ile verilmesi talep edilmiştir. Bu sayede imzalanmış verinin kimin tarafından, ne zaman imzalandığı ve güvenilirliği kontrol edilmiş olacaktır.
Geliştirilecek yazılım; işletme içerisinde halihazırda kullanılan SAP (Systems, Applications and Products in Data Processing) ERP (Enterprise Resource Planning) sisteminde geliştirilecek ve SAP ile entegre çalışacaktır. Çalışmada takip eden bölümde çalışmanın katılımcıları, veri toplama süreci ve kullanılan araçlar dâhil olmak üzere izlenen yöntem açıklanmıştır. Bulgular bölümünde, kullanılabilirlik testi aşamaları tanımlanmış, analiz sonuçları ve kullanılabilirlik testi görevlerinde yapılan tespitler raporlanmıştır. Sonuç bölümünde çalışmanın özeti yapılmış, çalışmanın sonuçları değerlendirilmiş, kazanımlarına yer verilmiştir. 2
Satış Yönetimi Onay Yazılımının geliştirilmesi sırasında kullanıcı merkezli tasarım
sürecinin üç temel ilkesi benimsenmiştir [
Yukarıda tanımlanan kriterlere uygun olarak uygulanan yazılım geliştirme sürecinde birinci kriter doğrultusunda; geliştirilecek sistem için kullanıcı profilleri belirlenmiş ve bu kullanıcılar gözlemlenmiştir. Yine bu kullanıcı profillerinden temsili katılımcılar ile görüşmeler, beyin fırtınası ya da odak grubu etkinlikleri gerçekleştirilerek gereksinimler toplanmıştır. İlk gereksinimlerin tespiti sonrasında uygulamada yer alacak ara yüzler belirlenerek bunların prototipleri oluşturulmuştur. İkinci kriter doğrultusunda tasarım belli bir aşamaya geldiğinde yazılım birim testleri, ara yüz ve entegrasyon testleri sonrasında kullanılabilirlik değerlendirmeleri gerçekleştirilmiştir. Elde edilen bulgular doğrultusunda yazılımda yapılacak iyileştirmeler tespit edilmiştir. Üçüncü kriterle ilişkili olarak da tüm bu adımlar döngüsel bir şekilde yazılım iyileştirilmesi için girdi olarak geliştirme sürecinde yer almıştır. Şekil 2’de süreci özetleyen bir diyagram verilmiştir.
Şekil 1. Süreci özetleyen bir diyagram Kullanılabilirlik değerlendirmelerinde testler iki aşamalı olarak gerçekleştirilmiştir. Birinci aşamadaki testin uygulanmasındaki amaç; yazılımı daha önce hiç kullanmamış farklı profile sahip iki katılımcı grubunun yazılım kullanımı ile ilgili yaşadıkları kullanılabilirlik sorunlarının tespiti ve SAP’yi kullanma derecelerinin bu tasarımın kullanılabilirliği üzerinde etkili olup olmadığının görülmesidir. İkinci aşamadaki testte ise teklif ve siparişi onaya gönderme ve onaylama aşamaları olmak üzere iki kategoride görevler oluşturulmuştur. Birinci kategorideki teklif ve siparişin onaya gönderilmesine kadarki süreç, daha önce hiç test edilmemiş görevlerden oluşmuştur. Böylece yazılım eksiklikleri tespit edilerek iyileştirme yapılabilecektir. İkinci kategori ise aynı profile sahip katılımcı gruplarının yazılımı ilk kez ve ikinci kullanımlarında yaşadıkları deneyimlerin incelenmesi ve buna bağlı olarak yazılım kullanılabilirliğinde artış olup olmayacağı sorularına cevap aramaktadır. 2.1
Katılımcılar
Kullanılabilirlik çalışmalarına katılacak katılımcı sayısının ne olması gerektiği ile
ilgili alan yazında farklı görüşler yer almaktadır. [
Öncelikle geliştirilen yazılım ile ilgili gelen taleplerin hangi kullanıcılardan geldiği incelenmiş, bu kullanıcıların katılımcı olmaları sağlanmaya çalışılmıştır. Projedeki zaman kısıtı göz önünde bulundurularak farklı kullanıcı tiplerinde her tip için 5’ten az olmayacak şekilde testler gerçekleştirilmiştir. Katılımcı profilleri Tablo 1’de verilmiştir. İlk aşama kullanılabilirlik testindeki I. Tip katılımcı grubu SAP sistemini genel anlamda çok sık kullanan; her teklif/sipariş bilgilerinin sistemde oluşturulması ve onayında yazılımı kullanacak olan satış departmanı çalışanlarından (S) oluşmaktadır. II. Tip katılımcı grubu ise sisteme haftada ortalama 10 kere giriş yapan ve geliştirilen yazılımı sadece kendi proje ve departmanları ile ilgili bir teklif/sipariş açıldığında onaylamak için kullanacak olan proje yöneticileri, proje yöneticisi yardımcıları ve departman yöneticisinden (K) oluşmaktadır. İkinci aşama kullanılabilirlik testleri ise sadece satış departmanı çalışanları ile gerçekleştirilmiştir. Testlere katılan I. Tip katılımcı grubu birinci aşama kullanılabilirlik değerlendirilmesinde de yer almış olan gruptur, III. Tip katılımcı grubu ise yazılımı ilk kez kullanacak olan katılımcılardan (T) oluşmaktadır.
Kullanılabilirlik Testi Birinci Aşama Katılımcı Grupları Kullanılabilirlik Testi İkinci Aşama Katılımcı Grupları I. Tip Katılımcı Grubu I. Tip Katılımcı Grubu II. Tip Katılımcı Grubu III. Tip Katılımcı Grubu Satış Departmanı Çalışanları Proje Yöneticileri Proje Yönetici Yardımcısı Departman Yöneticisi
Satış Departmanı Çalışanları 7 Kişi (Birinci aşamaya katılan satış ekibi) 2.2
Satış Yönetimi Onay yazılımı için belirlenen gereksinimler doğrultusunda ara yüz prototipleri oluşturulmuş ve bunların değerlendirilmesi için de kullanıcı görevleri belirlenmiştir. Kullanılabilirlik değerlendirmesi birinci aşama için teklifin elektronik ortamda onaylanmasına ait süreci kapsayan 14 adet görev tanımlanmıştır. İkinci aşama testlerinde ise yazılımı en fazla kullanacak olan satış departmanı katılımcıları için görev listesi 15 maddeden ve geliştirilen yazılımın özelliği gereği iki kategoriden oluşmaktadır. İlk kategori görevleri teklifin yaratılmasından başlayarak teklifin onaya sunulması ile sona ermektedir. İkinci kategori görevleri ise aynı zamanda birinci aşamadaki teklifin onaylanması ile ilgili aynı görevlerden oluşmaktadır.
Geliştirilen yazılım geliştirme ortamından test ortamına taşınarak kullanıcıların yazılımı bu ortamda test etmesi sağlanmıştır. Tüm katılımcılara test ortamına giriş yapabilmesini sağlayacak bilgiler (kullanıcı adı, parola) ve görev listesi test başlamadan önce verilmiştir. Katılımcıların kullanılabilirlik testi yapacakları bilgisayara gerekli yazılımlar yüklenmiştir, görev tamamlama süreleri kaydedilmiştir. Görevlerin tamamlanması sırasında, katılımcılardan görevleri gerçekleştirirken sesli düşünmeleri istenmiş ve kullanıcı yorumları not alınmıştır. Alınan notlar geliştirilen yazılım için geri besleme sağlamıştır. Katılımcılara programın performansı hakkında kullanımında karşılaştıkları güçlükler ve önerileri sorulmuştur. 3 3.1
Kullanılabilirlik testi birinci aşama sonunda katılımcı bazında görevlerin tamamlanma süreleri ölçülmüş ve Tablo 2’te gösterilmiştir. Görev No
Tablo 2. Kullanılabilirlik testi birinci aşama görevlerin tamamlanma süreleri (sn) Görevler Görev Matrisi
ma ma S1 S2 S3 S4 S5 S6 S7 Süre K1 K2 K3 K4 K5 K6 K7 Süre (sn) (sn) 3,4 2,4 2,9 2,9 1 Gelen İş Listene Git 4 5 2 5 2 3 3 2 2 2 3 2 2 4 2 Teklif Çıktısına Tıkla 2 5 4 2 2 2 3 2 4 2 2 4 2 4 3 KÇıokntıtrAoçlıElıtnca İlk Sayfayı 2 4 3 3 3 4 5 3,4 4 3 2 3 4 2 3 3,0 4 Çıktıyı Kapa 2 2 3 1 2 1 2 1,9 4 2 2 2 2 1 2 2,1 5 Teklif Eklerini Tıkla 2 4 3 2 2 2 3 2,6 3 3 2 2 3 2 3 2,6 6 Ekler Açıldığında Kapatıp Çık 3 5 2 5 3 4 4 3,7 3 2 4 3 2 2 5 3,0 7 TBiılkglailendirme Dokümanını 2 1 2 3 2 2 3 2,1 3 3 2 2 2 2 3 2,4 8 BAiçlgılidleığnıdnidrmaeKDapoaktüıpmÇanıkı 3 4 3 3 3 4 4 3,4 3 2 3 3 3 2 3 2,7 9 Maliyet Bilgisini Kontrol Et 11 42 23 28 40 29 35 29,7 44 32 26 21 36 22 33 30,6
Açıklama Yaz (Yazılacak 10 açıklama; bu bir test
çalışmasıdır.) 5 10 8 14 15 18 16 12,3 14 5 8 10 17 7 6 9,6 11 Onaycı Listesini Kontrol Et 12 23 17 26 30 27 16 21,6 29 21 22 18 24 11 23 21,1 12 SKeaçbeunleykaledrianRdeend Birine Tıkla 3 5 4 2 4 2 5 3,6 2 2 3 3 2 2 3 2,4 13 Sakla Tuşuna Bas 2 5 4 5 8 7 10 5,9 8 6 3 3 7 3 6 5,1 14 SEo-İnmrzaakniıOAnta,yTceıyklaifGiBöinrder 5 8 5 4 5 5 9 5,9 4 4 5 4 4 4 6 4,4
TOPLAM Süre (sn) 58 123 83 103 121 110 118 102,3 125 91 86 79 112 64 104 94,43
Geliştirilen yazılımda; SAP’yi tanıma, sık kullanma ve departman farklılığı gibi
konuların iki grup arasında farklılık yaratıp yaratmadığı araştırılmaktadır. İki gruptaki
görev tamamlama süreleri ortalamaları Mann-Whitney U testi [
Teklif çıktısının görüntülenmesini sağlayan Görev 2’de kullanıcılar %71 oranında başarılı olmuştur ancak çıktının görüntüleneceği sütunda çıktı butonu yerine doğrudan teklif görüntüleme butonuna tıklayan %29 oranında kullanıcının çoğunlukla satış departmanı kullanıcıları olduğu gözlemlenmiştir. Kullanıcılar teklif numarasına tıklama eğilimi gösterdiklerini dile getirmişlerdir. Maliyet bilgisine ulaşılmasını içeren Görev 9’u sadece bir katılımcının tamamlayabildiği, yedi katılımcının ise görevi tamamlayamadığı gözlemlenmiştir. Katılımcılar ara yüzdeki maliyet sütununda maliyeti göster butonuna tıkladıklarında maliyet bilgisine ulaşmayı beklediklerini ancak açılan ekranda ilgili proje kodunun göründüğünü ve maliyete ilişkin bir bilgi görünmediğinden ekranı kapatıp çıktıklarını ifade etmişlerdir. Programda proje koduna çift tıklandığında projeye ait maliyet bilgisi görünmektedir. Ancak bu görevi sadece bir katılımcı tesadüfen başarı ile tamamlamıştır. Proje koduna tıklandığında maliyet bilgisine ulaşılacağını ifade eden bilginin ilgili ekranda yer almasının sağlanması gerekliliği görülmüştür. Katılımcıların hiçbirinin başarılı olarak tamamlayamadıkları Görev 11’de katılımcılar yazılım ara yüzünde onaylayıcı listesi gibi bir ifade göremediklerinden bu görevi tamamlayamadıklarını belirtmiştir. Katılımcıların ancak beş tanesi onayda bekleyen sütununda kendi isimlerinin üzerine çift tıklamayı denemiş ve tüm onaylayıcı listesine bu şekilde ulaşmışlardır. Onaylayıcı listesine kolay ulaşılamadığını ifade etmişlerdir. Görev 13’de yer alan teklifin kontrolünün bitirilerek Kabul ya da Red seçeneklerinden biri seçilip kaydedilmek istendiğinde ise öncelikle ilgili teklif satırı seçildikten sonra sakla tuşuna basılmalıdır ancak katılımcıların sadece %42’si bu görevi başarılı şekilde tamamlamışlardır. Kalan katılımcılar ise doğrudan sakla tuşuna basma denemelerinde bulunmuş sonrasında ilgili satırı seçerek kaydetmeleri gerektiğini fark etmişlerdir. Sakla tuşuna bastıklarında önce satırı seçmeleri gerektiğini ifade eden bir uyarı ekranı karşılarına çıkarsa yönlendirici olacağını söylemişlerdir.
Görevler Görev No Görev Matrisi 1 Gelen İş Listene Git 2 Teklif Çıktısına Tıkla 3 Çıktı Açılınca İlk Sayfayı Kontrol Et 4 Çıktıyı Kapa 5 Teklif Eklerini Tıkla 6 Ekler Açıldığında Kapatıp Çık 7 Bilgilendirme Dokümanını Tıkla 8 Bilgilendirme Dokümanı Açıldığında Kapatıp Çık 9 Maliyet Bilgisini Kontrol Et 10 Açıklama Yaz (Yazılacak açıklama; bu bir test çalışmasıdır.) 11 Onaycı Listesini Kontrol Et 12 Kabul ya da Red Seçeneklerinden Birine Tıkla 13 Sakla Tuşuna Bas 14 E-İmzanı At, Teklifi Bir Sonraki Onaycıya Gönder Başarı oranı yüksek olan görevlerde ise yapılmak istenen adımların ilgili yazılım ara yüzünde açık ve net şekilde görünen görevler olduğu gözlemlenmiştir. II. Tip Katılımcı grubu analizler sırasında talep etmedikleri bir isteği kullanılabilirlik testleri sırasında fark ettiklerini dile getirmişlerdir. 3.2
Kullanılabilirlik testi ikinci aşamada görevler kategori I ve kategori II olmak üzere ikiye ayrılmıştır. Her görev ve kullanıcı bazında görevlerin tamamlanma süreleri, aynı zamanda ortalama süreler Tablo 4’te verilmiştir.
Kategori I’deki görevleri her iki katılımcı grubu da ilk defa gerçekleştirmişlerdir. Görev 3’teki doküman türlerinin yanı sıra işletme içi bilgilendirmeyi sağlayan yeni bir doküman türünün oluşturulması talep edilmiştir. Görev 4 kapsamında onaylayıcı listesinin oluşturulması sırasında onaylayacak kişilerin seçimini yaparken katılımcıların yanlış işlem yapması ve yapılan hatanın geri alınamaması görevlerin tamamlanma sürelerinde uzamaya neden olmuştur. Tablo 4. Kullanılabilirlik testi ikinci aşama görevlerin tamamlanma süreleri
Görevler
gori No
Teklifi Yarat (müşteri, malzeme, SAS no, 1 geçerlilik tarihi, fiyat bilgisi girilir.) 2 Teklif Çıktısını Kontrol Et I 3
Teklife Gir, Teklif Eki Ekle 1 adet, Teklife
Bilgilendirme Dokümanı Ekle 1 adet 4 TLiesktleifsiOnniKayacyıdLeitstesini Oluştur, Onaycı 5 Teklif Onay Sürecini Başlat 6 Gelen İş Listene Git 7 TSaeyklfiafyÇııKktoısnıtnraolTEıkt,laÇ,ıÇktıkıytıı AKaçpılıanca İlk 8 TKeakplaiftıEpkÇleırkini Tıkla, Ekler Açıldığında
Bilgilendirme Dokümanını Tıkla, 9 Bilgilendirme Dokümanı Açıldığında
Kapatıp Çık II 10 Maliyet Bilgisini Kontrol Et 11 tAeçsıtkçlaamlışamYaaszıd(ıYr.a)zılacak açıklama; bu bir 12 Onaycı Listesini Kontrol Et 13 TKıakblaul ya da Red Seçeneklerinden Birine 14 Sakla Tuşuna Bas 15 EG-öİnmdzearnı At, Teklifi Bir Sonraki Onaycıya
I. Tip Katılımcı Grubu Ortala III. Tip Katılımcı Grubu Ortala
ma ma S1 S2 S3 S4 S5 S6 S7 Süre Y1 Y2 Y3 Y4 Y5 Süre
(sn) (sn) 2 3 2 4 3 4 2 2,9 4 3 5 4 4 4
TOPLAM Süre (sn) 112 126 132 148 129 156 127 132,9 184 198 196 205 217 200 Kategori II’deki Görev 7’de teklif çıktısının hem Türkçe hem de İngilizce çıktı alanlarında sanki çıktı varmış gibi görünen görüntüle butonu mevcuttur, kullanıcıların teklif Türkçe verilmiş olmasına rağmen İngilizce butonunu tıkladıkları gözlemlenmiştir. Onay ekranında teklif hangi dilden verildi ise sadece o çıktının aktif olması sağlanmalıdır. Bu durum da programda düzeltilecek madde olarak kayıt altına alınmıştır. Görev 10 ve görev 12’de kullanılabilirlik testi birinci aşamada tespit edilen sorunlar ikinci aşamada da karşılaşılmıştır. Ancak ilk teste katılan I Tip katılımcı grubunun bu testte daha başarılı sonuçlar elde ettiği görülmektedir. Görev 14’te onaylayıcıların “Kabul” ya da “Red” seçeneğini tıklamaları ardından sakla butonuna bastıklarında e-imza atmaları gerekmektedir. Fakat e-imzalarını attıktan sonra ekranda sağ alt köşede yeşil bir onaylandı işareti belirmektedir. Onaylandı işaretine basmaları gerektiğini kullanıcıların bulmasının zaman aldığı gözlemlenmiştir. Hatta basmayı unutarak programı kapatıp çıkan iki kullanıcı olmuştur.
Her iki kullanılabilirlik testinde yer alan ortak görevler işletme içinde yazılım kullanıma alındığında farklı kullanıcı rolleri tarafından kullanılacak görevler olduğundan kullanıcı memnuniyetinin sağlanması ve etkili bir yazılım geliştirilmiş olması açısından önemli bir role sahiptir ve iyileştirme için doğru tespitlerin yapılması önem taşımaktadır. I Tip katılımcı grubu her iki kullanılabilirlik testine katılmıştır ve görev tamamlama süreleri arasında anlamlı bir fark tespit edilmiştir (p<0.05). Hangi görevde ortalama olarak ne kadar süre farkı olduğu Şekil 2’de görülmektedir. Sürelerdeki bu farklılık bize aslında öğrenme etkisini göstermektedir. Ancak geliştirilen yazılımı sadece kendi proje ve departmanları ile ilgili bir teklif/siparişi onaylamak için kullanacak olan kullanıcı grubu için hatırlanabilirlik, yazılımı sürekli kullanan kullanıcılar kadar kolay olmayabilir. Özellikle ilk tamamlama süreleri oldukça yüksek olan görevler ilk kullanıcılar açısından zorluk çıkaracak ve yazılıma karşı olumsuz tutum geliştirmelerini sağlayacak kullanılabilirlik problemlerine işaret etmektedir. Diğer taraftan birinci ve ikinci kullanımda süre açısından fazla iyileşme gözlenmeyen görevlerin de beraber ele alınarak programda iyileştirmelerin yapılmasının fayda sağlayacağı açıktır.
Şekil 2. Görev numaralarına göre katılımcı ortalamaları karşılaştırması 4
Yazılım geliştirme süreçlerinde kullanıcı merkezli tasarım ve kullanılabilirlik değerlendirmelerinin uygulanması genelde zaman ve maliyet kısıtından dolayı göz ardı edilmektedir. Ancak kullanım sonrasında çıkan yeni isteklerin uygulanması ve kullanıcıların sistemde yaşadıkları sıkıntılardan dolayı sürekli destek alması durumu çoğu zaman yazılım geliştirme maliyetlerini ve sürelerini oldukça yükseltmektedir. Kullanıcıların fonksiyonel ihtiyaçlarını karşılayan bir yazılım geliştirmek kadar kolay kullanılabilir bir yazılım olması da önemlidir. Bu çalışmada kullanılabilirlik yöntemlerinin, yazılım yaşam döngüsünde tasarım başlamadan önce dahil edilmesi ve tasarım sonlanmadan kullanıcı değerlendirmelerinin alınması ile kullanıcı merkezli tasarım yaklaşımının işletme içi bir yazılım geliştirme sürecinde nasıl uygulandığı aktarılmıştır. Kullanılabilirlik testlerine olan önyargının aksine tasarım sonlanmadan yazılımın seçilen katılımcı grupları ile buluşturulması hızlı ve etkili bir geri bildirim alınmasını sağlamıştır.
Kullanılabilirlik testi birinci aşamadaki sonuçlar değerlendirildiğinde kullanıcıların SAP sisteminde deneyimli olmaları ya da sistemi kullanma sıklıkları gibi kriterlerin kullanılabilirliğe etkisi olmadığı görülmüştür. I. Tip katılımcı grubunun ikinci aşama kullanılabilirlik testinde yeniden yer alması ise kullanılabilirlik değerlendirmesinde yazılımın ilk kullanımında ve ikinci kullanımındaki farklılığın açıkça ortaya konmasını sağlamıştır. Analiz sonuçları ise bize yazılımın bu hali ile canlı kullanıma alınmasının kullanıcılar açısından görevleri tamamlama sürecinde verimsizlik yaşayacaklarını göstermiştir. İşletme içinde ilgili yazılımı sürekli kullanmayan çoğunluklu bir grup olduğundan tespit edilen yazılım ve ara yüz eksiklikleri sebebi ile süre kaybedecekleri açıktır. Katılımcıların karşılaştıkları problemler iyileştirme fırsatı olarak ele alınıp program tasarımına yansıtılacaktır. Ayrıca kullanılabilirlik testleri sırasında gözlemlenen birkaç maddeye ilişkin anlaşılır uyarı ekranların eklenmesi kullanıcılara kolay ve hızlı şekilde süreç adımlarının uygulanmasında rehberlik etmesini sağlayacaktır.
Geliştirilen yazılımın henüz kullanıma alınmadan daha az kişi ile hatalar tespit edilmiş ve katılımcılar ile gerçekleştirilen kullanılabilirlik testleri sonrası tespit edilen bulguların tasarıma aktarılması planlanmıştır. Ara yüz kalitesinin arttırılması ile hem proje başarısının olumlu yönde etkileneceği hem de yazılımın ilk kullanımında işletme içinde yaratacağı negatif etkisinden korunmuş olunacağı düşünülmektedir.