Bilgisayar Ağları Dersi İçin Geliştirilen Mobil Öğrenme Sisteminin Kullanılabilirliği Hakkında Öğrenci Görüşleri

Abstract

Özet. Bu çalışmada, Fırat Üniversitesi Bilgisayar ve Öğretim Teknolojileri Eğitimi Bölümü Ağ ve İletişim dersi için geliştirilen ve Fumoo olarak adlandırılan bir web tabanlı mobil öğrenme sisteminin kullanılabilirlik analizi yapılmıştır. Sistemde Konular, Uygulamalar, Sorular, Forum, Video Ders ve Eğitim Seviyesi olmak üzere ders için gerekli olan araçlar bulunmaktadır. Bu araçlar öğrencilerin ağ ve iletişim konularına yönelik uzman videoları, sesli ve görsel materyalleri, sınavları ve uygulamaları istedikleri yer ve zamanda takip etmelerine, forum aracılığıyla ders ile alakalı tartışmalar yapmalarına ve eğitim seviyeleri hakkında anlık bilgi almalarına olanak sağlamaktadır. Öğrencilere kapsamlı mobil öğrenme ortamı sunmayı amaçlayan bu sisteme farklı mobil cihazlarla ulaşmak mümkündür. Bu amaca ulaşmak için mobil öğrenme ortamı platform bağımsız programlama araçları olan HTML 5 programlama dili, JQUERY kütüphanesi ve CSS kodları kullanılarak geliştirilmiştir. Kullanıcıların geliştirilen yazılım üzerinde belli bir kullanım süreci sonundaki görüşlerini toplamak için deneysel olmayan tarama yöntemi kullanılmıştır. Bu yöntem içerisinde nicel ve nitel veri toplama adımları aynı anda gerçekleştirilmiştir. Çalışmaya Fırat Üniversitesi Bilgisayar ve Öğretim Teknolojileri Eğitimi Bölümü'nden 93 öğrenci katılmıştır. Yapılan araştırma sonucunda; katılımcıların çoğu sistemi genel olarak öğrenilmesi kolay, kullanışlı bir yazılım olarak tanımlamaktadır. Birçok öğrenci sistemin yeterince hızlı yüklendiğinden, kullanım süresince hata ile karşılaşmadıklarından, navigasyon işlemlerinin karmaşık ve zor olmadığından bahsederken daha çok Java, Flash player, PDF reader gibi eksik yazılımların yüklenmesi ile ilgili problemler yaşandıklarından bahsetmektedir. Çalışmada ayrıca kullanıcı gözüyle sistemin modülleri faydalılık, etkililik, yeterlilik ve kullanılabilirlik kriterlerine göre değerlendirilmesi yapılmıştır.

1. Giriş

Mobilite, kablosuz iletişim, hareketlilik ve taşınabilirlik anlamlarında kullanılan ve gelişen iletişim teknolojileri ve GSM ağlarının yaygınlaşması ile hayatımıza giren bir kavramdır. Global Digital Statistics 2014 [ 1 ] verilerine göre, Dünya’daki nüfusun %52’sinin şehir, %48’inin yerel coğrafyalarda yaşamasına karşın bu nüfusun %93’ünün mobil cihazlara sahip olduğu, % 35’inin internet erişimi ve % 26’sının sosyal ağlara bağlanabildiği görülmektedir. Türkiye’de de benzer bir durum göze çarpmaktadır. İnternet kullanan nüfusun oranı % 45, sosyal ağ kullanan nüfus % 45 iken mobil cihazı olan kullanıcı oranı % 84’tür. Bir günde ortalama 4 saat 51 dakikayla neredeyse 5 saate yakın bir zaman dilimini masaüstü ya da laptop bilgisayarlarla geçiren nüfus, günde 1 saat 53 dakikayı da mobil cihazlar üzerinden internette geçiriyor. Bu oranlar bir erişkin insanın toplamda günün 7 saatini yani hemen hemen uyku süresine eşit bir zamanı mobil cihazlarla bağlantılı olarak geçirdiği anlamına gelmektedir.

Mobil teknolojiler bireylerin hareket halindeyken bilgiye erişebilmesini ve bu bilgilerle ilgili işlem yapabilmesini mümkün kılacak mobil çözümler sunmaktadır. Geçtiğimiz son 10 yılda mobil cihazlar bir lüks olmaktan çıkıp bir ihtiyaç haline gelmiştir ve bu cihazlara olan ihtiyaç ve talep arttıkça maliyetler de azalmıştır. Teknolojik kabiliyetlerinin artmasıyla birlikte mobil cihazlar birçok mobil cihazın işini tek başına yapabilen çok fonksiyonlu aygıtlar haline dönüşmüştür. Günümüzde mobil cihazlar o kadar yaygın hale gelmiştir ki toplumun bütün kesimlerini etkilediği gibi birçok sektörün gelişmesinde anahtar rol oynamaktadır.

Mobil cihazlar için geliştirilen özelleştirilmiş yazılımlar, blog, wiki, youtube, facebook ve twitter gibi sosyal ağ uygulamaları mobil cihazları daha dinamik, bireysel, ilgi çekici ve ikna edici hale getirmiştir [ 2 ]. Buraya kadar ifade edilen durum mobil cihazlar aracılığıyla öğrenmenin gerçekleşebileceğine ilişkin bir potansiyelin var olduğunu göstermektedir. Mobil cihazlar henüz yeni yeni eğitim aracı olarak kullanılabilme yeteneği kazanmış gibi gözükse de, özellikle kuramsal açıdan öğrenen merkezli öğrenme yaklaşımlarına olan ilginin artması, eğitim ortamı açısından bilgisayar destekli eğitimden sanal öğrenme çevrelerine geçiş mobil öğrenme adı verilen popüler ve disiplinlerarası bir çalışma alanının ortaya çıkmasına sebep olmuştur.

Alanyazında mobil öğrenmeye dair birçok tanım bulunmaktadır. Bu tanımlar genellikle teknoloji merkezli yapılan tanımlardır ve cihazların dolaşabilirliğine vurgu yapmaktadır. Bu yaklaşıma göre mobil öğrenme, mobil araçlar ve kablosuz iletişim teknolojileri ile birlikte düşünülen ve akıllı telefonlar ve kişisel sayısal yardımcıları içeren mobil araçların ve kablosuz internetin kullanımı ile herhangi zamanda herhangi bir yerde öğrenmenin gerçekleşmesi olarak tanımlanmaktadır [ 3 ]. Günümüzde yapılan mobil öğrenme tanımları ise daha çok öğrenenin hareketliliği ve dolaşabilirliğine vurgu yapmaktadır. Belirli bir yere bağlı olmadan eğitim içeriğine erişebilen, dinamik olarak üretilen hizmetlerden yararlanılan ve başkalarıyla kesintisiz iletişim olanağı sağlayan, kullanıcının bireysel olarak gereksinimine anında cevap vererek üretkenliğini ve iş performansını artıran ve mobil teknolojiler aracılığıyla gerçekleşen bir öğrenme yöntemi olarak tanımlanmaktadır [ 4 ]. Yeni bir öğrenme biçimi olarak ifade edebileceğimiz mobil öğrenme sayesinde öğrenenlerin sürekli olarak internete bağlı olabilmesi böylelikle öğrenme materyallerine her an her yerde kolaylıkla ulaşabilmeleri, yanlarında taşıyabilmeleri, kendi ihtiyaçları ve ilgilerine göre öğrenme sürecini kişiselleştirip yönetebilmeleri sağlanmaktadır.

Yükseköğretimdeki mobil öğrenme ile ilgili projelerin öğretim elemanları arasındaki iletişimin kolaylaştırılması, öğrenciler ve akademisyenler arasındaki etkileşim, iletişim ve işbirliğinin arttırılması, ders materyallerine, kısa sınavlarına, etkileşimli sorulara, ulaşma, mobil ürün dosyası hazırlama, öz-değerlendirme, öğrencilerin sürecini izleme ve öğrencilere yönetim desteği sağlaması gibi amaçlarının olduğu görülmektedir. MoleNET adlı 2007-2010 yıllarında İngiltere’de yürütülen mobil öğrenme projesinde yaklaşık 40.000 öğrenen teknik ve pedagojik destek, materyal geliştirme, kaynak paylaşımı, araştırma ve değerlendirme konularında hizmet almıştır [ 5 ]. Fransa’da öğrencilerle iletişimi kolaylaştırmak, öğrencilerin mesajlarına cevap vermek, sınav günleri ve sonuçlarını göndermek, dersi kaçıran veya tekrar etmek isteyenler için podcast yayınlamak için UnivMobile adlı proje hayata geçirilmiştir [ 6 ].

Ülkemizde mobil öğrenme konusunda yapılan araştırmalar ve geliştirilen projelerin oldukça kısıtlı oldukları görülmektedir. Turkcell Akademi desteği ile Fırat Üniversitesi Bilgisayar ve Öğretim Teknolojileri Eğitimi Bölümünde araştırmacılar tarafından bir mobil öğrenme projesi başlatılmış ve FUMOO olarak adlandırılan bir web tabanlı mobil öğrenme ortamı geliştirilmiştir. Geliştirilen mobil öğrenme ortamı ilk olarak 2012-2013 eğitim öğretim yılı Bahar yarıyılda Bilgisayar Ağları ve İletişim dersinde kullanışmış ve halen geliştirilmeye devam etmektedir. Geliştirilen mobil öğrenme ortamında Konular, Uygulamalar, Sorular, Forum, Video Ders ve Eğitim Seviyesi olmak üzere ders için gerekli olan modüller bulunmaktadır. Bu modüller öğrencilerin ağ ve iletişim konularına yönelik uzman videoları, sesli ve görsel materyalleri, sınavları ve uygulamaları istedikleri yer ve zamanda takip etmelerine, forum aracılığıyla ders ile alakalı tartışmalar yapmalarına ve eğitim seviyeleri hakkında anlık bilgi almalarına olanak sağlamaktadır.

Bu çalışmanın amacı geliştirilen mobil öğrenme ortamının kullanılabilirliği hakkında öğrencilerin görüşlerini belirlemektir. Kullanılabilirlik ve kullanıcı deneyimi birçok platformda olduğu gibi mobil uygulamalar içinde çok önemlidir. TBB raporuna göre 2013 sonu itibarıyla ayda en az 1 kez bir bankanın Mobil şubesine giriş yapan kullanıcı sayısının 5 milyonu aşmış durumda olduğunu göstermektedir. Yine Türkiye’de akıllı telefon kullanım penetrasyonun %63, tablet kullanımının da %51 olduğunu ve kişi başına 5,4 adet mobil cihaz düştüğü de göz önüne alınırsa mobil yazılım geliştiricilerinin müşteri ihtiyaçlarını daha iyi anlaması için geliştirilecek mobil uygulamalarda kullanılabilirlik kavramını ön planda tutmaları gerekmektedir.

Bu çalışmanın ilerleyen bölümleri şu şekilde düzenlenmiştir: 2. bölümde ilgili geliştirilen mobil öğrenme ortamının yapısı, teknik ve işlevsel özellikleri, 3. bölümde kullanılabilirlik kavramı, 4. bölümde yöntem, 5. bölümde bulgular ve son olarak çalışmanın sonucu özetlenmiştir.

2. Fırat Üniversitesi Mobil Öğrenme Ortamı (FUMOO)

Mobil öğrenme ortamı, istemci ve sunucu taraflı uygulamalardan oluşmaktadır. Geliştirilen mobil öğrenme ortamı PHP, HTML 5 programlama dili, Jquery kütüphanesi ve CSS kodları kullanılarak geliştirilmiştir. Uygulama mimarisi Şekil 1’de gösterilmiştir.

WEB SERVER

SQL SERVER

WEB

MASAÜSTÜ

KULLANICI JQUERY MOBILE

MOBIL

KULLANICI Şekil 1. FUMOO Mimarisi

Mobil öğrenme uygulamasında kullanılan sayfalar HTML 5’in page, header, content ve footer hiyerarşisi ile geliştirilmiştir. Oluşturulan her sayfa için header komutu ile birbirinden bağımsız başlıklar, content komutu ile içerik ve footer komutu ile alt başlık amacına uygun bir şekilde dizayn edilmiştir.

Etkileşimli sayfalar hazırlanırken PHP, Ajax ve Java Script kodları kullanılarak sayfalar arasında bilgi alışverişi ve veri tabanına kayıt işlemleri gerçekleştirilmiştir. CSS kodları ile istenilen görünüm elde edilerek sayfalar entegre edilmiştir. Programın giriş sayfasından kullanılan javascript kodu sayesinde masaüstü veya dizüstü kullanıcıları ayrıştırılarak m-öğrenme ve e-öğrenme platformlarına yönlendirilmiştir. Öğrenme ortamına giriş yapıldığında kullanıcı ile ilgili bilgiler session ile veri tabanına kaydedilmiştir.

Geliştirilen mobil öğrenme ortamı Bilgisayar Ağları Dersi içeriğine göre hazırlanmıştır. Fakat diğer derslerde de kullanılabilir şekilde içerik oluşturulabilecek yapıdadır. Sistemin Şekil 2’de görüldüğü gibi öğrenci ve admin olmak üzere iki kullanıcı arayüzü vardır. Öğrenciler öğrenme faaliyetlerini gerçekleştirmek üzere Konular, Uygulamalar, Sorular, Forum, Video Ders ve Eğitim Seviyesi modüllerini kullanırken dersi yürüten öğretim elemanı admin paneli aracılığı ile sisteme konu, soru ve video ders içeriği ekleyebilmektedir. Öğrenci Paneli

Admin Panel Şekil 2. Mobil Öğrenme Ortamı Kullanıcı Arayüzleri

Konular bölümü dersin ait içeriğin çoklu ortam öğeleri ile öğrenene aktarıldığı bölümdür. Bu bölümde konular ana başlıklar ve her modül kendi içinde alt başlıklarla hiyerarşik bir şekilde sunulmuştur. Uygulamalar bölümünde anlatılan içeriğe paralel olarak öğrencilerin sürükle-bırak, animasyon şeklinde içeriğe uygun aktivitelerin bulunduğu bölümdür. Bu bölümdeki uygulamalar sayesinde öğrencilerin ders içeriğini pekiştirmeleri ve pratik kazanmaları sağlanmıştır. Sorular bölümünde öğrenenin hedef kazanımlara hangi seviyede ulaştığını gösteren, kendisini test edebileceği, konular bölümünde anlatılan içeriğin hedef kazanımlarını ölçen çoktan seçmeli ve doğru yanlış soru türlerinin bulunduğu ölçme değerlendirme etkinliği bulunmaktadır. Öğrenen soruların çözümünü bitirdiğinde kendisinin hangi sorulara yanlış cevap verdiği dönüt olarak verilmektedir. Video ders bölümünde konulara uygun uzmanlar tarafından oluşturulmuş videolu anlatımlar bulunmaktadır. Mobil öğrenme ortamının Forum bölümü ile öğrenenlerin birbirleri ile iletişim kurmaları sağlanarak öğrenenlere tartışma ortamı sağlanmıştır. Ayrıca öğretim elemanının forum aracılığıyla öğrenenleri yönlendirmesi, tartışma konuları açması ve öğrenenlerin sorularına cevap vermesi sağlanmıştır. Sistemin son bileşeni olan Eğitim Seviyesi modülü öğrenenlerin anlık olarak almış oldukları eğitimin hangi aşamasında oldukları hakkında bilgi almaları sağlanmıştır. Bu bölümde öğrenenlere konular ve sorular modülündeki ilerlemeleri ile birlikte eğitimde kalma süreleri hakkında bilgi verilmektedir.

3. Kullanılabilirlik Kavramı

Kullanılabilirlik her ne kadar İnsan Bilgisayar Etkileşimi alanının en önemli ana konularından biri olmasına rağmen aslında günlük hayatımızın içerisinde yer alan bir kavramdır. Yeni aldığınız akıllı telefonun nasıl çalıştığını anlamak, internet bankacılığı aracılığı ile hesap işlemlerinizin nasıl yapılacağını keşfetmek, sağlık çalışanlarının hastane bilgi sistemini kullanarak hasta kayıtlarını düzenlemesi, bir ordu personelinin karmaşık bir silah sistemini kullanması ya da evinizdeki yeni bulaşık makinenizin nasıl çalıştığını anlamak için çabalamak kullanılabilirlik kavramı ile doğrudan alakalıdır.

Kullanılabilirlik insan bilgisayar etkileşimi alanının en önemli konusudur ve temelde anlamsal (semantic), arayüz özellikleri (feature based) ve işlevsel (operational) olmak üzere üç değişik bakış açısı ile açıklanabilir [ 7 ]. İnsanların herhangi bir ürüne yükledikleri ‘kullanıcı dostu’, ‘kullanımı kolay’, ‘kullanışlı’ gibi terimler kullanılabilirlik kavramının anlamsal tanımı olarak ifade edilebilir ve kişiden kişiye değişir. Bir ürünün kullanılabilirliği hakkındaki bu şekildeki anlamsal tanımlar tek başına yeterli değildir ve ürünün özellikleri ile ilgili kullanıcılara yeterli bilgi vermemektedir. Kullanılabilirliği tanımlamaya yönelik ikinci yaklaşım, arayüz özellikleri yaklaşımıdır ve bir ürünün kullanılabilirliğini belirli arayüz özelliklerinin var olup olmadığı ile derecelendiren bir yaklaşımdır [ 7 ]. Arayüz özelliklerine en güzel örnek büyük yazılım firmaları tarafından kendi ürünlerine yönelik geliştirilen tasarım rehberleridir. Tasarım rehberlerine Apple firmasının geliştirdiği “iOS Arayüz Tasarım Rehberi [ 8 ]” ve ülkemizdeki “Kamu Kurumları İnternet Siteleri Standartları ve Öneriler Rehberi [ 9 ]” örnek gösterilebilir. Anlamsal ve arayüz özelliklerine göre yapılan kullanılabilirlik tanımları insan bilgisayar etkileşimi açısından tam olarak kullanılabilirliği açıklamada yeterli değildir [ 7 ]. Bunun için işlevsel kullanılabilirlik bakış açısına ihtiyaç vardır. İnsan bilgisayar etkileşimi araştırmacılarından Brian Shackel’e göre kullanılabilirlik, bir uygulamanın kolay ve etkili bir biçimde, belirli bir kullanıcı tarafından, verilen destek ve eğitim sonunda uygulamaya dair belirli görevleri yerine getirilmesi için bir dizi çevresel senaryolar içinde uygulamanın kullanılma kapasitesi olarak ifade edilmektedir [ 10 ]. Kullanılabilirlik konusunda dünya gurusu olan Jacob Nielsen ise kullanılabilirlik tanımını öğrenilebilirlik, verimlilik, hatırlanabilirlik, hatalar ve memnuniyet ölçütlerine göre yapmaktadır. Bu iki tanım oldukça açıklayıcı olmasına rağmen herkesin kabul gördüğü bir kullanılabilirlik tanımı ISO 9241 [ 11 ] Bölüm 11 sayılı dökümanda şu şekilde belirtilmiştir ve bu tanımın görsel gösterimi ise Şekil 1’de verilmiştir:

“Kullanılabilirlik, belirli bir kullanıcı grubunun, belirli görevleri, belirli bir bağlamda etkili, verimli ve memnuniyet ile yerine getirmeleridir” Şekil. 3. ISO 9241-Bölüm 11 Standardına Göre Kullanılabilirlik

4. Yöntem

Bu çalışma bir grup katılımcının bir yazılım üzerinde belli bir kullanım süreci sonundaki görüşlerini toplamayı hedeflemektedir. Bu nedenle çalışma içerisinde deneysel olmayan tarama (survey) yöntemi kullanılmıştır. Çalışma 2012-2013 eğitim öğretim bahar yarıyılında Fırat Üniversitesi, Eğitim Fakültesi, Bilgisayar ve Öğretim Teknolojileri Bölümü üçüncü sınıfta bulunan ve Ağ ve İletişim dersini alan 93 öğrenci ile yürütülmüştür. Çalışmada araştırmacılar tarafından geliştirilen 20 maddeden oluşan 5 birimlik Likert Kullanılabilirlik Ölçeği, demografik veriler ve sistem kullanım sıklığı v.b. sorulara ek olarak mobil öğrenme ortamı hakkında aşağıda verilen beş adet açık uçlu sorudan oluşan veri toplama araçları kullanılmıştır.

1. Mobil uygulama ile ilgili genel izlenimleriniz (görsel tasarım, gezinti, vb.) nelerdir? 2. Kullanmakta olduğunuz bu yazılımın en beğendiniz üç özelliği nedir? 3. Kullanmakta olduğunuz bu yazılımın en beğenmediğiniz üç özelliği nedir? 4. Mobil uygulamanın yüklenmesi ve çalışması esnasında yaşadığınız problemler oldu mu? 5. Sistemde sizce başka hangi modüller olmalıydı? 20 maddelik kullanılabilirlik ölçeğinin boyutlarını tespit etmek için “principal component (ana eksenler)” açıklayıcı faktör analizi yapılmıştır. Faktör analizinin ilk adımı verinin faktör analizine uygun olup olmadığı test etmektir. Bu adım iki önemli katsayısı ile gerçekleştirilir. Birincisi örneklemin yeterli olup olmadığını test eden Kaiser-Meyer-Olkin (KMO) katsayısı ve verilerin dağılımını kontrol eden Bartlett’in sphericity testidir. Yapılan analizlerin sonunda KMO katsayısı. 87 olduğu tespit edilmiş ve Bartlett sphericity testi sonucunun (p<.000) anlamlı olduğu gözlenmiştir. Bu sonuçlar doğrultusunda faktör analizi uygulamada bir sorun olmadığı görülmüştür. Yapılan faktör analizi sonucunda dört faktörün varlığı tespit edilmiştir ve ortaya çıkan faktörler içerdiği maddelere bakılarak isimlendirilmiştir. Ölçeğin 20 madde ile güvenirlilik analizi yapılmış ve Cronbach alfa değerinin .90 olduğu bulunmuştur ve bu ölçek geliştirilen mobil yazılımın kullanılabilirliğini “etkililik”, “faydalılık”, “görsel tasarım” ve “memnuniyet” boyutlarında ölçmektedir.

5. Bulgular

Katılımcıların demografik bilgileri incelendiğinde, kullanıcıların %51.92’sinin kadın, %48,18’nin erkek olduğu; bu kullanıcıların mobil uygulamayı bir haftada kullanım sıklıklarına ve toplamda kaç kez uygulamaya giriş yaptıklarına bakıldığında, %40,38’inin haftada en az bir kez ve %38,46’sının 20’den fazla uygulamayı kullandıkları görülmektedir.

Faktör analizi gerçekleştirildikten sonra öğrencilerin 20 maddeden oluşan mobil öğrenme ortamının kullanılabilirlik ölçeğine verdiği yanıtlar faktörlere göre Tablo 1’de verilmiştir. Kullanılabilirlik maddelerine öğrencilerin verdiği yanıtların faktörlere ortalaması sırasıyla etkililik 4.23, faydalılık 4.125, görsel tasarım 3.91 ve memnuniyet 4.176 ve tüm maddelerin ortalamasının 4.14 olduğu görülmektedir. Bu sonuçlar öğrencilerin geliştirilen mobil öğrenme ortamını kullanılabilirliği yüksek bir yazılım olarak tanımlamaktadır.

Tablo 1. Kullanıcıların Geliştirilen Mobil Öğrenme Ortamının Kullanılabilirliğine Dair

Görüşlerinin Ortalama ve Standart Sapma Sonuçları

Problem 1. Sistemin yüklenmesi yavaştı 2. Sistem hatalar verdi 3. Navigasyon işlemleri çok yavaştı 4. Site içi navigasyon işlemleri karmaşık ve zordu 5. Java, Flash player, PDF reader gibi eksik yazılımların yüklenmesi ile ilgili problem yaşandı 1 36,36 40,4 42,42 69,39 68,69

2 51,52 51,52 43,43 20,41 16,16

3 4,04 6,06 8,08 9,18 9,09

4 8,08 2,02 6,06 1,02 6,06

Ortalama 1,84 1,7 1,78 1,42 1,53

References

1. Global Digital Statistics : We Are Social's Snapshot of Key Digital Indicators Report ( 2014 ).http://etonpreneurs.com/uploads/Global%20Social,%20Digital% 20 &%20Mobile% 20Statistics ,%20Jan% 202014 .pdf

2. Park , Y.: A pedagogical framework for mobile learning: Categorizing educational applications of mobile technologies into four types . The International Review of Research in Open and Distance Learning , 12 ( 2 ) ( 2011 ).

3. Wang , Y. S. , Wu , M.C. ve Wang , H.Y.: Investigating the determinants and age and gender differences in the acceptance of mobile learning . British Journal of Educational Technology , 40 ( 1 ), 92 - 118 ( 2009 ).

4. Keskin , N. Ö.: Akademisyenler İçin Bir Mobil Öğrenme Sisteminin Geliştirilmesi Ve Sı- nanması, Doktora Tezi, Anadolu Üniversitesi Eğitim Bilimleri Enstitüsü ( 2011 ).

5. MoleNET: The Mobile Learning Network (MoLeNET) . http://www.molenet.org.uk/

6. UnivMobile: http://www.proximamobile.eu/article/univmobile.

7. Çağıltay , K. : İnsan Bilgisayar Etkileşimi ve Kullanılabilirlik Mühendisliği: Teoriden Pratiğe . ODTÜ Yayıncılık , Ankara ( 2011 )

8. Apple Computer : iOS Human Interface Guidelines ( 2014 ). https://developer.apple.com/library/ios/documentation/userexperience/conceptual/mobilehi g/MobileHIG.pdf

9. Turksat.: Kamu Kurumları İnternet Siteleri Standartları ve Öneriler Rehberi ( 2009 ). http://www.kakis.gov.tr/files/rehberv5.pdf

10. Shackel , B. : Human-Computer Interaction --Whence and Whither?. Journal of the American Society for Information Science , 48 ( 11 ), 970 - 986 ( 1997 ).

11. ISO 9241-11: Ergonomic requirements for office work with visual display terminals (VDTs) guidance on usability ( 1998 ). http://www.userfocus.co.uk/resources/iso9241/part11.html