<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Archiving and Interchange DTD v1.0 20120330//EN" "JATS-archivearticle1.dtd">
<article xmlns:xlink="http://www.w3.org/1999/xlink">
  <front>
    <journal-meta />
    <article-meta>
      <title-group>
        <article-title>Bilgi Görselleştirme Tekniklerinin Yazılım Kullanılabilirliği Açısından Değerlendirilmesi</article-title>
      </title-group>
      <contrib-group>
        <contrib contrib-type="author">
          <string-name>Ahmet Neşeli</string-name>
          <email>1ahmetneseli@gmail.com</email>
        </contrib>
        <contrib contrib-type="author">
          <string-name>Yasemin Topaloğlu</string-name>
          <email>2yasemin.topaloglu@ege.edu.tr</email>
        </contrib>
      </contrib-group>
      <fpage>231</fpage>
      <lpage>242</lpage>
      <abstract>
        <p>Information visualization is the use of computer-based, interactive visual representations of data to amplify cognition. It also aims to make large amounts of data easy to understand. It includes abstract tasks such as being understandable for users and decision making based on knowledge. There are a great number of data visualization techniques defined in literature. A successful visualization made by using these techniques enables more efficient usage of software systems in many areas. In this study, an evaluation method is presented for the measurement of usability that is one of the most significant factors affecting the success of information visualization. In this method which belongs to the heuristic evaluation methods in literature, visualizations are evaluated by usability experts using certain heuristic sets. A web based</p>
      </abstract>
    </article-meta>
  </front>
  <body>
    <sec id="sec-1">
      <title>-</title>
      <p>application which supports the evaluation method, was developed to apply the
evaluation easily. In order to test the described method and the application, 21
usability experts have evaluated the usability of an example visualization
through the developed application. According to the obtained results, major
usability problems in the application have been revealed. It may enhance the
usability, that is one of the software quality characteristics, by eliminating the
revealed problems by the help of visualization designers.
1</p>
      <p>
        Giriş
İnsanlar uzun zamandır, sorunları anlamak ve çözüm üretebilmek için
görselleştirmelerden faydalanmaktadır. Bilgisayarların grafiksel yetenekleri arttıkça,
bilgisayarlar görselleştirmenin önemli bir aracı haline gelmiştir. Bilgisayar
uygulamaları, özellikle de veb uygulamaları tarafından üretilen veri miktarı gün
geçtikçe artmaktadır. Büyük veri analizinin de etkisiyle ortaya çıkan büyük
miktardaki veri çeşitli uygulamalarda bilgi görselleştirmelerin kullanımını arttırmıştır.
Bilgi görselleştirme, büyük miktardaki verinin kolay anlaşılır hale getirilmesi için
ortaya atılan bir yaklaşımdır [
        <xref ref-type="bibr" rid="ref21">21</xref>
        ]. İş verisi, bilimsel veri, öğrenci geçmişleri, spor
verisi, oylama verisi, resimler, videolar, açık arttırma verisi, arama sonuçları gibi veri
kümelerine ait görselleştirmeler örnek olarak verilebilir. Verinin daha iyi analiz edilip
anlaşılabilmesi; araştırmacılar, marka strateji uzmanları, finans uzmanları, insan
kaynakları yöneticileri için; gelecekteki büyüme, üretkenlik ve yenilikler açısından
giderek önem kazanmaktadır. Günümüzde tüketiciler, vatandaşlar, hastalar gibi
normal kullanıcılar bile satın alacakları ürünleri seçerken, bir konu hakkında karar
verirken veya sağlıkla ilgili bir bilgi ararken ürün tanıtımları, bloglar, çevrim içi
topluluklar gibi halka açık veri kaynaklarını inceleyebilmektedir. Bilgi görselleştirme
alanı, kullanıcıların karşı karşıya olduğu bilgi yığını sorununa etkin bir çözüm olarak
görülmektedir [
        <xref ref-type="bibr" rid="ref12">12</xref>
        ].
      </p>
      <p>
        Bilgi görselleştirme, bir konuyu kavramayı kolaylaştırabilmek için soyut verinin
etkileşimli görsel sunumlarının kullanımıdır [
        <xref ref-type="bibr" rid="ref5">5</xref>
        ]. Literatürdeki bilgi görselleştirme
teknikleri uygulanarak bir veri kümesi için çeşitli görselleştirmeler ortaya
çıkarılabilir. Ortaya çıkan bilgi görselleştirmelerde de her kullanıcı arayüzünde
olduğu gibi yazılım kalite özelliklerinden biri olan kullanılabilirliğe dikkat edilmesi
gerekmektedir [
        <xref ref-type="bibr" rid="ref3">3</xref>
        ]. Bu çalışmada, bilgi görselleştirme tekniklerinin kullanılabilirlik
açısından değerlendirilebilmesi için bir yöntem tanımlanmış ve geliştirilen bir
uygulama ile bu yöntemin kolayca uygulanabilmesi amaçlanmıştır.
      </p>
      <p>İkinci bölümde bilgi görselleştirme ve kullanılabilirliğin ilişkisi anlatılmakta,
üçüncü bölümde literatürdeki bilgi görselleştirme teknikleri hakkında kısaca bilgi
verilerek bu tekniklerin kullanılabilirlik açısından değerlendirilebilmesi için
kullanılabilecek değerlendirme yöntemi tanıtılmakta, dördüncü bölümde
değerlendirme yönteminin uygulanabilmesi için geliştirilen değerlendirme aracı
hakkında bilgi verilmekte, beşinci bölümde örnek bir görselleştirme üzerinde yapılan
değerlendirme ile ilgili bilgi verilmekte ve son bölümde çalışmanın sonuçları
tartışılmaktadır.
2</p>
    </sec>
    <sec id="sec-2">
      <title>Bilgi Görselleştirme ve Kullanılabilirlik</title>
      <p>
        Bilgi görselleştirmenin amacı, bir iç görü ve yeni bir anlayış sağlayabilmektir. İç
görü; insanın görsel ve zihinsel yeteneği sayesinde basit veri aktarımıyla sınırlı
kalmayarak veri üzerinde görsel olarak akıl yürüterek ortaya çıkarabildiği daha
yüksek seviyeli bilgidir [
        <xref ref-type="bibr" rid="ref17 ref5">5, 17</xref>
        ]. Kullanıcıların bu amacı gerçekleştirebilmesi için veri
kümesinin görsel hale getirilmesinin yanı sıra, anlaşılır ve kullanılabilir
görselleştirmeler ortaya çıkarılması gerekmektedir [
        <xref ref-type="bibr" rid="ref7">7</xref>
        ].
      </p>
      <p>
        Kullanılabilirlik, uygulamaların son kullanıcılar tarafından kullanım kalitesini
tanımlayan bir terimdir [
        <xref ref-type="bibr" rid="ref3">3</xref>
        ]. Her kullanıcı ara yüzünde olduğu gibi bilgi
görselleştirmelerde de yazılım kalite özelliklerinden biri olan kullanılabilirliğe dikkat
edilmesi gerekmektedir. Bilgi görselleştirmelerde kullanılabilirlik üç farklı kategoride
incelenebilir [
        <xref ref-type="bibr" rid="ref13">13</xref>
        ]. Bunlar aşağıdaki gibidir.
      </p>
      <p>
        Görsel sunum kullanılabilirliği: Görsel sunum, veri elemanlarının görsel olarak
ekranda görüntülendiği kısımdır. Görsel sunum kullanılabilirliği ise; görsel sunumun
kalitesini ve etkileyiciliğini ifade eder [
        <xref ref-type="bibr" rid="ref13">13</xref>
        ].
      </p>
      <sec id="sec-2-1">
        <title>Etkileşim(Arayüz) kullanılabilirliği: Etkileşim, görsel sunum üzerinde</title>
        <p>
          gezebilmeyi, keşfetmeyi sağlar ve bir karar vermeyi sağlayabilecek bilgilerin ortaya
çıkarılmasına yardımcı olur. Etkileşim kullanılabilirliği, kullanıcıların veri ile görsel
sunum aracılığı ile etkileşime geçebilmesini sağlayan etkileşim mekanizmalarının
kullanılabilirliğini ifade eder [
          <xref ref-type="bibr" rid="ref13">13</xref>
          ].
        </p>
        <p>
          Veri kullanılabilirliği: Kullanıcı görevlerini destekleyen verinin kalitesini ifade
eder [
          <xref ref-type="bibr" rid="ref13">13</xref>
          ]. Verinin güvenilirliği, veri değişiminden etkilenme ve karar vermeyi
destekleme unsurlarından oluşur [
          <xref ref-type="bibr" rid="ref13">13</xref>
          ].
        </p>
        <p>Bu çalışmada, görsel sunum ve etkileşimin kullanılabilirliği üzerinde durulmuştur.
3</p>
      </sec>
    </sec>
    <sec id="sec-3">
      <title>Bilgi Görselleştirme Tekniklerinin Değerlendirilmesi</title>
      <p>
        Bir bilgi görselleştirme yöntemi ya da tekniği; özenle hazırlanmış bir kavrayışı, iç
görüler elde edilmesini ve deneyimlerle iletişime geçilmesini sağlayan bilgiyi tasvir
eden sistematik, kural tabanlı, dışsal, kalıcı ve grafiksel bir sunumdur [
        <xref ref-type="bibr" rid="ref11">11</xref>
        ].
Görselleştirme sürecinde mutlaka bir görselleştirme tekniği kullanılma zorunluluğu
yoktur. Fakat veri kümesi karmaşıklaştıkça bir tekniğin kullanılması ihtiyacı da
artmaktadır. Literatürde tanımlanmış her bir görselleştirme tekniğinin uygun olduğu
en az bir veri kümesi bulunmaktadır. Literatürde bugüne kadar tanımlanmış 100’den
fazla görselleştirme tekniği bulunmaktadır [
        <xref ref-type="bibr" rid="ref11">11</xref>
        ]. Bu teknikler sahip oldukları ortak
özelliklere göre sınıflandırılabilmektedir [
        <xref ref-type="bibr" rid="ref17 ref5">5, 17</xref>
        ].
      </p>
      <p>
        Bilgi görselleştirme teknikleri “veriyi anlama” ve “bilgiye dayalı karar verme” gibi
soyut görevler içerdiğinden kullanılabilirliklerini değerlendirmek diğer arayüzlere
göre çok daha zordur [
        <xref ref-type="bibr" rid="ref13">13</xref>
        ].
      </p>
      <p>
        Literatürdeki çoğu görselleştirme değerlendirme yöntemi, kullanılabilirliğin
kullanıcıların arayüz ile etkileşimi gözlemlenerek ölçüldüğü kullanıcı testlerine
dayanmaktadır. Diğer kullanılabilirlik değerlendirme yöntemleri ise, sezgisel
değerlendirme yöntemleridir [
        <xref ref-type="bibr" rid="ref13 ref25 ref9">9, 13, 25</xref>
        ]. Bu yöntemler, bir sistemin kullanılabilirlik
uzmanları tarafından incelenerek, kullanılabilirlik problemlerinin ortaya
çıkarılabildiği yöntemlerdir.
      </p>
      <p>
        Sezgisel değerlendirme, İnsan-Bilgisayar Etkileşimi(HCI) alanında popüler bir
değerlendirme yöntemidir [
        <xref ref-type="bibr" rid="ref9">9</xref>
        ]. Geliştirmenin her aşamasında uygulanabilmektedir ve
maliyetleri kullanıcı testlerine göre düşüktür [
        <xref ref-type="bibr" rid="ref9">9</xref>
        ]. Değerlendirme ölçütü olarak sezgi
kümeleri kullanılır. Sezgi kümesindeki her bir sezgi veya ölçüt, bir veya birden fazla
kullanılabilirlik probleminin var olup olmadığını kontrol eder.
      </p>
      <p>Literatürde pek çok sezgisel değerlendirme yöntemi tanımlanmıştır. Bir bilgi
görselleştirme tekniğinin kullanılabilirliğini değerlendirirken herhangi bir sezgisel
yöntem kullanılabilir. Fakat bir yöntemin ortaya çıkardığı bir kullanılabilirlik
problemini, diğer bir yöntem ortaya çıkaramayabilir. Bu yüzden en iyi sonucun elde
edilebilmesi için, bilgi görselleştirmenin birden fazla yöntemle değerlendirilmesi
gerekir. Bu durum da bu süreçteki iş gücü veya zaman maliyetlerini arttırmaktadır.</p>
      <p>
        Bu çalışmada, değerlendirme yönteminin seçimi ve kullanılabilirliğin birden fazla
değerlendirme yöntemiyle değerlendirilmesi için oluşan maliyetlerin azaltılması
amacıyla, literatürdeki popüler sezgisel yöntemlerde kullanılan ölçütlerden [
        <xref ref-type="bibr" rid="ref13 ref14 ref15 ref16 ref18 ref19 ref20 ref23 ref25 ref4 ref8 ref9">4, 8, 9,
13, 14, 15, 16, 18, 19, 20, 23, 25</xref>
        ] aynı veya birbirine çok benzer ölçütlerin
birleştirilmesiyle oluşturulan özet bir sezgisel değerlendirme yöntemi tanımlanmıştır.
      </p>
      <p>
        Bilgi görselleştirme teknikleri kullanılabilirlik açısından değerlendirilirken, görsel
sunum ve etkileşim mekanizmaları üzerinde incelenmesi gereken ölçütler farklı
olabildiğinden [
        <xref ref-type="bibr" rid="ref13 ref19 ref4">4, 13, 19</xref>
        ], ölçütler görsel sunum ve etkileşim olarak iki gruba
ayrılmıştır. Buna ek olarak bazı ölçütler, hem görsel sunumu hem de etkileşimi
ilgilendirmektedir. Bunlar görsel sunum ve etkileşim grubunda yer almıştır. Bu
şekilde 3 grupta toplam 48 ölçüt aşağıdaki gibi tanımlanmıştır:
      </p>
      <sec id="sec-3-1">
        <title>Görsel Sunum Ölçütleri</title>
        <p>
          Sınırlar [
          <xref ref-type="bibr" rid="ref13">13</xref>
          ]: Görsel sunumun geometrik ve görsel sınırları açıkça anlaşılabilmelidir.
Görsel sunumun ve veri elemanlarının kapladığı alan belli olmalıdır.
        </p>
        <p>
          Veri yoğunluğu [
          <xref ref-type="bibr" rid="ref13 ref18 ref23 ref25">13, 18, 23, 25</xref>
          ]: Belli bir alandaki veri elemanı sayısına dikkat
edilmelidir. Veri elemanlarının çok sıkışık veya çok dağınık olması durumunda
okunabilirlik azalmaktadır. Bu ölçüt bazı kaynaklarda, “Bilgi yoğunluğu” [
          <xref ref-type="bibr" rid="ref18">18</xref>
          ] veya
“Çoğu veri en küçük alana konulmalıdır” [
          <xref ref-type="bibr" rid="ref23 ref25">23, 25</xref>
          ] olarak tanımlanmaktadır.
Veri boyutu [
          <xref ref-type="bibr" rid="ref13">13</xref>
          ]: Görsel sunum üzerinde eş zamanlı olarak gösterilen veri boyutu
sayısına da dikkat edilmelidir.
İlişkili bilgilerin gösterimi [
          <xref ref-type="bibr" rid="ref13">13</xref>
          ]: Görsel sunumda veri nesnesiyle ilişkili farklı
bilgilerin anlamlı ve uygun olmasına dikkat edilmelidir. Çok fazla ya da gereksiz
ilişkili bilgi verilmesi karmaşıklığı arttırmaktadır.
        </p>
        <p>
          Mantıksal sıra [
          <xref ref-type="bibr" rid="ref13">13</xref>
          ]: Veri elemanları, karakteristik özelliklerine göre mantıksal bir
sırada bulunmalıdır. Bu, veri elemanlarına kolay ulaşılmasını sağlamaktadır.
Renklerin mantıksal bir sırası bulunmaz. Her rengin önceliği kişiye göre
değişebilmektedir. Bu yüzden veri elemanları renklere göre sıralanmamalıdır. Bu
ölçüt bazı kaynaklardaki, “Renkten bir okuma sırası beklenmemelidir” [
          <xref ref-type="bibr" rid="ref23 ref25">23, 25</xref>
          ]
ölçütünü kapsamaktadır.
Örtme [
          <xref ref-type="bibr" rid="ref13">13</xref>
          ]: Görsel sunumun belli bir görüntü alanı bulunduğundan veri elemanı
sayısı arttığında birbirinin üzerine gelebilmektedir. Bu durumdan olabildiğince
kaçınılmalıdır.
        </p>
        <p>
          Detayların gösterimi [
          <xref ref-type="bibr" rid="ref13">13</xref>
          ]: Detaylara sahip olan veri elemanları açıkça
anlaşılabilmelidir.
        </p>
        <p>
          Bağlam referansı [
          <xref ref-type="bibr" rid="ref13">13</xref>
          ]: Herhangi bir veri elemanının bağlamla olan referansı devamlı
belirgin olmalıdır.
        </p>
        <p>
          Bilgi adresleme [
          <xref ref-type="bibr" rid="ref13 ref23 ref25">13, 23, 25</xref>
          ]: Veri elemanlarının doğru görsel elemanlara uygun
şekilde dönüştürülmesi gerekmektedir. Dönüştürme sonunda verinin, karakteristiğini
kaybetmemesi gerekmektedir. Bu ölçüt bazı kaynaklarda, “Metinler ilişkiliyse
grafiklerle bütünleştirilmelidir” [
          <xref ref-type="bibr" rid="ref23 ref25">23, 25</xref>
          ] veya “Grafik boyutsallığında veri
korunmalıdır” [
          <xref ref-type="bibr" rid="ref23 ref25">23, 25</xref>
          ] olarak tanımlanmıştır.
        </p>
        <p>
          Gerçekçi teknikler [
          <xref ref-type="bibr" rid="ref13 ref16">13, 16</xref>
          ]: Veri elemanlarının dönüşümünde gerçek dünyadaki
kavramların kullanılması veri elemanlarının algılanmasına yardımcı olur. Bu ölçüt
bazı kaynaklarda, “Sistem ile gerçek dünya arasındaki uyum” [
          <xref ref-type="bibr" rid="ref16">16</xref>
          ] olarak
tanımlanmıştır.
        </p>
        <p>
          Görselin oluşturulma zamanı [
          <xref ref-type="bibr" rid="ref13">13</xref>
          ]: Görsel sunumun bir kısmının veya tamamının
oluşturulması için gereken süre olabildiğince azaltılmalıdır.
        </p>
        <p>
          Görsel/konumsal uyum [
          <xref ref-type="bibr" rid="ref13">13</xref>
          ]: Görsel elemanların konumsal değişimi, görsel
elemanın karakteristiğine uygun olmalıdır. Bu bilginin algılanmasının kolaylaştırır.
Görsel değişkenin büyüklüğü [
          <xref ref-type="bibr" rid="ref23 ref25">23, 25</xref>
          ]: Görsel sunumdaki her görsel eleman
anlaşılabilir derecede büyük olmalıdır. Bu ölçüt bazı kaynaklarda, “Görsel değişkenin
yeterli büyüklükte olduğundan emin olunmalıdır” [
          <xref ref-type="bibr" rid="ref23 ref25">23, 25</xref>
          ] olarak tanımlanmıştır.
        </p>
      </sec>
      <sec id="sec-3-2">
        <title>Renk ve büyüklük algısı [23, 25]: Renkli nesnelerin algılanması, nesnelerin</title>
        <p>
          büyüklüğüne göre değişiklik gösterebilir. Örneğin, kırmızı renkteki bir görsel eleman,
diğer benzer görsel elemanlardan daha küçük boyutta olursa, önemli bir veri elemanı
olduğu algılanamayabilir. Bu ölçüt bazı kaynaklarda, “Renk algısı renkli nesnelerin
büyüklüğüne göre değişir” [
          <xref ref-type="bibr" rid="ref23 ref25">23, 25</xref>
          ] olarak tanımlanmıştır.
        </p>
        <p>
          Yerel kontrast [
          <xref ref-type="bibr" rid="ref23 ref25">23, 25</xref>
          ]: Görsel sunumun görüntülendiği donanım, renk ve griliklerde
değişkenlik yaratarak, farklı algılar oluşmasına sebep olabilir. Renklerin olabildiğince
zıt seçilmesi bu oluşumu engelleyebilir. Bu ölçüt bazı kaynaklarda, “Yerel kontrast,
renk ve grilik algısını etkiler” [
          <xref ref-type="bibr" rid="ref23 ref25">23, 25</xref>
          ] olarak tanımlanmıştır.
        </p>
        <p>
          Renk körlüğü [
          <xref ref-type="bibr" rid="ref23 ref25">23, 25</xref>
          ]: Evrensel kullanılabilirlik düşünüldüğünde, renklerin tek
başına ayırt edici olarak kullanılmaması gerekmektedir. Bu ölçüt bazı kaynaklarda,
“Renk körlüğü olan insanları düşün” [
          <xref ref-type="bibr" rid="ref23 ref25">23, 25</xref>
          ] olarak tanımlanmıştır.
Ön dikkat işlemi [
          <xref ref-type="bibr" rid="ref23 ref25">23, 25</xref>
          ]: Ön dikkat işlemi, önemli bilgilere dikkat çekmek için
farklı görsel değişkenlerin önceden kullanılmasıdır. Bu görsel değişkenlerin özenle
seçilerek kullanılması gerekir. Bu ölçüt bazı kaynaklarda, “Ön dikkat işlemi, ön
dikkat işlemindeki görsel değişkenlerin akıllıca görüntülenmesi veya kullanılmasıyla
fayda sağlar” olarak tanımlanmıştır.
        </p>
        <p>
          Niceliksel değerlendirme [
          <xref ref-type="bibr" rid="ref23 ref25">23, 25</xref>
          ]: Sayısal değerleri bulunan veri elemanlarının
konumu veya büyüklükleri değerlerine göre değiştirilmelidir. Bu ölçüt bazı
kaynaklarda, “Niceliksel değerlendirme konum veya büyüklükte çeşitlilik gerektirir”
[
          <xref ref-type="bibr" rid="ref23 ref25">23, 25</xref>
          ] olarak tanımlanmıştır.
        </p>
        <p>
          Gestalt ilkeleri [
          <xref ref-type="bibr" rid="ref23 ref25">23, 25</xref>
          ]: Gestalt ilkeleri insanın algılama boyutundaki ilke ve
sistemlerini ortaya koymaktadır. Kullanıcıda doğru bir algı yaratabilmek için, görsel
sunumda bu ilkeler göz önünde bulundurulmalıdır.
        </p>
        <sec id="sec-3-2-1">
          <title>Etkileşim Ölçütleri</title>
        </sec>
      </sec>
      <sec id="sec-3-3">
        <title>Detay seviyesinin kontrolü [8, 13, 19, 23, 25]: Kullanıcı görselleştirmedeki her</title>
        <p>
          hangi bir elemanla ilgili detaylı bilgiye istediği anda ulaşabilmeli ve detaylar arasında
kolayca geçiş yapabilmelidir. Bu ölçüt bazı kaynaklarda, “Genel bakış” [
          <xref ref-type="bibr" rid="ref19 ref8">8, 19</xref>
          ],
“Yakınlaşma” [
          <xref ref-type="bibr" rid="ref19 ref8">8, 19</xref>
          ] veya “Çoklu detay seviyesi sağlanmalıdır” [
          <xref ref-type="bibr" rid="ref23 ref25">23, 25</xref>
          ] olarak
tanımlanmıştır.
        </p>
        <p>
          Geri alma [
          <xref ref-type="bibr" rid="ref13 ref19 ref8">8, 13, 19</xref>
          ]: Kullanıcı gerçekleştirdiği herhangi bir işlemi geri alarak
önceki durumlara geri dönebilmelidir. Bu ölçüt bazı kaynaklarda, “Geçmiş” [
          <xref ref-type="bibr" rid="ref19 ref8">8, 19</xref>
          ]
olarak tanımlanmıştır.
        </p>
        <p>
          Ek bilgilerin sunulması [
          <xref ref-type="bibr" rid="ref13 ref19 ref23 ref25 ref8">8, 13, 19, 23, 25</xref>
          ]: Kullanıcı görselleştirmedeki herhangi bir
elemanla ilgili ek bilgiye istediği anda ulaşabilmelidir. Bu ölçüt bazı kaynaklarda,
“Talep anında detaylandırma” [
          <xref ref-type="bibr" rid="ref19 ref8">8, 19</xref>
          ] veya “Çoklu detay seviyesi sağlanmalıdır” [
          <xref ref-type="bibr" rid="ref23 ref25">23,
25</xref>
          ] olarak tanımlanmıştır.
        </p>
        <p>
          Nesnelerin seçimi [
          <xref ref-type="bibr" rid="ref13">13</xref>
          ]: Görselleştirme üzerindeki herhangi bir nesne ile ilgili bir
işlem yapabilmek için öncelikle nesnenin seçilmesi gerekir. Bu seçim kolayca
yapılabilmelidir.
        </p>
        <p>
          Bakış açısının kontrolü [
          <xref ref-type="bibr" rid="ref13 ref19 ref8">8, 13, 19</xref>
          ]: Kullanıcı görselleştirme üzerindeki farklı bakış
açılarını kolayca kontrol edebilmelidir. Bu ölçüt bazı kaynaklarda, “Yakınlaşma” [
          <xref ref-type="bibr" rid="ref19 ref8">8,
19</xref>
          ] olarak tanımlanmıştır.
        </p>
        <p>
          Geometrik kontrol [
          <xref ref-type="bibr" rid="ref13">13</xref>
          ]: Görselleştirmedeki veri elemanlarının geometrik sunumları
kontrol edilebilir olmalıdır.
        </p>
        <p>
          Büyütme [
          <xref ref-type="bibr" rid="ref13 ref19 ref8">8, 13, 19</xref>
          ]: Kullanıcı veri elemanlarına yakınlaşarak daha büyük veya
detaylı bir şekilde görebilmelidir. Bu ölçüt bazı kaynaklarda “Yakınlaşma” [
          <xref ref-type="bibr" rid="ref19 ref8">8, 19</xref>
          ]
olarak tanımlanmıştır.
        </p>
        <p>
          Arama ve sorgulama [
          <xref ref-type="bibr" rid="ref13 ref19 ref8">8, 13, 19</xref>
          ]: Kullanıcı veri elemanları arasından özel bir bilgiyi
arayabilmeli ve kümelenmiş ya da gizlenmiş bilgileri ortaya çıkarabilmelidir. Bu ölçüt
bazı kaynaklarda, “Filtreleme” [
          <xref ref-type="bibr" rid="ref19 ref8">8, 19</xref>
          ] olarak tanımlanmıştır.
        </p>
        <p>
          Filtreleme [
          <xref ref-type="bibr" rid="ref13 ref19 ref8">8, 13, 19</xref>
          ]: Kullanıcı ilgilendiği veri elemanlarını özelliklerine göre
filtreleyerek, sadece istediği veri elemanlarını ortaya çıkarabilmelidir. Bu ölçüt bazı
kaynaklarda, “Çıkarma” [
          <xref ref-type="bibr" rid="ref19 ref8">8,19</xref>
          ] olarak tanımlanmıştır.
        </p>
        <p>
          Kümeleme [
          <xref ref-type="bibr" rid="ref13 ref18 ref19 ref8">8, 13, 18, 19</xref>
          ]: Nesnelerin bir takım özelliklerine göre bir alt kümesi
oluşturulabilmelidir. Bu ölçüt bazı kaynaklarda, “Nesneleri konumlarına göre
gruplama ve ayırt etme” [
          <xref ref-type="bibr" rid="ref18">18</xref>
          ], “Nesneleri biçimlerine göre gruplama ve ayırt etme”
[
          <xref ref-type="bibr" rid="ref18">18</xref>
          ] veya “İlişkilendirme” [
          <xref ref-type="bibr" rid="ref19 ref8">8, 19</xref>
          ] olarak tanımlanmıştır.
        </p>
        <p>
          Budama [
          <xref ref-type="bibr" rid="ref13 ref23 ref25">13, 23, 25</xref>
          ]: Kullanıcı gereksiz gördüğü veya ilgilenmediği veri
elemanlarını görselleştirmeden kaldırabilmelidir. Bu ölçüt bazı kaynaklarda, “Konu
dışı olanlar kaldırılmalıdır” [
          <xref ref-type="bibr" rid="ref23 ref25">23, 25</xref>
          ] olarak tanımlanmıştır.
Esneklik [
          <xref ref-type="bibr" rid="ref16 ref18 ref4">4, 18, 16</xref>
          ]: Görselleştirme kolayca kontrol edilebilmeli ve özel amaçlara
adapte olabilmelidir. Bu ölçüt bazı kaynaklarda, “Kullanıcı kontrolü ve özgürlük”
[
          <xref ref-type="bibr" rid="ref16">16</xref>
          ], “Kullanıcı kontrolü” [
          <xref ref-type="bibr" rid="ref18">18</xref>
          ] veya “Kontrol edilebilirlik” [
          <xref ref-type="bibr" rid="ref4">4</xref>
          ] olarak tanımlanmıştır.
Hata önleme [
          <xref ref-type="bibr" rid="ref16 ref18">16, 18</xref>
          ]: Kullanıcının hata yapmasına sebep olabilecek durumlar
olabildiğince engellenmelidir. Bu ölçüt bazı kaynaklarda, “Hata koruma” [
          <xref ref-type="bibr" rid="ref18">18</xref>
          ] olarak
tanımlanmıştır.
        </p>
        <p>
          Hata düzeltme [
          <xref ref-type="bibr" rid="ref16 ref18">16, 18</xref>
          ]: Kullanıcıları yaptıkları hata ile bilgilendirerek, hatanın nasıl
düzeltilebileceği ile ilgili yol gösterilmelidir. Bu ölçüt bazı kaynaklarda
“Kullanıcıların hatayı tanımlayıp hatadan kurtulmalarında yardımcı olma” [
          <xref ref-type="bibr" rid="ref16">16</xref>
          ] olarak
tanımlanmıştır.
        </p>
      </sec>
      <sec id="sec-3-4">
        <title>Sistem durumunun görünürlüğü [4, 16, 18]: Her kullanıcı işleminin hemen</title>
        <p>
          ardından sistemin hangi durumda olduğu ile ilgili bilgi verilmelidir. Örneğin,
kullanıcı bir veri elemanı için arama yaparken, kullanıcı arama işlemin başladığını ve
devam ettiğini anlaya-bilmelidir. Bu ölçüt bazı kaynaklarda, “Gözlemlenebilirlik” [
          <xref ref-type="bibr" rid="ref4">4</xref>
          ]
veya “Anlık geri bildirim” [
          <xref ref-type="bibr" rid="ref18">18</xref>
          ] olarak tanımlanmıştır.
        </p>
        <p>
          Yönlendirme [
          <xref ref-type="bibr" rid="ref18">18</xref>
          ]: Bir işlemi gerçekleştirebilmek için birkaç farklı eylemin mümkün
olduğu durumlarda, kullanıcıların tüm alternatifleri görebilmesi sağlanmalıdır.
Net kullanıcı eylemleri [
          <xref ref-type="bibr" rid="ref18">18</xref>
          ]: Kullanıcının gerçekleştirebileceği eylemler ve bu
eylemleri nasıl gerçekleştirebileceği açıkça belli olmalıdır.
        </p>
        <p>
          En az sayıda eylem [
          <xref ref-type="bibr" rid="ref18">18</xref>
          ]: Kullanıcı, bir görevi gerçekleştirmek için en az çabayı
harcamalıdır. Kullanıcının sık kullanacağı görevlere kısa yollar oluşturmak bu özelliği
sağlayabilmektedir.
        </p>
        <sec id="sec-3-4-1">
          <title>Görsel Sunum ve Etkileşim Ölçütleri</title>
          <p>
            Yardım ve belgelendirme [
            <xref ref-type="bibr" rid="ref16">16</xref>
            ]: Kullanıcı ihtiyaç duymasa bile, görsel sunumdaki
nesneler hakkında bilgilere istediğinde ulaşılabilmelidir. Görsel sunum ile
kurulabilecek etkileşimler adım adım açıklanmalıdır. Açıklamaların çok uzun
olmamasına dikkat edilmelidir.
          </p>
          <p>
            Tutarlılık ve standartlar [
            <xref ref-type="bibr" rid="ref16 ref18">16, 18</xref>
            ]: Görsel sunum üzerindeki nesnelerin tutarlı olması
gerekir. Nesnenin tanımı veya görsel öğesi her zaman aynı olmalıdır. Görsel öğe ile
tanım birbirine uygun olmalıdır. Etkileşim mekanizmalarında kullanılan öğelerin de
tutarlı olması gerekir. Tutarlılığı sağlamak için standartlar göz önünde
bulundurulmalıdır.
          </p>
          <p>
            Memnuniyet [
            <xref ref-type="bibr" rid="ref15 ref18 ref20">15, 18, 20</xref>
            ]: Kullanıcının görselleştirme ile ilgili düşüncelerini belirtir.
Kullanıcının görselleştirme üzerindeki hâkimiyeti memnuniyeti arttıran bir faktördür.
Bu ölçüt bazı kaynaklarda “Kullanıcı tecrübesi” [
            <xref ref-type="bibr" rid="ref18">18</xref>
            ] olarak tanımlanmıştır.
Açıklık ve anlaşılabilirlik [
            <xref ref-type="bibr" rid="ref16 ref4 ref9">4, 9, 16</xref>
            ]: Kullanıcı görselleştirme aracılığı ile aktarılmak
istenen bilgiye, geçmiş bilgilerine ihtiyaç duymadan ulaşabilmelidir. Bu ölçüt bazı
kaynaklarda, “Okunabilirlik” [
            <xref ref-type="bibr" rid="ref9">9</xref>
            ] veya “Hatırlama yerine tanıma” [
            <xref ref-type="bibr" rid="ref16">16</xref>
            ] olarak
tanımlanmıştır.
Özlülük [
            <xref ref-type="bibr" rid="ref9">9</xref>
            ]: Görselleştirmede asıl aktarılmak istenen bilgiler en öz halleriyle
verilmelidir. Detaylar, kullanıcı isteği ile görüntülenmelidir.
Öğrenme kolaylığı [
            <xref ref-type="bibr" rid="ref4">4, 15 20</xref>
            ]: Kullanıcının bilgi görselleştirmeyi ilk karşılaşmasında
kolayca etkin bir şekilde kullanabilmesidir. Bu ölçüt bazı kaynaklarda,
“Öğrenilebilirlik” [
            <xref ref-type="bibr" rid="ref15 ref20">15, 20</xref>
            ] olarak tanımlanmıştır.
          </p>
          <p>
            Ustalaşma kolaylığı [
            <xref ref-type="bibr" rid="ref4">4</xref>
            ]: Bilgi görselleştirmenin hızlıca tüm özellikleriyle etkin bir
şekilde kullanılabilmelidir.
          </p>
          <p>
            Hatırlanabilirlik [
            <xref ref-type="bibr" rid="ref15 ref20">15, 20</xref>
            ]: Anlık durum hakkında yorum yapabilmek için daha önce
yapılan sorgular hatırlanabilmelidir.
          </p>
          <p>
            Kullanma/anlama kolaylığı [
            <xref ref-type="bibr" rid="ref4">4</xref>
            ]: Kullanıcı çok az bir zihinsel çaba ile bilgi
görselleştirmeyi kullanabilmelidir.
          </p>
          <p>
            Etkinlik [
            <xref ref-type="bibr" rid="ref15 ref16 ref20 ref4">4, 15, 16, 20</xref>
            ]: Öğrenme aşamasından sonra kullanıcı hızlı bir şekilde
görevleri başarabilmelidir.
          </p>
          <p>
            Estetik [
            <xref ref-type="bibr" rid="ref14 ref16 ref4 ref6">4, 6, 14, 16</xref>
            ]: Görselleştirme eğlenceli olmalı ve göze hoş görünmelidir. Çok
fazla görsel stil kullanmaktan kaçınılmalıdır [
            <xref ref-type="bibr" rid="ref10">10</xref>
            ]. Etkileşim anında sert durum
geçişlerinden kaçınılmalıdır. Bu ölçüt bazı kaynaklarda, “Estetik ve sade tasarım”
[
            <xref ref-type="bibr" rid="ref16">16</xref>
            ] olarak tanımlanmıştır.
4
          </p>
        </sec>
      </sec>
    </sec>
    <sec id="sec-4">
      <title>Görselleştirme Değerlendirme Aracı</title>
      <p>Bilgi görselleştirme tekniklerinin yazılım kullanılabilirliği açısından
değerlendirilmesi için ortaya atılan yöntemin uygulanabilmesi için veb tabanlı, çevrim
içi bir uygulama geliştirilmiştir. Uygulamanın amacı; sahip oldukları veya
geliştirdikleri bir bilgi görselleştirmeyi kullanılabilirlik açısından değerlendirmek
isteyen kullanılabilirlik uzmanlarının veya görselleştirme tasarımcılarının,
uygulamada sunulan ölçütler aracılığı ile kullanılabilirlik değerlendirmesi
yapabilmesini sağlamaktır.</p>
      <p>Uygulamayı kullanan kullanılabilirlik uzmanlarının veya görselleştirme
tasarımcılarının verdiği cevaplara göre kullanılabilirlik problemleri ortaya
çıkarılmaktadır. Bir kontrol listesi gibi, her bir ölçütün görselleştirme tarafından
desteklenip desteklenmediğine bakılır. Uygulama 3 temel kısımdan oluşmaktadır.
Bunlar; ana sayfa, değerlendirme sayfası ve sonuç sayfasıdır.
4.1</p>
      <sec id="sec-4-1">
        <title>Ana Sayfa</title>
        <p>Uygulamaya girildiğinde ilk olarak görüntülenen sayfadır. Bu sayfada uygulama
hakkında kısa bir bilgi ve kullanım talimatları yer almaktadır. Kullanıcı istediği
zaman “Değerlendirmeye Başla” düğmesi aracılığıyla kullanılabilirlik
değerlendirmesi yapacağı sayfaya geçebilmektedir.
4.2</p>
        <sec id="sec-4-1-1">
          <title>Değerlendirme Sayfası</title>
          <p>Değerlendirme sayfasında Şekil 2’deki gibi değerlendirme yöntemine ait ölçütler
bulunmaktadır. Bu ölçütler, görsel sunum, etkileşim, görsel sunum ve etkileşim olmak
üzere üç gruba ayrılmıştır. Her grubun altında o gruba ait ölçütler tek tek
gösterilmektedir. Her ölçüte ait bir başlık ve açıklama bulunmaktadır. Kullanıcılar, bir
ölçütün başlığını ve açıklamasını okuduktan sonra görselleştirmenin ilgili ölçüte göre
ne kadar başarılı olduğuna karar vermektedir. Kullanıcının ölçütü değerlendirmesi
sonucunda işaretleyebileceği dört farklı seçenek bulunmaktadır. Bunlar:
 Evet: Görselleştirmenin ilgili ölçütte tamamen başarılı olduğu anlamına gelir. 10
puan değerindedir.
 Kısmen: Görselleştirmenin ilgili ölçütte bazı problemlerinin olduğu anlamına
gelir. 5 puan değerindedir.
 Hayır: Görselleştirmenin ilgili ölçütte tamamen başarısız olduğu anlamına gelir.</p>
          <p>0 puan değerindedir.
 Önemsiz: Görselleştirmenin değerlendirilmesinde bu ölçüte ihtiyaç duyulmadığı
anlamına gelir. 0 puan değerindedir.</p>
          <p>Şekil 2. Değerlendirme Sayfasındaki Ölçütlerin Ekran Görüntüsü
4.3</p>
        </sec>
        <sec id="sec-4-1-2">
          <title>Sonuç Sayfası</title>
          <p>Sonuç sayfasında, Şekil 3’teki gibi yapılan değerlendirmenin sonuçları
verilmektedir. Üç farklı sonuç içermektedir. Bunlar; görselleştirmenin başarı yüzdesi,
görselleştirme puanı ve değerlendirilen ölçüt sayısıdır. Önemsiz olarak
değerlendirilen ölçütler, değerlendirilen özellikler içinde sayılmamaktadır.</p>
          <p>Başarı yüzdesi, proje yöneticilerine görselleştirmenin son kullanıcıların
kullanımına hazır olup olmadığına dair bir fikir verebilmektedir.</p>
          <p>Şekil 3. Sonuç Sayfasının Ekran Görüntüsü</p>
          <p>Örnek Değerlendirme</p>
          <p>Değerlendirme yönteminin ve uygulamanın test edilmesi için, bir bilgi
görselleştirme örneği farklı uzmanlık seviyelerindeki 21 kullanılabilirlik uzmanı
tarafından değerlendirilmiştir.</p>
          <p>
            Bilgi görselleştirme olarak, sıralı güneş parlaması tekniğine ait Şekil 4’teki gibi bir
görselleştirme kullanılmıştır. Bu teknik çoğunlukla, yüksek eğitim kurumlarında çok
boyutlu verilerin görselleştirilmesinde [
            <xref ref-type="bibr" rid="ref2">2</xref>
            ], ontolojilerin görselleştirmesinde [
            <xref ref-type="bibr" rid="ref22">22</xref>
            ],
hasta geçmişlerinin ve sağlık teşhisi zincirinin görselleştirilmesinde [
            <xref ref-type="bibr" rid="ref24">24</xref>
            ]
kullanılmaktadır.
          </p>
          <p>Şekil 4. Sıralı güneş parlaması tekniğine ait görselleştirmenin ekran görüntüsü
Katılımcılar, verilen görselleştirmeyi daha doğru sonuçlar elde edebilmek için süre
sınırı olmaksızın inceledikten sonra, kullanılabilirlik değerlendirmesi yapmak için
geliştirilen uygulamayı kullanmıştır.</p>
          <p>Tablo 1. Örnek görselleştirmenin katılımcılara göre başarı yüzdesi</p>
          <p>Tablo 1’de, 21 katılımcının değerlendirme ölçütlerine verdikleri cevaplara göre
oluşan, görselleştirmenin kullanılabilirlik başarısı yer almaktadır.</p>
          <p>Buna göre uzmanların büyük bir çoğunluğu örnek görselleştirmeyi kullanılabilirlik
açısından iyi veya orta bulmaktadır. Bu görselleştirmenin kullanılabilirlik olarak
başarılı sayılabileceğini fakat düzeltilmesi gereken kullanılabilirlik problemlerinin var
olduğunu göstermektedir.</p>
        </sec>
        <sec id="sec-4-1-3">
          <title>Başarı Yüzdesi</title>
          <p>Katılımcı sayısı</p>
          <p>Değerlendirme sonuçlarına göre örnek görselleştirmedeki en önemli
kullanılabilirlik problemlerinin; budama, filtreleme, kümeleme, arama ve sorgulama
ve esneklik ölçütlerinde olduğu ortaya çıkarılmıştır.
6</p>
          <p>Sonuç ve Öneriler</p>
          <p>Bu çalışmada, dijital ortamdaki veri miktarının artmasıyla büyük önem kazanan
bilgi görselleştirme konusu incelenmekte, bilgi görselleştirme teknikleri ve bu
tekniklere uygulanan değerlendirme yöntemleriyle ilgili bilgi verilmektedir.</p>
          <p>Bilgi görselleştirmelerde yaygın olarak kullanılan iki yöntemden biri olan sezgisel
değerlendirme yöntemiyle, görselleştirmedeki kullanılabilirlik problemlerinin tespit
edilerek problemlerin giderilmesi ve kullanılabilirliğin iyileştirilmesi mümkündür.
Literatürdeki önemli sezgisel değerlendirme yöntemlerinin birleştirilmesiyle
oluşturulan bu yöntemde, benzer ölçütler tekrar değerlendirilmediğinden
değerlendirme maliyetleri azalmaktadır.</p>
          <p>Sezgisel değerlendirme yöntemlerinde, uzmanının kullanılabilirlik alanındaki bilgi
ve tecrübesi yöntemin başarısında büyük bir önem taşımaktadır. Beşinci kısımdaki
değerlendirmeyi gerçekleştiren bazı katılımcıların benzer olmayan başarı yüzdelerine
sahip olmasındaki en önemli etkenin de bu olduğu düşünülmektedir.</p>
          <p>Geliştirilen uygulamada, her bir ölçütün öneminin eşit olduğu düşünülerek bir
başarı yüzdesi hesaplanmaktadır. Ancak ölçütlerin önemi görselleştirmeye göre
çoğunlukla değişiklik göstermektir. Daha doğru bir başarı yüzdesi elde edebilmek
için, yazılımın, uygulamayı kullanan uzmanlar tarafından her bir ölçüte ağırlık değeri
verilebilecek şekilde değiştirilmesi gerektiği öngörülmektedir.
7</p>
          <p>Kaynaklar</p>
        </sec>
      </sec>
    </sec>
  </body>
  <back>
    <ref-list>
      <ref id="ref1">
        <mixed-citation>
          1.
          <string-name>
            <surname>Amar</surname>
            ,
            <given-names>R.</given-names>
          </string-name>
          , &amp;
          <string-name>
            <surname>Stasko</surname>
            ,
            <given-names>A.</given-names>
          </string-name>
          (
          <year>2004</year>
          ).
          <article-title>A Knowledge Task-Based Framework for Design and Evaluation of Information Visualizations</article-title>
          .
          <source>In Proc. IEEE InfoVis</source>
          <year>2004</year>
          , IEEE Computer Society Press,
          <fpage>143</fpage>
          -
          <lpage>149</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref2">
        <mixed-citation>
          2.
          <string-name>
            <surname>Ayobami</surname>
            <given-names>A.S.</given-names>
          </string-name>
          , &amp; Jamaludin
          <string-name>
            <surname>Z.</surname>
          </string-name>
          (
          <year>2013</year>
          ).
          <source>Information Visualization Techniques Usage Model, Proceedings of the 4th International Conference on Computing and Informatics.</source>
        </mixed-citation>
      </ref>
      <ref id="ref3">
        <mixed-citation>
          3.
          <string-name>
            <surname>Bevan</surname>
            ,
            <given-names>N.</given-names>
          </string-name>
          (
          <year>1995</year>
          ).
          <article-title>Usability is quality of use</article-title>
          .
          <source>In: Anzai &amp; Ogawa (eds) Proceedings of the 6th International Conference on Human Computer Interaction.</source>
        </mixed-citation>
      </ref>
      <ref id="ref4">
        <mixed-citation>
          4.
          <string-name>
            <surname>Bresciani</surname>
            ,
            <given-names>S.</given-names>
          </string-name>
          , &amp;
          <string-name>
            <surname>Eppler</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          (
          <year>2015</year>
          ).
          <article-title>Extending Tam to Information Visualization A Framework for Evaluation</article-title>
          .
          <source>Electronic Journal of Information System Evaluation</source>
          ,
          <volume>18</volume>
          (
          <issue>1</issue>
          ),
          <fpage>46</fpage>
          -
          <lpage>58</lpage>
        </mixed-citation>
      </ref>
      <ref id="ref5">
        <mixed-citation>
          5.
          <string-name>
            <surname>Card</surname>
            ,
            <given-names>S.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Mackinlay</surname>
            <given-names>J.</given-names>
          </string-name>
          , &amp;
          <string-name>
            <surname>Shneiderman</surname>
            ,
            <given-names>B.</given-names>
          </string-name>
          (
          <year>1999</year>
          ).
          <article-title>Readings in Information Visualization: Using Vision to Think</article-title>
          . Morgan Kaufmann.
        </mixed-citation>
      </ref>
      <ref id="ref6">
        <mixed-citation>
          6.
          <string-name>
            <surname>Cawthon</surname>
            ,
            <given-names>N.</given-names>
          </string-name>
          , &amp;
          <string-name>
            <surname>Moere</surname>
            ,
            <given-names>A.V.</given-names>
          </string-name>
          (
          <year>2007</year>
          ).
          <article-title>The effect of aesthetic on the usability of data visualization</article-title>
          .
          <source>In IEEE Int. Conf. Info Vis (IV'</source>
          ,
          <volume>07</volume>
          ), Zurich, Switzerland,
          <fpage>637</fpage>
          -
          <lpage>648</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref7">
        <mixed-citation>
          7.
          <string-name>
            <surname>Chen</surname>
            ,
            <given-names>C.</given-names>
          </string-name>
          (
          <year>2010</year>
          ). Overview: Information Visualization. Wiley Interdisciplinary Reviews: Computational Statistics,
          <volume>2</volume>
          ,
          <issue>4</issue>
          ,
          <fpage>387</fpage>
          -
          <lpage>403</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref8">
        <mixed-citation>
          8.
          <string-name>
            <surname>Craft</surname>
            ,
            <given-names>B.</given-names>
          </string-name>
          , &amp;
          <string-name>
            <surname>Cairns</surname>
            ,
            <given-names>P.</given-names>
          </string-name>
          (
          <year>2005</year>
          ).
          <article-title>Beyond Guidelines: What can we learn from the information seeking mantra?</article-title>
          .
          <source>In Proc. IV 05</source>
          , IEEE Computer Society Press,
          <fpage>110</fpage>
          -
          <lpage>118</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref9">
        <mixed-citation>
          9.
          <string-name>
            <surname>Forsell</surname>
            ,
            <given-names>C.</given-names>
          </string-name>
          , &amp;
          <string-name>
            <surname>Johansson</surname>
            ,
            <given-names>Jimmy.</given-names>
          </string-name>
          (
          <year>2010</year>
          ).
          <article-title>An heuristic set for evaluation in information visualization</article-title>
          .
          <source>Proceedings of the International Conference on Advanced Visual Interfaces</source>
          , Roma, Italy.
        </mixed-citation>
      </ref>
      <ref id="ref10">
        <mixed-citation>
          10.
          <string-name>
            <surname>Herr</surname>
            ,
            <given-names>J.</given-names>
          </string-name>
          (
          <year>2006</year>
          ).
          <article-title>Socializing Visualization</article-title>
          .
          <source>CHI</source>
          <year>2006</year>
          , Montreal, Canada, ACM.
        </mixed-citation>
      </ref>
      <ref id="ref11">
        <mixed-citation>
          11.
          <string-name>
            <surname>Lengler</surname>
            ,
            <given-names>R.</given-names>
          </string-name>
          , &amp;
          <string-name>
            <surname>Eppler</surname>
            ,
            <given-names>M.J.</given-names>
          </string-name>
          (
          <year>2007</year>
          ).
          <article-title>Towards A Periodic Table of Visualization Methods for Management</article-title>
          , Institute of Corporate Communication, University of Lugano, Switzerland,
          <year>6p</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref12">
        <mixed-citation>
          12.
          <string-name>
            <surname>Liu</surname>
            ,
            <given-names>S.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Cui</surname>
            ,
            <given-names>W.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Wu</surname>
            ,
            <given-names>Y.</given-names>
          </string-name>
          , &amp;
          <string-name>
            <surname>Liu</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          (
          <year>2014</year>
          ).
          <article-title>A survey on information visualization: recent advances and challenges</article-title>
          .
          <source>Vis. Comput</source>
          .
          <volume>30</volume>
          (
          <issue>12</issue>
          ),
          <fpage>1373</fpage>
          -
          <lpage>1393</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref13">
        <mixed-citation>
          13.
          <string-name>
            <surname>Luzzardi</surname>
            ,
            <given-names>R.G.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Freitas</surname>
          </string-name>
          ,
          <string-name>
            <surname>C.M.D.S</surname>
            , Cava,
            <given-names>R.A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Duarte</surname>
            ,
            <given-names>G.D.</given-names>
          </string-name>
          &amp;
          <string-name>
            <surname>Vasconcelos</surname>
            ,
            <given-names>M.H.S.</given-names>
          </string-name>
          (
          <year>2004</year>
          ).
          <article-title>An Extended Set of Ergonomic Criteria for Information Visualization</article-title>
          .
          <source>In Proc. IASTED. Int. conf. of Comp Graphics and Imaging</source>
          ,
          <volume>236</volume>
          -
          <fpage>241</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref14">
        <mixed-citation>
          14.
          <string-name>
            <surname>Moere</surname>
            ,
            <given-names>A.V.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Tomitsch</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Wimmer</surname>
            ,
            <given-names>C.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Christoph</surname>
            ,
            <given-names>B.</given-names>
          </string-name>
          , &amp;
          <string-name>
            <surname>Grechenig</surname>
            <given-names>T.</given-names>
          </string-name>
          (
          <year>2012</year>
          ).
          <article-title>Evaluating the effect of style in information visualization</article-title>
          .
          <source>IEEE Trans. Vis. Comput. Graph.</source>
          ,
          <volume>18</volume>
          (
          <issue>12</issue>
          ),
          <fpage>2739</fpage>
          -
          <lpage>2748</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref15">
        <mixed-citation>
          15.
          <string-name>
            <surname>Nielsen</surname>
            ,
            <given-names>J.</given-names>
          </string-name>
          (
          <year>1993</year>
          ). Usability Engineering. Academic Press, Boston.
        </mixed-citation>
      </ref>
      <ref id="ref16">
        <mixed-citation>
          16.
          <string-name>
            <surname>Nielsen</surname>
            ,
            <given-names>J.</given-names>
          </string-name>
          (
          <year>1994</year>
          ).
          <article-title>Heuristic evaluation</article-title>
          . In Nielsen, J., and
          <string-name>
            <surname>Mack</surname>
            ,
            <given-names>R.L</given-names>
          </string-name>
          . (Eds.).
          <source>Usability Inspection Methods</source>
          . John Wiley &amp; Sons, NY, USA,
          <fpage>25</fpage>
          -
          <lpage>61</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref17">
        <mixed-citation>
          17.
          <string-name>
            <surname>North</surname>
            <given-names>C.</given-names>
          </string-name>
          (
          <year>2005</year>
          ).
          <article-title>Information Visualization, chapter in Handbook of Human Factors and Ergonomics, Third Edition</article-title>
          . John Wiley &amp; Sons, New York,
          <fpage>1222</fpage>
          -
          <lpage>1246</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref18">
        <mixed-citation>
          18.
          <string-name>
            <surname>Scapin</surname>
            ,
            <given-names>D.L.</given-names>
          </string-name>
          , &amp;
          <string-name>
            <surname>Bastien</surname>
            ,
            <given-names>J.M.C.</given-names>
          </string-name>
          (
          <year>1997</year>
          ).
          <article-title>Ergonomic criteria for evaluating the ergonomic quality of interactive system</article-title>
          .
          <source>Behaviour and Information Technology</source>
          ,
          <volume>16</volume>
          (
          <issue>4-5</issue>
          ),
          <fpage>220</fpage>
          -
          <lpage>231</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref19">
        <mixed-citation>
          19.
          <string-name>
            <surname>Shneiderman</surname>
            ,
            <given-names>B.</given-names>
          </string-name>
          (
          <year>1996</year>
          ).
          <article-title>The Eyes Have It: A Task by Data Type Taxonomy for Information Visualizations</article-title>
          .
          <source>In Proc. IEEE Symposium on Visual Languages, IEEE Computer Society</source>
          ,
          <fpage>336</fpage>
          -
          <lpage>343</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref20">
        <mixed-citation>
          20.
          <string-name>
            <surname>Shneiderman</surname>
            ,
            <given-names>B.</given-names>
          </string-name>
          (
          <year>1998</year>
          ).
          <article-title>Designing the User Interface: Strategies for Effective HumanComputer Interaction, Third Edition</article-title>
          . Addison-Wesley, Reading, MA.
        </mixed-citation>
      </ref>
      <ref id="ref21">
        <mixed-citation>
          21.
          <string-name>
            <surname>Spence</surname>
            ,
            <given-names>R.</given-names>
          </string-name>
          (
          <year>2001</year>
          ). Information Visualization. Addison-Wesley.
        </mixed-citation>
      </ref>
      <ref id="ref22">
        <mixed-citation>
          22.
          <string-name>
            <surname>Stab</surname>
            <given-names>C.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Breyer</surname>
            <given-names>M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Nazemi</surname>
            <given-names>K.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Burkhardt</surname>
            <given-names>D.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Hofmann</surname>
            <given-names>C.</given-names>
          </string-name>
          , &amp;
          <string-name>
            <surname>Fellner</surname>
            <given-names>D.W.</given-names>
          </string-name>
          (
          <year>2010</year>
          ).
          <article-title>SemaSun Visualization of Semantic Knowledge based on an improved Sunburst Visualization Metaphor</article-title>
          .
        </mixed-citation>
      </ref>
      <ref id="ref23">
        <mixed-citation>
          23.
          <string-name>
            <surname>Ware</surname>
            ,
            <given-names>C.</given-names>
          </string-name>
          (
          <year>2004</year>
          ).
          <article-title>Information Visualization: Perception for Design, Second Edition</article-title>
          . Morgan Kaufmann Publishers Inc., San Francisco, CA, USA.
        </mixed-citation>
      </ref>
      <ref id="ref24">
        <mixed-citation>
          24. Zhang Z.,
          <string-name>
            <surname>Ahmed</surname>
            <given-names>F.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Mittal</surname>
            <given-names>A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Ramakrishnan</surname>
            <given-names>I.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Zhao</surname>
            <given-names>R.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Viccellio</surname>
            <given-names>A.</given-names>
          </string-name>
          , &amp;
          <string-name>
            <surname>Mueller</surname>
            <given-names>K.</given-names>
          </string-name>
          (
          <year>2013</year>
          ).
          <article-title>AnamneVis A Framework for the Visualization of Patient History and Medical Diagnostics Chains</article-title>
          .
        </mixed-citation>
      </ref>
      <ref id="ref25">
        <mixed-citation>
          25.
          <string-name>
            <surname>Zuk</surname>
            ,
            <given-names>T.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Schlesier</surname>
            ,
            <given-names>L.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Neumann</surname>
            ,
            <given-names>P.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Hancock</surname>
            ,
            <given-names>M.S.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Carpendale</surname>
            ,
            <given-names>S.</given-names>
          </string-name>
          , (
          <year>2006</year>
          ).
          <article-title>Heuristics for information visualization evaluation. Proceedings of the 2006 AVI workshop on BEyond time and errors: novel evaluation methods for information visualization</article-title>
          , Venice, Italy.
        </mixed-citation>
      </ref>
    </ref-list>
  </back>
</article>