<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Archiving and Interchange DTD v1.0 20120330//EN" "JATS-archivearticle1.dtd">
<article xmlns:xlink="http://www.w3.org/1999/xlink">
  <front>
    <journal-meta />
    <article-meta>
      <title-group>
        <article-title>User Experience Methoden und Games: Erkenntnisse aus der Praxis</article-title>
      </title-group>
      <contrib-group>
        <contrib contrib-type="author">
          <string-name>Remigius Fierley</string-name>
          <email>fierley@sirvaluse.de</email>
          <email>fierley@sirvaluse.de www.sirvaluse.de</email>
          <xref ref-type="aff" rid="aff0">0</xref>
        </contrib>
        <contrib contrib-type="author">
          <string-name>Stephan Engl</string-name>
          <email>mail@stephanengl.com</email>
          <email>mail@stephanengl.com www.stephanengl.com</email>
          <xref ref-type="aff" rid="aff1">1</xref>
        </contrib>
        <contrib contrib-type="editor">
          <string-name>Entertainment Interfaces Track</string-name>
        </contrib>
        <aff id="aff0">
          <label>0</label>
          <institution>SirValUse Consulting</institution>
          ,
          <addr-line>80799 München, Deutschland, +49 89 27 37 013 42</addr-line>
        </aff>
        <aff id="aff1">
          <label>1</label>
          <institution>Universität Regensburg</institution>
          ,
          <addr-line>93053 Regensburg, Deutschland, +49 170 472 562 0</addr-line>
        </aff>
      </contrib-group>
      <abstract>
        <p>Mit der zunehmenden Verbreitung digitaler Spiele steigt der Bedarf für empirisch fundierte und qualitativ hochwertige Evaluationen von Playability und Game Experience. Für Praktiker aus dem User Experience Bereich stellt sich die Frage, inwieweit ihre etablierten Methoden auch für die Evaluation von Games geeignet sind. Basierend auf Erfahrungen aus der Praxis diskutieren wir relevante Aspekte beim Einsatz von User Experience Methoden im Bereich Games, um für die Besonderheiten dieses Untersuchungsfeldes zu sensibilisieren.</p>
      </abstract>
      <kwd-group>
        <kwd>eol&gt;Evaluation</kwd>
        <kwd>Games</kwd>
        <kwd>Methoden</kwd>
        <kwd>Usability</kwd>
        <kwd>User Experience</kwd>
        <kwd>Playability</kwd>
        <kwd>Player Experience</kwd>
        <kwd>Game Experience</kwd>
      </kwd-group>
    </article-meta>
  </front>
  <body>
    <sec id="sec-1">
      <title>-</title>
      <p>Neue Plattformen und Distributionswege, innovative
Interaktionsformen und eine zunehmend breitere und
differenziertere Spielerschaft kennzeichnen die aktuelle
Entwicklung.</p>
      <p>Angesichts dieser Situation gehen wir davon aus, dass auch
der Bedarf für direktes Kunden- bzw. Spieler-Feedback bei
der Entwicklung von Spielen künftig zunehmen wird.
Durch den erhöhten Wettbewerbsdruck steigen die
Anforderungen an eine empirisch fundierte Entwicklung
und Qualitätskontrolle von Spielen. Damit rücken auch
Fragen nach einer konsequenten Berücksichtigung der
Kunden- bzw. Spielersicht im Entwicklungsprozess in den
Fokus.</p>
      <p>
        USABILITY UND USER EXPERIENCE IN SPIELEN
Computer- und Videospiele stellen eine besondere Art
digitaler Produkte dar. Um Spiele in der Mensch-Maschine
Interaktion von anderen Produkten abzugrenzen, hat sich
mittlerweile eine eigene Nomenklatur entwickelt.
Funktionale Usability Aspekte wie etwa die Menüführung,
die Spielsteuerung, die Gestaltung des Interface usw. sind
bei Spielen ebenso wichtig wie bei anderen digitalen
Produkten. Für klassische Usability Maße wie Effektivität,
Effizienz und Zufriedenheit wird bei Spielen statt Usability
oft der Begriff Playability verwendet (in der Literatur wird
die genaue Abgrenzung der beiden Begriffe noch diskutiert,
vgl. [
        <xref ref-type="bibr" rid="ref9">7</xref>
        ], [
        <xref ref-type="bibr" rid="ref19">17</xref>
        ], [
        <xref ref-type="bibr" rid="ref21">19</xref>
        ]). Das Produkterlebnis und die
Nutzungserfahrung bei der Interaktion mit digitalen
Produkten gehen jedoch über die Beschreibung klassischer
Produktivitätsmaße hinaus. In der Mensch-Maschine
Interaktion spricht man deshalb neben der Usability auch
von der User Experience eines Produktes. Es wird versucht,
diese subjektive Wahrnehmung durch die Gestaltung so zu
optimieren, dass nicht-instrumentelle Qualitäten wie
Schönheit, Neuartigkeit und Selbstausdruck betont werden
(vgl. [
        <xref ref-type="bibr" rid="ref11">9</xref>
        ], [
        <xref ref-type="bibr" rid="ref12">10</xref>
        ]). Bei Spielen ist die eigentliche
Nutzungserfahrung viel wichtiger für den Erfolg und die
Akzeptanz eines Produkts, als bei eher funktionalen
Produkten und Anwendungen. Während ein Nutzer bei
einem Textverarbeitungsprogramm oder bei einer
ECommerce Website auch ohne eine herausragende User
Experience das angestrebte Ziel erreichen kann, ist bei
Spielen die wahrgenommene Spielerfahrung an sich das
Ziel. Unterschiedliche Konzepte wie z.B. Flow (völliges
Aufgehen in einer Tätigkeit durch optimale Balance
zwischen Können und Herausforderung, vgl. [
        <xref ref-type="bibr" rid="ref3 ref5">3</xref>
        ], [
        <xref ref-type="bibr" rid="ref7">5</xref>
        ], [
        <xref ref-type="bibr" rid="ref22">20</xref>
        ])
oder Immersion (Verminderung der Eigenwahrnehmung
auf Grund einer fesselnden und anspruchsvollen virtuellen
Umgebung, vgl. [
        <xref ref-type="bibr" rid="ref1 ref4">2</xref>
        ], [
        <xref ref-type="bibr" rid="ref8">6</xref>
        ], [
        <xref ref-type="bibr" rid="ref15">13</xref>
        ]) werden herangezogen, um
wichtige Aspekte der Nutzungserfahrung bei Spielen zu
beschreiben. Mit den Begriffen der Player- und Gameplay
Experience werden diese weiteren Dimensionen digitaler
Spielerfahrungen, wie Motivation, Herausforderung,
Spannung, Spaß, ästhetischer Reiz und weitere
Einflussfaktoren umschrieben (vgl. [
        <xref ref-type="bibr" rid="ref6">4</xref>
        ], [
        <xref ref-type="bibr" rid="ref10">8</xref>
        ], [
        <xref ref-type="bibr" rid="ref16">14</xref>
        ], [
        <xref ref-type="bibr" rid="ref18">16</xref>
        ], [
        <xref ref-type="bibr" rid="ref19">17</xref>
        ],
[
        <xref ref-type="bibr" rid="ref20">18</xref>
        ]). Die Game Experience ist also ein Nutzungserlebnis,
das deutlich facettenreicher und komplexer ist als viele
andere Produkterfahrungen.
      </p>
      <p>
        Vor dem Hintergrund dieses spezifischen Charakters der
Nutzungserfahrung beim Spielen stellt sich die Frage,
inwieweit die in der Industrie bekannten und etablierten
Usability und User Experience Methoden auch für
Produkttests von Spielen herangezogen werden können.
USER EXPERIENCE METHODEN UND DIE EVALUATION
VON GAMES
Wir möchten im Folgenden ausgewählte praktische
Erfahrungen diskutieren, die wir in vergangenen Projekten
im Bereich Games gesammelt haben und die uns bei der
Anwendung von User Experience Methoden in diesem
Bereich relevant erscheinen. Wir konzentrieren uns dabei
ausschließlich auf Aspekte und Techniken im Rahmen von
Nutzertests, die aus unserer Sicht im Industriebereich die
zentrale User Experience Evaluationsmethode darstellen.
Zur Bedeutung und Anwendbarkeit von Heuristiken im
Rahmen von Expertenevaluationen verweisen wir auf die
bereits bestehende umfangreiche Diskussion (vgl. [
        <xref ref-type="bibr" rid="ref26">24</xref>
        ],
[
        <xref ref-type="bibr" rid="ref27">25</xref>
        ]).
      </p>
      <p>Unsere Auswahl betrifft dabei jene Aspekte, die unserer
Erfahrung nach die deutlichsten Abweichungen zur
Durchführung von Nutzertests in normalen
Produktbereichen (Webseiten, Produktivitätssoftware,
Unterhaltungselektronik) aufweisen. Die Punkte betreffen
das Testsetting, die Datenaufnahme, freie Interaktion,
Thinking Aloud, standardisierte Fragebögen und
Iterationen.</p>
      <p>Die Darstellung dieser Aspekte soll externe
UsabilityDienstleister und Professionals, die aus dem "klassischen"
Usability und User Experience Bereich kommen, für die
Besonderheiten von Spielen als Testgegenstand
sensibilisieren.</p>
      <p>Testsetting
Als Usability und User Experience Professionals sind wir
gewohnt den Nutzungskontext zu berücksichtigen. Bei der
Gestaltung des Settings im Testlabor muss dieser
Nutzungskontext jedoch meistens nicht gesondert
berücksichtigt werden. Bei der Evaluation normaler
Produkte und Applikationen, die in der Regel durch einen
einzelnen Nutzer am Arbeitsplatz oder am heimischen PC
genutzt werden, reicht es meistens aus, den Testraum
entsprechend wie ein Arbeitszimmer oder einen
Arbeitsplatz zu gestalten.</p>
      <p>Im Gegensatz dazu erfordern Spiele eine deutlich stärkere
Berücksichtigung des räumlichen Kontextes bei der
Testgestaltung (wenn auch hier Abstufungen für
unterschiedliche Plattformen, Genres und Spielerschaften
bestehen). Die Evaluation eines sogenannten Social-/
PartyGames soll an dieser Stelle als ein besonders markantes
Beispiel dienen. Im Rahmen einer Studie sollte ein erster
funktionaler Prototyp des Spiels evaluiert werden. Neben
dem Verständnis des Spielinterfaces standen vor allem
Fragen zur Gameplay Experience im Vordergrund, die die
spezifische Gruppendynamik und den Spielspaß betrafen.
Das Testdesign sah u.a. ein freies Spielen von einer Stunde
mit anschließender Befragung vor. Um eine weitgehend
natürliche Immersion und Gruppendynamik zu erlauben,
wurde das Testsetting einem "typischen Samstagabend mit
Freunden" nachgestellt. Gestaltung und Sitzmöglichkeiten
des Testraums entsprachen einem Wohnzimmer, wobei
besonderer Wert auf die Ausleuchtung des Raumes und die
Qualität der Musikanlage gelegt wurde. Die Testspieler
sollten sich tatsächlich in einer "Party-Atmosphäre"
bewegen und nicht in einem Office oder "Usability-Lab".
Aus dem gleichen Grund wurden den Teilnehmern auch
diverse Getränke und Snacks während des Spielens
serviert. Rekrutiert wurden übrigens Kleingruppen von
Freunden, Bekannten und Familien, die gemeinsam am
Test teilnahmen.</p>
      <p>Tatsächlich konnten wir beobachten, dass die Testgruppen
bereits nach kürzester Zeit den Testraum für sich "in
Beschlag nahmen" und sich ungestört dem Spiel widmeten.
Dank dieser kontextualisierten und ungestörten
Auseinandersetzung konnten wir auch im Lab-Setting mit
einem Prototyp reichhaltige Daten zur Gruppendynamik
und Gameplay Experience erheben.</p>
      <p>Auch wenn ein derartiges Multi-Player Party-Game einen
Extremfall darstellen mag, ist festzuhalten, dass beim
Testen von Games der Berücksichtigung des
Nutzungskontextes ein besonderes Augenmerk gehört, um
zentrale Aspekte des Spielerlebnisses adäquat abzubilden.
Datenaufnahme
Die direkte Beobachtung von Verhalten bildet den Kern der
User Experience Methodik. Geschulte Testleiter sind
deshalb ein zentrales Qualitätskriterium bei der
Testdurchführung. Bereits bei Standardtests sind die
Anforderungen an die Testleiter hoch: Beobachtung von
Gestik, Mimik und Interaktion mit dem Produkt,
Aufmerksamkeit für verbale Äußerungen der Probanden
sowie deren emotionale Reaktion auf den Testgegenstand
und die Testsituation, Kenntnis des Testgegenstandes und
der Systemreaktionen.</p>
      <p>
        Beim Game-Testing können sich diese Anforderungen an
die Beobachtung noch einmal erheblich steigern. Hinzu
kommen komplexe und schnelle Interaktionen mit dem
Game Interface, Mehrspieler-Kontext und
Gruppendynamik (s.o.) oder zusätzliche wichtige Game
Experience Aspekte wie zum Beispiel der Einfluss von
Akustik und Sounds. In der Summe erhöhen sich die
relevanten Aspekte und Daten zur Aufnahme und
Dokumentation während der Testsessions erheblich.
Dieser Situation lässt sich begegnen etwa durch den Einsatz
eines Moderators und eines zweiten Beobachters (analog
dem Test-Setting bei komplexen Softwareprodukten), dem
verstärkten Einsatz der nachträglichen Analyse der
Videoaufzeichnungen oder der unterstützenden Nutzung
geeigneter Tools zum automatischen Tracking von
Spielinteraktionen (vgl. [
        <xref ref-type="bibr" rid="ref29">27</xref>
        ]). Ebenso hat es sich als
hilfreich erwiesen, bei komplexeren Spielen oder
Mehrspieler-Tests eine geeignete spezifische Notation und
Struktur zur Protokollierung einzusetzen.
      </p>
      <p>
        Freie Interaktion
Klassische User Experience Tests folgen üblicherweise
einer (teil-) strukturierten, wechselnden Abfolge von
Phasen der Aufgabenbearbeitung und Befragung. Ein
Testleiter begleitet die Probanden während der
unterschiedlichen Testszenarios und Produktinteraktion und
befragt zu interessierenden Aspekten an passender Stelle.
Dieses teilstrukturierte Vorgehen kann sich beim Testen
von Spielen als ungeeignet erweisen. Ein ungestörtes
Spielerlebnis ist wichtig, damit sich Immersion, Flow und
weitere Dimensionen der Spielerfahrung entfalten können.
Nur wenn Probanden für einen gewissen Zeitraum in ein
Spiel eintauchen können, lassen sich auch
psychophysiologische Reaktionen beobachten (vgl. [
        <xref ref-type="bibr" rid="ref19">17</xref>
        ]).
Die intermittierende Exploration hingegen führt dazu, dass
Probanden sich nur eingeschränkt auf das Spiel einlassen
können, weil sie durch die Kommunikation mit dem
Testleiter oder allein auf Grund seiner Präsenz am
Eintauchen in das Spiel gehindert werden.
      </p>
      <p>Wir empfehlen deshalb, bei Game Tests den Testablauf mit
ausgedehnten Phasen des freien Spielens zu gestalten, die
wiederum durch Phasen intensiver Nachbefragung
eingerahmt werden. Falls Testobjekt und Studiendesign es
erlauben, kann der Testleiter während der freien Phasen
auch den Raum verlassen, so dass sich die Probanden in
Ruhe, allein und ohne Instruktion der Erkundung des Spiels
widmen können. Auch bei kurzen und schnellen
Spielkonzepten sollte den Probanden die Möglichkeit
gegeben werden, das Spiel zunächst mehrfach anzuspielen,
bevor eine Befragung stattfindet.</p>
      <p>In dieser Anwendung aus längeren Phasen des freien,
ungestörten Spiels und ex-post Befragung liegt ein
deutlicher Unterschied zum use and explore Vorgehen
gängiger, qualitativer Usability-Tests (die stark auf die
erwartungskonforme und selbstbeschreibende Erstnutzung
fokussieren).</p>
      <p>Die bereits erwähnte Studie des Party-Games ist ein gutes
Beispiel, bei dem erst vor dem Hintergrund einer
ausgedehnten Phase des freien und ungestörten Spielens die
interessierenden Aspekte der Game Experience gezeigt
haben. Die Ausgestaltung und der Umfang des freien
Spielens variieren natürlich in Abhängigkeit der
untersuchten Plattform, dem Genre und dem
Entwicklungsstand des Konzeptes.</p>
      <p>
        Thinking Aloud
Eine klassische Technik bei der nutzerbasierten Usability
und User Experience Evaluation ist das sogenannte "Laute
Denken" (Thinking Aloud vgl. [
        <xref ref-type="bibr" rid="ref28">26</xref>
        ]). Durch das
fortlaufende Kommentieren der (bewussten)
Entscheidungs- und Denkprozesse sollen die Hintergründe
der Interaktion mit einem Produkt an die Oberfläche
gebracht werden. Was denken die Probanden bei der
Interaktion? Warum entscheiden sie sich für gewisse
Optionen und ignorieren andere? Warum werden
bestimmte Lösungswege gewählt und Entscheidungen
getroffen?
Während die Technik des lauten Denkens bei der
funktionalen Evaluation von Spielen weitgehend
problemlos angewandt werden kann, ist schnell
nachzuvollziehen, dass dieses Vorgehen bei der
Untersuchung der Player- und Gameplay Experience die
Nutzungserfahrung der Testpersonen negativ beeinflussen
kann. Die individuelle Wahrnehmung und Entwicklung von
Flow, Immersion, Spannung und Spaß können sich nicht
entfalten, wenn Probanden angehalten werden, ihre
Gedanken fortlaufend zu verbalisieren und damit ihre
Aufmerksamkeit auf Spiel und Gesprächssituation
aufzuteilen (ähnlich dem Versuch bei einem spannenden
Film einem unbeteiligten Anwesenden parallel das
Geschehen zu erläutern).
      </p>
      <p>
        Für die Überprüfung nichtfunktionaler Eigenschaften eines
Spiels ist die Methode des lauten Denkens demnach nur
eingeschränkt anwendbar. Eine Alternative stellt das
retrospektive laute Denken dar [
        <xref ref-type="bibr" rid="ref13">11</xref>
        ]. Hierbei wird das laute
Denken am Ende des Tests durchgeführt, indem Proband
und Testleiter gemeinsam eine Videoaufnahme des
vorangegangenen Tests analysieren. Während dieses
Vorgehen eine sehr fokussierte Befragung durch den
Testleiter ermöglicht, hat sich dennoch gezeigt, dass die
post-hoc Verbalisierung von Emotionen und Erfahrungen
sich für viele Probanden schwierig gestaltet. Da
retrospektives lautes Denken zudem den Zeitaufwand pro
Testsession deutlich erhöht, empfiehlt es sich (je nach
Testgegenstand und Fragestellung) ganz auf das laute
Denken zu verzichten. Stattdessen sollten spontane
Äußerungen, Reaktionen sowie Gestik und Mimik der
Probanden während des Spielens aufgenommen und im
Anschluss an das Spiel exploriert werden.
      </p>
      <p>Das Für und Wider des lauten Denkens ist auch abhängig
vom Spielkonzept. Bei komplexen, zeitlich aufwändigen
Spielen ist aus eben genannten Gründen vom Einsatz
abzuraten. Für kurzweilige, schnelle Casual Games, bei
denen ein immersives Spielerlebnis über eine längere
Spieldauer nicht im Vordergrund steht oder allgemein zur
Überprüfung eher funktionaler Spiele-Eigenschaften kann
die Methode sicherlich weiterhin sinnvoll eingesetzt
werden.</p>
      <p>
        Standardisierte Fragebögen
Die Erfassung der subjektiven Zufriedenheit hinsichtlich
der Usability und User Experience eines Produktes ist ein
Standardmaß bei der Systemevaluation. Häufig werden
hierzu auch standardisierte Fragebögen eingesetzt, die dem
Probanden am Ende der Produktnutzung vorgelegt werden.
Für Usability und User Experience Evaluationen im
klassischen Produktbereich existieren mittlerweile eine
ganze Reihe, teils auch plattformspezifischer,
standardisierter Fragebögen (z. B. System Usability Scale
[1] oder WAMMI [
        <xref ref-type="bibr" rid="ref23">21</xref>
        ]).
      </p>
      <p>
        Egal ob es sich dabei um Eigenentwicklungen oder um
„quasi“ Standards handelt, bei der Untersuchung von
Spielen sind diese Werkzeuge nur bedingt oder gar nicht
geeignet. Während für die Überprüfung funktionaler
Eigenschaften und Elemente von Spielen sich noch
bekannte Fragebögen heranziehen lassen, versagen diese
Instrumente bei der Messung der Game Experience. Soll
die ganzheitliche Player- und Gameplay Experience
untersucht werden ist es selbst mit komplexen User
Experience Fragebögen wie dem User Experience
Questionnaire [
        <xref ref-type="bibr" rid="ref17">15</xref>
        ] oder dem AttrakDiff2 [
        <xref ref-type="bibr" rid="ref12">10</xref>
        ] nicht
möglich, die spielspezifischen Dimensionen der
Nutzungserfahrung wie Spannung, Immersion und Flow
adäquat zu erheben.
      </p>
      <p>Um den spezifischen Erlebnisdimensionen des Spielens
gerecht zu werden, müssen derzeit noch aktuell
existierende User Experience Fragebögen individuell
angepasst oder aber entsprechende Eigenentwicklungen,
die nicht übertragbar sind, eingesetzt werden.</p>
      <p>
        Wir können jedoch damit rechnen, dass künftig auch im
Bereich Games standardisierte Fragebögen angeboten
werden, die speziell zur Erfassung digitaler
Spielerfahrungen konzipiert wurden. Beispiele dafür sind
der Game Engagement Questionnaire (vgl. [
        <xref ref-type="bibr" rid="ref30">28</xref>
        ]) oder der
bisher noch nicht veröffentlichte Game Experience
Questionnaire (vgl. [
        <xref ref-type="bibr" rid="ref14">12</xref>
        ], [
        <xref ref-type="bibr" rid="ref20">18</xref>
        ]), mit Hilfe derer relevante
Erfahrungsdimensionen wie Immersion, Spannung, Flow,
Herausforderung etc. erhoben werden können.
      </p>
      <p>Iterationen
Die iterative Evaluation und Optimierung von
Interaktionskonzepten ist ein Grundpfeiler der
nutzerzentrierten Gestaltung. Erfahrungsgemäß werden in
vielen Projekten jedoch nach wie vor nur wenige
Iterationen durchgeführt oder nur punktuell getestet.
Empfehlungen zur Optimierung fließen dabei direkt, ohne
eine weitere Evaluationsschleife, in das Konzept oder
fertige Produkt ein. Häufig lässt sich dieses Vorgehen
dadurch rechtfertigen, dass die Applikationen auf
konventionellen Interface-Elementen und Prinzipien
basieren oder in einem bereits bekannten Nutzungskontext
eingesetzt werden. Zur Umsetzung von Optimierungen
kann deshalb auf umfangreiche Erfahrungswerte,
Kenntnisse der Nutzeranforderungen und Best-Practices
zurückgriffen werden.</p>
      <p>Beim Game Experience Testing kann der Verzicht auf ein
iteratives Vorgehen hingegen fatale Folgen für Playability
und Game Experience haben. Zum einen, weil man bei
innovativen Designs und Interaktionen meistens auf keine
Erfahrungswerte zurückgreifen kann. Zum anderen, weil
die Anzahl der relevanten Variablen (Verständnis des
Interface, Spielgeschwindigkeit, Flow, Immersion), die
durch eine Änderung betroffen sind, höher ist und die
gegenseitige Abstimmung dadurch schwieriger wird. Beim
"klassischen" Usability-Testing erfolgt die Optimierung in
der Regel mit Blick auf weniger Dimensionen: eine
möglichst einfache und schnelle Aufgabenbearbeitung und
eine dementsprechend hohe subjektive Zufriedenheit. Im
Bereich Games können dagegen selbst kleine Änderungen
am Interface schnell einen subjektiv angenehmen Flow
oder "sensible" Spielmechaniken zerstören. Iteratives
Testen ist deshalb zwingend erforderlich.</p>
      <p>Zur kurzen Illustration sollen die Erfahrungen aus der
Studie eines Online-Spiels dienen. Das Spiel erlaubte auf
neuartige Weise schnelle, differenzierte Spielzüge der
Spielfigur auf dem Spielfeld und gleichzeitig taktische
Spielmanöver im Wechsel mit einem Gegner. Insbesondere
diese Kombination einer schnellen, taktischen
Spielinteraktion mit dem Gegner in dem spezifischen
Spielgenre wurde durch die Testspieler als positives
Highlight des Spiels bewertet. Gleichzeitig konnten wir
aber auch beobachten, dass sich die unterschiedlichen
möglichen Spielzüge den Spielern nicht vollständig
erschlossen, bzw. im Spielverlauf sogar teilweise zu
Verwirrungen führten. Bei dem Spiel handelte es sich um
ein Casual Game, welches aus wenigen Spielrunden
bestand und in einem relativ kurzen Zeitrahmen komplett
spielbar sein sollte. Insofern war es hier besonders wichtig,
dass die Spielsteuerung bereits in der ersten Spielrunde
unmittelbar verständlich sein musste.</p>
      <p>Einer der angedachten Optimierungsvorschläge war, vor
jeden Spielzug eine weitere Zwischenauswahl (per
Mausklick) einzufügen. In einem Re-Test der Umsetzung
stellte sich jedoch heraus, dass dieser eine "Extra"-Klick
bereits ausreichte, um dem gesamten Spiel die
Geschwindigkeit und den Spielfluss zu nehmen. Das
eigentliche Highlight des Spiels war durch einen
zusätzlichen Klick beseitigt worden (und eine alternative
Lösung musste gefunden werden). Ohne ein iteratives
Vorgehen hätte dieser Optimierungsschritt entsprechend
negative Konsequenzen für die Game Experience gehabt.
Ausgehend von diesem Beispiel empfehlen wir, bei der
Evaluation von Spielen konsequent iterativ vorzugehen, um
eine optimale Playability und Game Experience zu
erreichen. Dabei kann Größe, Anzahl und zeitliche Abfolge
der Evaluationsrunden auch an kurze und schnelle
Entwicklungsprozesse optimal angepasst werden, z.B. im
Rahmen der Methode des Rapid Prototyping.</p>
      <p>AUSBLICK
Wir haben im vorliegenden Artikel einige der praktischen
Erfahrungen dargestellt, die wir bei der Durchführung von
Game Experience Tests gesammelt haben und die uns für
eine Diskussion des Stellenwerts klassischer User
Experience Methoden im Bereich Games relevant
erscheinen. Wir hoffen damit gezeigt zu haben, dass Games
zwar aus User Experience Sicht ein sehr spezifisches
Testobjekt sind, aber keines grundsätzlich neuen Ansatzes
im Bereich Research und Testing bedürfen. Wir können
bewährte User Experience Methoden nutzen, müssen diese
aber den Besonderheiten des Games-Bereichs anpassen.
Wie diese Anpassung aussehen kann, haben wir für einige
zentrale Aspekte der Testdurchführung aufgezeigt.
Bei unserer praktischen Beschäftigung mit Spielen als
Testobjekt haben sich weitere Aspekte und Fragen zur
Anwendbarkeit von User Experience Methoden ergeben, zu
denen wir bisher allerdings keine ausreichende Erfahrung
sammeln konnten bzw. keine fundierten Antworten
gefunden haben. Wir möchten zum Abschluss diese Punkte
als Beitrag für eine künftige Diskussion kurz aufzeigen.
Während die methodische Basis für Spieletests weiterhin
die Beobachtung und Befragung bilden, können langfristig
auch vielversprechende neuartige Ansätze zur Analyse des
Spielerlebnisses Beachtung finden. Technische Fortschritte
in der Sensortechnologie ermöglichen den Einsatz
psychophysiologischer Methoden zur objektiven Erhebung
von kognitiven und emotionalen Reaktionen des Spielers.
Größter Nachteil dieser Methoden war bisher der
konfundierende Charakter der Messinstrumente sowie die
komplizierte und langwierige Auswertung der erhobenen
Daten. Durch den Erfolg mit entsprechenden Instrumenten
im Consumer Markt von Firmen wie NeuroSky1, Emotive
1 NeuroSky Inc. BCI Technology. Website:
http://company.neurosky.com/bci-technology-applicationmarch/, Last visit: 04.03.2010.</p>
      <p>Systems2 und EmSense3 können psychophysiologische
Methoden zukünftig günstiger, mit weniger
Beeinträchtigung der Versuchspersonen und durch die
Anbindung von Application Programming Interfaces
(APIs) und Auswertungsroutinen vor allem auch schneller
analysiert und ausgewertet werden. Damit werden die
Methoden attraktiv für den Einsatz bei Spieletests, da sie
die Beobachtung und die Befragung als Methoden der
Wahl sehr gut ergänzen können.</p>
      <p>Des Weiteren stellt sich die Frage, wie mit dem Thema
ungenügender Spielmotivation von Probanden in der
Testsituation umzugehen ist. Im Extremfall können
Probanden bereits nach kurzem erstem Spiel stark frustriert
oder demotiviert sein. Hier zeigt sich deutlich der
Unterschied zwischen zielorientieren Tests (z. B. bei
Produktivitätssoftware) und ereignisorientieren Tests wie
im Bereich Games. Bei Spielen steht der Spaß, der durch
die Interaktion entsteht, im Vordergrund. Einen Testspieler,
der bereits nach kurzem Spielen frustriert ist, aufzufordern,
es erneut zu probieren, ist wenig zielführend. Wie sieht der
Plan B in diesen Fällen aus? Das Testergebnis akzeptieren,
den Probanden nach Hause schicken und damit "teure"
Interviewzeit und Rekrutierung verschenken? Oder für
solche Fälle einen alternativen Fragebogen bereithalten, der
allgemeine Fragen zum Spielkonzept oder die Bewertung
alternativer Konzepte enthält?
Wichtige Fragen bestehen auch bezüglich der
Rekrutierung, einem weiteren zentralen Qualitätskriterium
von User Research Studien. Ist diese angesichts der vielen
unterschiedlichen, relevanten Verhaltensdimensionen bei
Games differenzierter bzw. spezifischer als bei Standard
Testobjekten? Wie kann man die Kriterien Spielgenre und
-kategorie, Spielertyp, Spielmotivation, Spielanlass und
Spielerfahrung hinsichtlich Frequenz, Dauer sowie deren
spezifische Kombination adäquat berücksichtigen (Wenn
man 5 Stunden am Tag Casual Games spielt, ist man dann
noch Casual Gamer?).</p>
      <p>Schließlich das Thema Längsschnittstudien: mehrwöchige
Feldtests zur Evaluation der längerfristigen
Nutzungsmotivation und zur Identifikation von Problemen
außerhalb der Erstnutzung sind nichts Ungewöhnliches im
User Research Bereich, deren Bedeutung im Bereich
Games ist aber deutlich größer. Die Entwicklung und
Bewertung des Spielflows, der emotionalen Reaktionen
oder der Spielmotivation sind nur einige der wichtigen
Aspekte, die im Falle von komplexeren Langzeit-Spielen
eine zeitlich langfristige Betrachtung erfordern. Derartige
diachrone Studiendesigns können Methoden umfassen wie
z. B. kurze oder mehrwöchige Feldtests, Tagebücher (auch
online), begleitende Online-Foren, Onlinebefragungen oder
Gruppendiskussionen. Welcher Methodenmix hier zeit- und
kosteneffizient optimale Ergebnisse liefert ist noch zu
diskutieren. Deutlich wird jedoch, dass eine zeitlich
begrenzte Lab-Evaluation nur beschränkte Ergebnisse
liefern kann.</p>
      <p>Unsere praktische Beschäftigung mit Games hat uns
gezeigt, dass nicht nur die Spielentwicklung von der User
Experience Forschung profitieren kann, sondern umgekehrt
auch die User Experience Forschung von der
Beschäftigung mit Spielen viel lernen kann. Auch in
anderen Produktbereichen gibt es bereits seit einiger Zeit
einen deutlichen Trend zur Berücksichtigung der
nichtfunktionalen Qualitäten von Produkten. Wir denken, dass
in diesem Zusammenhang Erkenntnisse und Konzepte aus
dem Spielebereich (z.B. Flow, Immersion, die
differenzierte Auseinandersetzung mit Emotionen und
Ästhetik) fruchtbar auch auf den klassischen User
Experience Bereich übertragen werden können, um stärker
den spielerischen Charakter von Interaktionen zu
berücksichtigen.</p>
      <p>QUELLEN
1. Brooke, J. SUS: A quick and dirty usability scale. In
P.W. Jordan (eds.): Usability evaluation in industry.</p>
      <p>Taylor &amp; Francis, London, 1996.</p>
    </sec>
  </body>
  <back>
    <ref-list>
      <ref id="ref1">
        <mixed-citation>
          2
          <string-name>
            <given-names>Emotive</given-names>
            <surname>Systems</surname>
          </string-name>
          .
          <source>Become an Emotive Researcher.</source>
        </mixed-citation>
      </ref>
      <ref id="ref2">
        <mixed-citation>
          <string-name>
            <surname>Website</surname>
          </string-name>
          : http://www.emotiv.com/researchers/, Last visit:
          <volume>04</volume>
          .
          <fpage>03</fpage>
          .
          <year>2010</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref3">
        <mixed-citation>
          <article-title>3 Emsense. Neuromeasurement Designed Specifically for Market Research</article-title>
          . Website: http://www.emsense.com/technology.php, Last visit:
          <volume>04</volume>
          .
          <fpage>03</fpage>
          .
          <year>2010</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref4">
        <mixed-citation>
          2.
          <string-name>
            <surname>Brown</surname>
          </string-name>
          , E. &amp;
          <string-name>
            <surname>Cairns</surname>
            ,
            <given-names>P.</given-names>
          </string-name>
          <article-title>A grounded investigation of game immersion</article-title>
          . In Dykstra-Erickson,
          <string-name>
            <given-names>E.</given-names>
            &amp;
            <surname>Tscheligi</surname>
          </string-name>
          , M. (eds.):
          <article-title>CHI '04 extended abstracts on Human factors in computing systems</article-title>
          , ACM, Vienna, Austria,
          <year>2004</year>
          , S.
          <fpage>1297</fpage>
          -
          <lpage>1300</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref5">
        <mixed-citation>
          3.
          <string-name>
            <surname>Chen</surname>
            ,
            <given-names>J.</given-names>
          </string-name>
          <article-title>Flow in games (and everything else)</article-title>
          .
          <source>Communications of the ACM</source>
          ,
          <volume>50</volume>
          ,
          <issue>4</issue>
          (April
          <year>2007</year>
          ), S.
          <fpage>31</fpage>
          -­
          <lpage>‐</lpage>
          34.
        </mixed-citation>
      </ref>
      <ref id="ref6">
        <mixed-citation>
          4.
          <string-name>
            <surname>Costello</surname>
            ,
            <given-names>B.</given-names>
          </string-name>
          &amp;
          <string-name>
            <surname>Edmonds</surname>
            ,
            <given-names>E.</given-names>
          </string-name>
          <article-title>A study in play, pleasure and interaction design</article-title>
          .
          <source>In Koskinen, I. &amp;</source>
          <string-name>
            <surname>Keinonen</surname>
            ,
            <given-names>T</given-names>
          </string-name>
          . (eds.):
          <source>DPPI '07: Proceedings of the 2007 conference on Designing pleasurable products and interfaces</source>
          , ACM, New York, USA,
          <year>2007</year>
          , S.
          <fpage>76</fpage>
          -­
          <lpage>‐</lpage>
          91.
        </mixed-citation>
      </ref>
      <ref id="ref7">
        <mixed-citation>
          5.
          <string-name>
            <surname>Cowley</surname>
            ,
            <given-names>B.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Charles</surname>
            ,
            <given-names>D.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Black</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          &amp;
          <string-name>
            <surname>Hickey</surname>
            ,
            <given-names>R.</given-names>
          </string-name>
          <article-title>Toward an understanding of flow in video games</article-title>
          .
          <source>Computers in Entertainment</source>
          ,
          <volume>6</volume>
          ,
          <issue>2</issue>
          (April/June 2008), S.
          <fpage>1</fpage>
          -­
          <lpage>‐</lpage>
          27.
        </mixed-citation>
      </ref>
      <ref id="ref8">
        <mixed-citation>
          6.
          <string-name>
            <surname>Ermi</surname>
            ,
            <given-names>L.</given-names>
          </string-name>
          &amp;
          <string-name>
            <surname>Mäyrä</surname>
            ,
            <given-names>F.</given-names>
          </string-name>
          <article-title>Fundamental Components of the Gameplay Experience: Analysing Immersion</article-title>
          . In de Castell,
          <string-name>
            <given-names>S.</given-names>
            &amp;
            <surname>Jenson</surname>
          </string-name>
          ,
          <string-name>
            <surname>J</surname>
          </string-name>
          . (eds.):
          <source>Proceedings of DiGRA 2005 Conference</source>
          , Vancouver, University of Vancouver,
          <year>2005</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref9">
        <mixed-citation>
          7.
          <string-name>
            <surname>Fabricatore</surname>
            ,
            <given-names>C.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Nussbaum</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          &amp;
          <string-name>
            <surname>Rosas</surname>
            ,
            <given-names>R.</given-names>
          </string-name>
          <article-title>Playability in action videogames: a qualitative design model</article-title>
          .
          <source>Human-Computer Interaction</source>
          ,
          <volume>17</volume>
          ,
          <issue>4</issue>
          (
          <year>December 2002</year>
          ), S.
          <fpage>311</fpage>
          -­
          <lpage>‐</lpage>
          368.
        </mixed-citation>
      </ref>
      <ref id="ref10">
        <mixed-citation>
          8.
          <string-name>
            <surname>Fernandez</surname>
            ,
            <given-names>A.</given-names>
          </string-name>
          <article-title>Fun experience with digital games: A model proposition</article-title>
          . In O. Leino,
          <string-name>
            <given-names>H.</given-names>
            <surname>Wirman</surname>
          </string-name>
          &amp; A. Fernandez (eds.):
          <article-title>Extending experiences. Structure, analysis and design of computer game player experience</article-title>
          , Rovaniemi, Lapland,
          <year>2008</year>
          , S.
          <fpage>181</fpage>
          -
          <lpage>190</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref11">
        <mixed-citation>
          9.
          <string-name>
            <surname>Hassenzahl</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          <article-title>User experience (UX): towards an experiential perspective on product quality</article-title>
          . In É. Brangier, G. Michel,
          <string-name>
            <given-names>C. J.M.</given-names>
            <surname>Bastien</surname>
          </string-name>
          &amp; N. Carbonell (eds.):
          <source>IHM '08: Proceedings of the 20th International Conference of the Association Francophone d'Interaction Homme-Machine</source>
          ,
          <string-name>
            <surname>ACM</surname>
          </string-name>
          , New York, USA,
          <year>2008</year>
          , S.
          <fpage>11</fpage>
          -­
          <lpage>‐</lpage>
          15.
        </mixed-citation>
      </ref>
      <ref id="ref12">
        <mixed-citation>
          10.
          <string-name>
            <surname>Hassenzahl</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Burmester</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          &amp;
          <string-name>
            <surname>Koller</surname>
            ,
            <given-names>F.</given-names>
          </string-name>
          <article-title>Der User Experience auf der Spur: Zum Einsatz von www</article-title>
          .attrakdiff.de. In H. Brau,
          <string-name>
            <given-names>S.</given-names>
            <surname>Diefenbach</surname>
          </string-name>
          ,
          <string-name>
            <given-names>M.</given-names>
            <surname>Hassenzahl</surname>
          </string-name>
          ,
          <string-name>
            <given-names>F.</given-names>
            <surname>Koller</surname>
          </string-name>
          ,
          <string-name>
            <given-names>M.</given-names>
            <surname>Peissner</surname>
          </string-name>
          &amp; K. Röse (eds.):
          <source>Usability Professionals</source>
          <volume>08</volume>
          ,
          <string-name>
            <surname>German</surname>
            <given-names>Chapter</given-names>
          </string-name>
          der Usability Professionals' Association, Stuttgart,
          <year>2008</year>
          , S.
          <fpage>78</fpage>
          -
          <lpage>82</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref13">
        <mixed-citation>
          11.
          <string-name>
            <surname>Hoonhout</surname>
          </string-name>
          , H.
          <string-name>
            <surname>C.M.</surname>
          </string-name>
          <article-title>Let the Game Tester Do the Talking: Think Aloud and Interviewing to Learn About the Game Experience</article-title>
          . In K. Isbister &amp; N. Schaffer (eds.):
          <article-title>Game usability. Advice from the experts for advancing the player experience</article-title>
          . Elsevier/Morgan Kaufmann, Amsterdam,
          <year>2008</year>
          , S.
          <fpage>65</fpage>
          -
          <lpage>77</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref14">
        <mixed-citation>
          12.
          <string-name>
            <surname>Ijsselsteijn</surname>
            , W., de Kort,
            <given-names>Y.</given-names>
          </string-name>
          &amp;
          <string-name>
            <surname>Poels</surname>
            ,
            <given-names>K.</given-names>
          </string-name>
          <article-title>The Game Experience Questionnaire: Development of a self-report measure to assess the psychological impact of digital games</article-title>
          .
          <source>In preperation.</source>
        </mixed-citation>
      </ref>
      <ref id="ref15">
        <mixed-citation>
          13.
          <string-name>
            <surname>Jennett</surname>
            ,
            <given-names>C.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Cox</surname>
            ,
            <given-names>A. L.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Cairns</surname>
            ,
            <given-names>P.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Dhoparee</surname>
            ,
            <given-names>S.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Epps</surname>
            ,
            <given-names>A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Tijs</surname>
            ,
            <given-names>T.</given-names>
          </string-name>
          &amp;
          <string-name>
            <surname>Walton</surname>
            ,
            <given-names>A.</given-names>
          </string-name>
          <article-title>Measuring and defining the experience of immersion in games</article-title>
          .
          <source>International Journal of Human-Computer Studies</source>
          ,
          <volume>66</volume>
          , 9 (
          <year>September 2008</year>
          ), S.
          <fpage>641</fpage>
          -­
          <lpage>‐</lpage>
          661.
        </mixed-citation>
      </ref>
      <ref id="ref16">
        <mixed-citation>
          14.
          <string-name>
            <surname>Korhonen</surname>
            ,
            <given-names>H.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Montola</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          &amp;
          <string-name>
            <surname>Arrasvuori</surname>
            ,
            <given-names>J.</given-names>
          </string-name>
          <article-title>Understanding Playful User Experience through Digital Games</article-title>
          .
          <source>International Conference on Designing Pleasurable Products and Interfaces</source>
          . Université de Technologie de Compiègne, France,
          <year>2009</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref17">
        <mixed-citation>
          15.
          <string-name>
            <surname>Laugwitz</surname>
            ,
            <given-names>B.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Held</surname>
            ,
            <given-names>T.</given-names>
          </string-name>
          &amp;
          <string-name>
            <surname>Schrepp</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          <article-title>Construction and Evaluation of a User Experience Questionnaire</article-title>
          . In Holzinger, A. (eds.):
          <source>USAB '08: Proceedings of the 4th Symposium of the Workgroup Human-Computer Interaction and Usability Engineering of the Austrian Computer Society on HCI and Usability for Education and Work</source>
          , Springer-Verlag, Berlin,
          <year>2008</year>
          , S.
          <fpage>63</fpage>
          -­
          <lpage>‐</lpage>
          76.
        </mixed-citation>
      </ref>
      <ref id="ref18">
        <mixed-citation>
          16.
          <string-name>
            <surname>Lazzaro</surname>
            ,
            <given-names>N.</given-names>
          </string-name>
          <article-title>The four fun keys</article-title>
          . In K. Isbister &amp; N. Schaffer (eds.):
          <article-title>Game usability. Advice from the experts for advancing the player experience</article-title>
          . Elsevier/Morgan Kaufmann, Amsterdam,
          <year>2008</year>
          , S.
          <fpage>317</fpage>
          -
          <lpage>343</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref19">
        <mixed-citation>
          17.
          <string-name>
            <surname>Nacke</surname>
            ,
            <given-names>L. E.</given-names>
          </string-name>
          <string-name>
            <surname>Affective</surname>
          </string-name>
          <article-title>Ludology: Scientific Measurement of User Experience in Interactive Entertainment</article-title>
          .
          <source>Ph.D. Thesis</source>
          , Blekinge Institute of Technology, Karlskrona, Sweden,
          <year>2009</year>
          . Website: http://phd.acagamic.com, Last visit:
          <volume>04</volume>
          .
          <fpage>03</fpage>
          .
          <year>2010</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref20">
        <mixed-citation>
          18.
          <string-name>
            <surname>Poels</surname>
            ,
            <given-names>K.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>de Kort</surname>
            ,
            <given-names>Y.</given-names>
          </string-name>
          &amp;
          <string-name>
            <surname>Ijsselsteijn</surname>
            ,
            <given-names>W.</given-names>
          </string-name>
          <article-title>"It is always a lot of fun!": exploring dimensions of digital game experience using focus group methodology</article-title>
          . In B. Kapralos,
          <string-name>
            <given-names>M.</given-names>
            <surname>Katchabaw</surname>
          </string-name>
          &amp; J. Rajnovich (eds.):
          <source>Future Play: Proceedings of the 2007 conference on Future Play</source>
          ,
          <string-name>
            <surname>ACM</surname>
          </string-name>
          , New York, USA,
          <year>2007</year>
          , S.
          <fpage>83</fpage>
          -
          <lpage>89</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref21">
        <mixed-citation>
          19.
          <string-name>
            <surname>Sánchez</surname>
            ,
            <given-names>J. L. G.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Zea</surname>
            ,
            <given-names>N. P.</given-names>
          </string-name>
          &amp;
          <string-name>
            <surname>Gutiérrez</surname>
            ,
            <given-names>F.</given-names>
          </string-name>
          <string-name>
            <surname>From</surname>
          </string-name>
          <article-title>Usability to Playability: Introduction to Player-Centred Video Game Development Process</article-title>
          . In Kurosu, M. (eds.):
          <article-title>Human centered design: First international conference proceedings</article-title>
          . Springer-Verlag, Berlin,
          <year>2009</year>
          , S.
          <fpage>65</fpage>
          -
          <lpage>74</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref22">
        <mixed-citation>
          20.
          <string-name>
            <surname>Sweetser</surname>
            ,
            <given-names>P.</given-names>
          </string-name>
          &amp;
          <string-name>
            <surname>Wyeth</surname>
            ,
            <given-names>P.</given-names>
          </string-name>
          <article-title>GameFlow: a model for evaluating player enjoyment in games</article-title>
          .
          <source>Computers in Entertainment</source>
          ,
          <volume>3</volume>
          , 3
          <issue>(</issue>
          <year>July 2005</year>
          ), S.
          <fpage>3</fpage>
          -­‐3.
        </mixed-citation>
      </ref>
      <ref id="ref23">
        <mixed-citation>
          21. WAMI:
          <article-title>Website Analysis</article-title>
          and
          <string-name>
            <given-names>Measurement</given-names>
            <surname>Inventory</surname>
          </string-name>
          . Website: http://www.wammi.com, Last visit:
          <volume>04</volume>
          .
          <fpage>03</fpage>
          .
          <year>2010</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref24">
        <mixed-citation>
          22. Financial Times Deutschland.
          <article-title>Online-Spiele mischen das Netz auf</article-title>
          . Website: http://www.ftd.de/itmedien/computer-technik/
          <article-title>:social-media-trend-onlinespiele-mischen-das-netz-auf/50075091</article-title>
          .html, Last visit:
          <volume>04</volume>
          .
          <fpage>03</fpage>
          .
          <year>2010</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref25">
        <mixed-citation>
          23. Financial Times Deutschland.
          <article-title>Electronic Arts enttäuscht beim Ausblick</article-title>
          . Website: http://www.ftd.de/itmedien/computer-technik/
          <article-title>:mieses-quartal-electronicarts-enttaeuscht-beim-ausblick/50071611</article-title>
          .html, Last visit:
          <volume>04</volume>
          .
          <fpage>03</fpage>
          .
          <year>2010</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref26">
        <mixed-citation>
          24.
          <string-name>
            <surname>Pinelle</surname>
            ,
            <given-names>D.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Wong</surname>
            ,
            <given-names>N.</given-names>
          </string-name>
          , and
          <string-name>
            <surname>Stach</surname>
            ,
            <given-names>T.</given-names>
          </string-name>
          <article-title>Heuristic evaluation for games: usability principles for video game design. Proceedings of the twenty-sixth annual SIGCHI conference on Human factors in computing systems</article-title>
          , ACM,
          <year>2008</year>
          , S.
          <fpage>1453</fpage>
          -
          <lpage>1462</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref27">
        <mixed-citation>
          25.
          <string-name>
            <surname>Schaffer</surname>
            ,
            <given-names>N.</given-names>
          </string-name>
          <article-title>Heuristic Evaluation of Games</article-title>
          . In K. Isbister &amp; N. Schaffer (eds.):
          <article-title>Game usability. Advice from the experts for advancing the player experience</article-title>
          . Elsevier/Morgan Kaufmann, Amsterdam,
          <year>2008</year>
          , S.
          <fpage>79</fpage>
          -
          <lpage>89</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref28">
        <mixed-citation>
          26.
          <string-name>
            <surname>Lewis</surname>
            ,
            <given-names>C. H.</given-names>
          </string-name>
          <article-title>Using the "Thinking Aloud" Method In Cognitive Interface Design</article-title>
          .
          <source>IBM Research Report, RC9265</source>
          ,
          <year>1982</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref29">
        <mixed-citation>
          27.
          <string-name>
            <surname>Kim</surname>
            ,
            <given-names>J.H.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Gunn</surname>
            ,
            <given-names>D.V.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Schuh</surname>
            ,
            <given-names>E.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Phillips</surname>
            ,
            <given-names>B.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Pagulayan</surname>
            ,
            <given-names>R.J.</given-names>
          </string-name>
          , and
          <string-name>
            <surname>Wixon</surname>
            ,
            <given-names>D.</given-names>
          </string-name>
          <article-title>Tracking real-time user experience (TRUE): a comprehensive instrumentation solution for complex systems</article-title>
          .
          <source>Proceedings of twentysixth annual SIGCHI conference on Human factors in computing systems (CHI</source>
          <year>2008</year>
          ), ACM,
          <year>2008</year>
          , S.
          <fpage>443</fpage>
          -
          <lpage>452</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref30">
        <mixed-citation>
          28.
          <string-name>
            <surname>Brockmyer</surname>
            ,
            <given-names>J.H.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Fox</surname>
            ,
            <given-names>C.M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Curtiss</surname>
            ,
            <given-names>K.A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>McBroom</surname>
            ,
            <given-names>E.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Burkhart</surname>
            ,
            <given-names>K.M.</given-names>
          </string-name>
          , and
          <string-name>
            <surname>Pidruzny</surname>
            ,
            <given-names>J.N.</given-names>
          </string-name>
          <article-title>The development of the Game Engagement Questionnaire: A measure of engagement in video game-playing</article-title>
          .
          <source>Journal of Experimental Social Psychology</source>
          ,
          <volume>45</volume>
          ,
          <issue>4</issue>
          (
          <year>2009</year>
          ), S.
          <fpage>624</fpage>
          -
          <lpage>634</lpage>
          .
        </mixed-citation>
      </ref>
    </ref-list>
  </back>
</article>