=Paper=
{{Paper
|id=Vol-1443/paper42
|storemode=property
|title=Smart Experience Sampling in Android
|pdfUrl=https://ceur-ws.org/Vol-1443/paper42.pdf
|volume=Vol-1443
|dblpUrl=https://dblp.org/rec/conf/delfi/ThusSBS15
}}
==Smart Experience Sampling in Android==
https://ceur-ws.org/Vol-1443/paper42.pdf
Sabine Rathmayer, Hans Pongratz (Hrsg.): Proceedings of DeLFI Workshops 2015
co-located with 13th e-Learning Conference of the German Computer Society (DeLFI 2015)
München, Germany, September 1, 2015 213
Smart Experience Sampling in Android
Hendrik Thüs1, Markus Soworka2, Philipp Brauner3 und Ulrik Schroeder4
Abstract: Experience Sampling beschreibt die Aufzeichnung und Auswertung von manuell in
Fragebögen eingetragenen Daten. Diese Methode ermöglicht die Betrachtung und Auswertung von
subjektiven und schlecht automatisch messbaren Lernerinformationen, die über einen längeren
Zeitraum aufgenommen wurden. Mit Hilfe von Smartphones und ihren eingebauten Sensoren kann
diese Methode weiter verfeinert werden. In diesem Projekt wird gezeigt, wie mittels Sensoren und
zusätzlichen Informationen über einen Lernenden genaue Zeitpunkte für die Präsentation von
Fragebögen gewählt werden können und wie die Auswahl der Fragen möglichst so gewählt wird,
dass die Lernenden auch über einen längeren Zeitraum hinweg nicht die Motivation an der Beant-
wortung der Fragebögen verlieren.
Keywords: Experience Sampling, Motivation, Android, Sudaco, Sensorik
1 Einleitung
Mit Hilfe von Smartphones und zusätzlichen mobilen Gadgets können Interessierte di-
verse Informationen über sich selbst aufzeichnen und in einer meist zusammengefassten
Übersicht zur Selbstreflexion darstellen. Diese Daten können recht einfach messbare
Werte sein, wie etwa die Pulsfrequenz, die Schrittzahl oder auch der Schlafrhythmus. Es
können aber auch komplexere Informationen aufgezeichnet werden, wie etwa die Stim-
mung oder die Motivation eines Lernenden. Um an solche Art von Daten zu gelangen,
kann die Experience Sampling Methode (ESM) herangezogen werden [CLP14]. Hierbei
werden die Lernenden durch einen regelmäßigen Alarm daran erinnert, Notizen zu ihrer
aktuellen persönlichen Situation anzufertigen oder ein paar kurze Fragen zu beantwor-
ten. Diese Informationen werden somit zu verschiedenen Tageszeiten und immer im
Kontext der aktuellen Situation aufgezeichnet. Mit Hilfe von Aufzeichnung über mehre-
re Tage oder Wochen können wertvolle Informationen über Änderungen oder Korrelati-
onen zu anderen Datensätzen abgeleitet werden, welche bei der Verbesserung des eige-
nen Lernverhaltens Hilfestellung leisten können.
Wenn es darum geht, die aktuelle Motivation oder den Gemütszustand eines Lernenden
aufzuzeichnen, so soll sich der Status rein durch die Messung nur unwesentlich verän-
dern. Es macht wenig Sinn, einen Lernenden aus einer Lernsituation herauszureißen um
beispielsweise Fragen zur aktuellen Konzentrationsfähigkeit zu stellen. Mit Hilfe von
1
RWTH Aachen, Ahornstrasse 55, 52074 Aachen, thues@cs.rwth-aachen.de
2
RWTH Aachen, Ahornstrasse 55, 52074 Aachen, markus.soworka@rwth-aachen.de
3
RWTH Aachen, Campus-Boulevard 57, 52074 Aachen, brauner@comm.rwth-aachen.de
4
RWTH Aachen, Ahornstrasse 55, 52074 Aachen, schroeder@cs.rwth-aachen.de
214 Hendrik Thüs et al.
heutigen Smartphones, ihren eingebauten Sensoren und ihren zusätzlichen Informationen
über den Besitzer kann das Experience Sampling weniger aufdringlich und mit einer
größeren Ausrichtung auf den Tagesablauf der Lernenden umgesetzt werden.
Zusätzlich zu einer unaufdringlichen Art, den Lernenden nach Informationen zu fragen,
sollten die Lernenden auch bezüglich der Menge und Art der Fragen dauerhaft motiviert
bleiben, da solche Studien einiges an Zeit in Anspruch nehmen können [SPD09]. Dem-
zufolge gibt es Bedarf an intelligentem Experience Sampling, oder auch Smart Experi-
ence Sampling, welches sich an die Gewohnheiten des Lernenden anpasst und die Mo-
mente abpasst, in denen der Lernende am ehesten dazu bereit ist, einen kurzen
Fragebogen auszufüllen.
Im Verlauf dieses Papers wird die Entwicklung der Android-basierten Anwendung Su-
daco beschrieben, die den Anspruch erhebt, die Lernenden möglichst wenig von ihren
täglichen Tätigkeiten abzulenken und gleichzeitig die Motivation zur langfristigen Be-
antwortung vieler Fragebögen hoch hält.
2 Theoretischer Hintergrund
Mit Hilfe der Experience Sampling Methode können subjektiv wahrgenommene Erfah-
rungen aufgezeichnet werden. Menschen sind meist nicht dazu im Stande, subjektive
Informationen nachträglich exakt zu beschreiben [Be84]. Mittels ESM können die Nut-
zereingaben zusätzlich auch noch in den Kontext der aktuellen Situation gesetzt werden:
ein Lernender kann sich an bestimmten Orten besser konzentrieren oder fühlt sich dort
eher wohl als an anderen. Damit solche Informationen regelmäßig aufgezeichnet werden
können, muss ein Lernender regelmäßig daran erinnert werden, sein aktuelles Verhalten
effektiv zu beschreiben. Das Intervall für diese Signalisierungen sollte nicht zu groß und
auch nicht zu klein gewählt werden um auf der einen Seite die Reliabilität der Daten zu
gewährleisten und auf der anderen Seite den Lernenden nicht von wichtigen Aufgaben
abzuhalten. Für die Signalisierung haben sich drei Methoden herauskristallisiert: Inter-
vall-bedingt, Event-bedingt und Signal-bedingt [RG00]. Bei ersterem wird der Alarm zu
vorher festgelegten Tageszeiten ausgelöst, bei der zweiten Methode müssen bestimmte,
vorher festgelegte Ereignisse stattfinden und bei der letzten Methode löst der Alarm
jeweils nach einem vorher festgelegten oder randomisierten Intervall aus.
3 Vergleichbare Arbeiten
Es existieren einige vergleichbare Arbeiten, die sich mit dem Thema Experience Samp-
ling beschäftigen. Barret und Barret [BB05] haben beispielsweise als eine der ersten ein
System entwickelt, das mittels Palm Pilots und Windows CE-Geräten regelmäßige Fra-
gebögen bereitstellt. Diese können entweder durch manuelles Starten der Anwendung
Smart Experience Sampling in Android 215
ausgefüllt werden oder die Anwendung wird automatisch zu zufälligen Zeitpunkten
gestartet.
Das Projekt Context-Aware Experience Sampling (CAES) von Intille et al. [In03] er-
möglicht Experience Sampling auf einem PocketPC. Hier wurden Sensorwerte des Ge-
räts genutzt, um mögliche Zeitpunkte für das Bereitstellen eines Fragebogens zu finden.
Leider wurden zuerst nur die Positionsdaten des Geräts in Betracht gezogen. Weitere
Sensordaten wurden angedacht, jedoch nicht umgesetzt.
Einen Schritt weiter geht das Projekt MyExperience von Froehlich et al. [Fr07]. Es wer-
den zusätzliche Sensordaten ausgewertet, wie etwa der aktuelle Verbindungsstatus des
Windows Mobile-Geräts, die täglichen Kalendereinträge oder auch Informationen von
zusätzlichen Geräten, wie etwa die aktuelle Herzfrequenz des Nutzers.
Es ist zu erkennen, dass Experience Sampling sich vorzugsweise an dem spezifischen
Tagesablauf eines Lernenden orientiert und diesen nicht negativ beeinflussen sollte. Die
hier vorgestellten Projekte nutzen teilweise die gegebenen Sensoren der jeweiligen Gerä-
te, dies ist zum Teil jedoch noch sehr rudimentär und kann noch weiter vorangetrieben
werden. Ziel dieses Projekts ist es, die Lernenden möglichst wenig abzulenken und die
Zeitpunkte zu finden, in denen von einer Aktivität zu einer anderen gewechselt wird.
Viele der vorhandenen Anwendungen werden von Wissenschaftlern eingesetzt um Daten
von Probanden aufzunehmen. Im Zuge der Quantified-Self-Bewegung [LDF10] und um
die Lernenden zur freiwilligen Nutzung solcher Anwendungen zu motivieren, sollten die
aufgenommenen Daten zur Selbstreflexion visualisiert werden. Ein zu langer Fragebo-
gen kann zusätzlich demotivieren. In diesem Projekt soll eine mögliche Grenze für die
Anzahl an Fragen gefunden werden, die in einem Fragebogen präsentiert werden sollen.
4 Konzept
Das Ziel dieses Projekts ist die Entwicklung einer Anwendung, welche subjektive Daten
eines Lernenden, wie etwa Gedanken, Gefühle oder Motivation, basierend auf ESM
aufnehmen kann. Um dies über einen längeren Zeitraum zu ermöglichen, sollten die
Auswahl der Fragen, deren Anzahl, sowie der jeweilige Zeitpunkt und die Frequenz so
gewählt werden, dass der Lernende möglichst lange motiviert bleibt, diese Anwendung
zu nutzen. Die Formulierung der Fragen wird hierbei dem jeweiligen Autor überlassen,
so dass diese an das entsprechende Szenario angepasst werden können.
Bei der Erstellung eines Fragenkatalogs sollen den Autoren zusätzliche Möglichkeiten
geboten werden. Durch eine Kategorisierung der Fragen und durch eine zusätzliche
Gewichtung kann die während der Durchführung automatisch getroffene Auswahl an
Fragen möglichst gut bestimmt werden. Kategorien können beispielsweise bezüglich der
Stimmung oder bezüglich des Lernfortschritts angelegt werden. Weitere Kategorisierun-
216 Hendrik Thüs et al.
gen können bezüglich der Zielzeit festgelegt werden. Einige Fragen machen am Morgen
eher weniger Sinn, wie beispielsweise eine nach dem Lernfortschritt an diesem Tag,
solch eine Frage sollte eher am Abend ausgewählt werden. Die Gewichtung einer Frage
legt - zusammen mit der Frequenz dieser Frage - fest, wie hoch die Wahrscheinlichkeit
ist, dass sie in eine Auswahl aufgenommen wird.
Neben solchen Fragen, deren Antwort sich regelmäßig ändern kann, gibt es auch Fragen,
die immer gleich beantwortet werden, wie beispielsweise das Geschlecht oder das Ge-
burtsdatum. Diese Art von Fragen werden einmal während des ersten Startvorgangs
gestellt und tauchen nicht wieder in den wiederkehrenden Fragensätzen auf. Die Antwor-
ten auf diese Fragen können die Auswahl der regelmäßigen Fragen beeinflussen um eine
unpassende Auswahl zu vermeiden.
Neben der Auswahl der Fragen ist der Zeitpunkt und die Frequenz der Fragebögen es-
sentiell. Die Lernenden sollten auf der einen Seite möglichst nicht von ihrer aktuellen
Tätigkeit abgelenkt werden, auf der anderen Seite sollte gewährleistet werden, dass ge-
nügend Daten gesammelt werden. Mit Hilfe verschiedener Sensoren eines Smartphones
und mit Hilfe einiger bekannter Daten über den Lernenden kann ein möglichst guter
Zeitpunkt zumindest annähernd bestimmt werden. Diesem Konzept liegt ein bestimmter,
vom Lernenden selbst festgelegter, Zeitrahmen zugrunde. Dieser Zeitrahmen ermöglicht,
dass die Anwendung sich beispielsweise nicht in der Nacht meldet. Während der restli-
chen Zeit gibt es einen minimalen zeitlichen Abstand zwischen zwei Fragebögen, der
durch Sudaco nicht unterschritten werden soll. Nach dem Ablauf dieses Ruhephase wer-
den mehrere Trigger aktiviert, die auf Grund von Sensordaten, Aktionen des Lernenden
oder Daten über den Lernenden die Bereitstellung eines neuen Fragebogens anstoßen
können. Im Idealfall geschieht dies zwischen zwei Aktionen des Lernenden. Die Trigger
werden im Folgenden einzeln beleuchtet.
Der mobile Kalender eines Lernenden gibt einen Einblick in den Tagesablauf. Dieser
sollte nicht unterbrochen oder beeinträchtigt werden. Aus diesem Grund werden keine
Fragebögen während Terminen gestartet um diese nicht zu stören. Außerhalb von Ter-
minen können beispielsweise mittels Mikrofon, GPS-Sensor oder Schritterkennung Situ-
ationsänderungen wahrgenommen werden. Eine Person kann etwa aus einem eher Lern-
raum in die Mensa gehen oder in einen Bus einsteigen. Auch wenn sich nur die reine
Umgebungslautstärke drastisch erhöht oder der Lernende aufsteht und sich bewegt, be-
deutet dies eine Statusänderung der Konzentrationsmöglichkeit eines Lernenden. Zusätz-
lich zur Nutzung von Daten und Sensoren kann auf Aktivitäten eines Nutzers reagiert
werden. Wird beispielsweise das Smartphone eingeschaltet oder ein wird ein Anruf
entgegengenommen, so kann auch auf Basis dieser Handlungen ein neuer Fragebogen
ausgelöst werden. Die Auswahl dieser Trigger wurde so gewählt, dass entweder eine
aktive Handlung des Lernenden notwendig ist, oder die Konzentration durch eine Situa-
tionsänderung erheblich vermindert wird.
Smart Experience Sampling in Android 217
5 Umsetzung
Die Grundlage des Projekts Sudaco bilden Fragebögen, welche im JSON-Format vorlie-
gen müssen. Auf Basis der vorher beschriebenen grundlegenden Fragen über den Ler-
nenden werden nun bei jedem Auslösen eines neuen Fragebogens eine Teilmenge an
Fragen ausgewählt, dies geschieht etwa abhängig von dem Geschlecht, Alter oder Beruf
des Lernenden. Diese Teilmenge wird durch die aktuelle Tageszeit weiter verfeinert, es
werden die Fragen aussortiert, die speziell nicht für die aktuelle Uhrzeit gedacht sind.
Als nächstes wurde festgelegt, dass möglichst jede Frage mindestens einmal am Tag
erscheint - falls die Menge der Fragen es zulässt. Aus der übrig gebliebenen Menge an
Fragen werden nun abhängig von der Kategorie und der Gewichtung die endgültigen
Fragen ausgewählt. Dies geschieht auf Basis der folgenden Formel:
rg = (1 − f b) ∗ g ∗ r − f b ∗ (ab + mg) ∗ r
Das resultierende Gewicht rg errechnet sich durch die Differenz zweier Produkte, wobei
der Minuend durch einen Faktor 1 − f b, dem Gewicht der Frage g und einer Zufallszahl
r errechnet wird. Der Subtrahend errechnet sich wieder aus einem Faktor f b, der Summe
aus der Anzahl wie oft diese Frage schon beantwortet wurde ab und dem maximalen
Gewicht einer Frage mg, sowie wieder aus einer Zufallszahl r. Der Faktor f b bzw 1 − f b
gibt an, ob dem Minuenden oder dem Subtrahenden mehr Gewicht zugemessen werden
soll. In Sudaco ist aktuell ein Wert von f b = 0, 4 gesetzt. Der Grund für die Addition
von mg zu ab liegt an der Größenordnung der jeweiligen Variablen. Ein Gewicht wird
stets durch eine Zahl zwischen 0 und 100 repräsentiert. Sollte eine Frage erst selten be-
antwortet worden sein, so würde der Subtrahend ohne die Addition von mg um einiges
kleiner sein als der Minuend und damit keinen wirklichen Einfluss haben. Durch die
Verwendung dieser Formel können auch Fragen ausgewählt werden, die relativ kleine
Gewichte haben aber eventuell erst selten ausgewählt wurden. Fragen mit hohem Ge-
wicht werden generell öfters gewählt, was sich jedoch wiederum negativ auf zukünftige
Auswahlverfahren auswirkt.
Nach der Auswahl der Fragen müssen diese dem Lernenden in einem nächsten Schritt
präsentiert werden. Hierfür wird zunächst auf den Fragebogen aufmerksam gemacht.
Dies geschieht mittels einer einfachen Benachrichtigung (siehe Abbildung 1).
Abb. 1: Einfache Benachrichtigung mit der Bitte, einen Fragebogen auszufüllen
Das User Interface von Sudaco ist gewollt sehr hell, einfach und in großer Schrift gehalten
218 Hendrik Thüs et al.
worden. Im oberen Bereich befindet sich jeweils die Fragestellung, direkt darunter kann die
Antwort mittels Auswahl oder Slider angegeben werden. Sollte eine Frage nicht beantwor
tet werden wollen, kann diese durch einen Klick auf den Button links unten übersprungen
werden. Wie in Abbildung 2 zu sehen ist, werden in diesem Beispiel nur vier kurze Fragen
gestellt um den Lernenden dauerhaft zu motivieren, diese Anwendung zu nutzen.
Abb. 2: Zwei beispielhafte Fragen eines Sudaco-Fragebogens
Abb. 3: Links: Übersicht der beantworteten Fragen, rechts: Visualisierung einer Frage
Um einen Mehrwert für das Beantworten der Fragen zu erreichen, müssen die Antworten
für den Lernenden am Ende grafisch aufbereitet werden. Bei geschlossenen Fragestellun
gen ist dies mit relativ wenig Aufwand möglich. Nach dem Beantworten eines Fragebo-
gens oder durch manuelles Starten der Anwendung gelangt der Lernende in eine Übersicht
der schon beantworteten Fragen (siehe Abbildung 3 links). Durch Auswahl einer dieser
Fragen gelangt der Lernende zu der Visualisierung der schon gegebenen Antworten (siehe
Abbildung 3 rechts).
Smart Experience Sampling in Android 219
6 Evaluation
Zur Evaluation der Anwendung wurde diese an 10 Personen verteilt, die Sudaco für eine
Woche testeten. Diese 10 Personen waren alle zwischen 22 und 29 Jahren alt, 4 von
ihnen weiblich und 6 männlich. 8 Personen gaben an, ihren Lernfortschritt bisher nicht zu
dokumentieren, wobei 9 Personen angaben, dies gerne (zukünftig) zu tun.
Zur Erfassung der Benutzerfreundlichkeit wurde die System Usability Scale (SUS) ein-
gesetzt [Br96]. Diese Methode zielt darauf ab, das gesamte System bezüglich Effektivität,
Effizienz und Nutzerzufriedenheit zu evaluieren. Auf einer Skala von 0 bis 100 erreichte
Sudaco einen Wert von 87,5. Der Großteil der Testenden gab an, keine Probleme mit der
Anwendung gehabt zu haben, sie hatten auch keine Vorschläge für etwaige Verbesserun-
gen.
Bezüglich Funktionalität wurden den Testenden am Ende des Testzeitraums eine Reihe
von Fragen gestellt, die jeweils auf einer Skala von 1 (keine Zustimmung) bis 6 (volle
Zustimmung) zu beantworten waren. Auf die Frage, ob die Benachrichtigungen zu häu-
fig auf dem Smartphone erschienen, wurde durchschnittlich mit 3,8 geantwortet. Um zu
testen, wie die Länge der Ruhezeiten gewählt werden sollte, wurden zwei verschiedene
Version an die Testpersonen ausgeteilt: eine Version mit einer Ruhezeit von 2 Stunden
und eine mit einer Ruhezeit von 4 Stunden. Die Nutzer der ersten Version gaben auf
diese Frage durchschnittlich eine 5,0, während die zweite Gruppe durchschnittlich eine
3,3 gab. Die Ruhezeit sollte somit nicht kürzer als 4 Stunden sein, optional sollte es
zukünftig möglich sein, die Erkennung und die Ruhezeiten manuell zu beeinflussen.
Auf die Frage, ob zu viele Fragen pro Fragebogen gestellt wurden, wurde im Schnitt mit
einer 1,4 geantwortet. Auch für diese Frage wurden zwei Versionen herausgegeben: eine
mit 4 Fragen und eine mit 6. Selbst bei der Version mit 6 Punkten lag der Durchschnitt
nur unwesentlich höher. Ein oberes Limit an Fragen müsste somit in einer zukünftigen
Evaluation erneut gesucht werden.
Bezüglich des Zeitpunkts der Benachrichtigungen gaben die Testpersonen mit einer
Bewertung von 2,7 an, dass diese recht gut gewählt wurden und nur selten von der aktu-
ellen Tätigkeit ablenken würden. Bei der Auswertung der Trigger-Daten stellte sich
heraus, dass der Trigger für Umgebungsgeräusche recht häufig auslöste, mit einer feine-
ren Einstellung könnte dieser Wert noch verbessert werden. Einhergehend mit dieser
Bewertung wurde die Aufdringlichkeit Sudacos mit einer 2,4 bewertet.
Zum Schluss wurden die Testpersonen gefragt, ob sie die statistische Auswertung als
nützlich empfinden. Diese Frage erhielt im Schnitt eine 4,4. Nur eine Person gab an, dass
diese Funktionalität eher nicht nützlich sei.
220 Hendrik Thüs et al.
7 Zusammenfassung
Das Ziel der hier vorgestellten mobilen Anwendung Sudaco ist die regelmäßige manuelle
Aufnahme von Informationen bezüglich eines Lernenden, die auf automatische Weise nur
schwer oder gar nicht zu erheben sind. Hierfür wurde ein System entwickelt, wie die
Lernenden möglichst wenig von ihrer alltäglichen Arbeit und dem Lernen abgehalten wer-
den und nur in Pausen zwischen zwei Aktivitäten gestört werden. Diese Anwendung wur-
de mit 10 Personen evaluiert und es hat sich gezeigt, dass der Großteil der vorher ge-
troffenen Annahmen bezüglich der Erkennung von Situationen und der Dauer zwischen
zwei Fragebögen korrekt war. Die Evaluation hat weiterhin gezeigt, dass es noch Verbes-
serungsbedarf an einigen Punkten gibt. Die Erkennung von möglichen Aktionswechseln
könnte noch etwas verfeinert beziehungsweise bei Bedarf durch den Nutzer angepasst
werden. Es sollte den Nutzern zusätzlich frei stehen, die Ruhezeiten zwischen zwei Frage-
bögen und die Anazahl der präsentierten Fragen selber zu bestimmen. Hierdurch kann
eine höhere Nutzerzufriedenheit erzielt werden.
Literaturverzeichnis
[BB05] Barrett, D. J.; Barrett, L. F.: ESP, the experience sampling program. 2005.
[Be84] Bernard, H. R.; Killworth, P.; Kronenfeld, D.; Sailer, L.: The problem of informant
accuracy: The validity of retrospective data. Annual review of anthropology, S. 495–
517, 1984.
[Br96] Brooke, J.: SUS-A quick and dirty usability scale. Usability evaluation in industry,
189(194):4–7, 1996.
[CLP14] Csikszentmihalyi, M.; Larson, R.; Prescott, S.: The Ecology of Adolescent Activity
and Experience. In: Applications of Flow in Human Development and Education, S.
241–254. Springer, 2014.
[Fr07] Froehlich, J.; Chen, M. Y.; Consolvo, S.; Harrison, B.; Landay, J. A.: MyExperience: a
system for in situ tracing and capturing of user feedback on mobile phones. In: Pro-
ceedings of the 5th international conference on Mobile systems, applications and ser-
vices. ACM, S. 57–70, 2007.
[In03] Intille, S. S.; Rondoni, J.; Kukla, C.; Ancona, I.; Bao, L.: A context-aware experience
sampling tool. In: CHI’03 extended abstracts on Human factors in computing systems.
ACM, S. 972–973, 2003.
[LDF10] Li, I.; Dey, A.; Forlizzi, J.: A stage-based model of personal informatics systems. In:
Proceedings of the SIGCHI Conference on Human Factors in Computing Systems.
ACM, S. 557–566, 2010.
[RG00] Reis, H. T.; Gable, S. L.: Event-sampling and other methods for studying everyday
experience. Handbook of research methods in social and personality psychology, S.
190–222, 2000.
Smart Experience Sampling in Android 221
[SPD09] Scollon, C. N.; Prieto, C.-K.; Diener, E.: Experience sampling: promises and pitfalls,
strength and weaknesses. In: Assessing well-being, S. 157–180. Springer, 2009.