Experience Sampling beschreibt die Aufzeichnung und Auswertung von manuell in Fragebögen eingetragenen Daten. Diese Methode ermöglicht die Betrachtung und Auswertung von subjektiven und schlecht automatisch messbaren Lernerinformationen, die über einen längeren Zeitraum aufgenommen wurden. Mit Hilfe von Smartphones und ihren eingebauten Sensoren kann diese Methode weiter verfeinert werden. In diesem Projekt wird gezeigt, wie mittels Sensoren und zusätzlichen Informationen über einen Lernenden genaue Zeitpunkte für die Präsentation von Fragebögen gewählt werden können und wie die Auswahl der Fragen möglichst so gewählt wird, dass die Lernenden auch über einen längeren Zeitraum hinweg nicht die Motivation an der Beantwortung der Fragebögen verlieren. Mit Hilfe von Smartphones und zusätzlichen mobilen Gadgets können Interessierte diverse Informationen über sich selbst aufzeichnen und in einer meist zusammengefassten Übersicht zur Selbstreflexion darstellen. Diese Daten können recht einfach messbare Werte sein, wie etwa die Pulsfrequenz, die Schrittzahl oder auch der Schlafrhythmus. Es können aber auch komplexere Informationen aufgezeichnet werden, wie etwa die Stimmung oder die Motivation eines Lernenden. Um an solche Art von Daten zu gelangen, kann die Experience Sampling Methode (ESM) herangezogen werden [CLP14]. Hierbei werden die Lernenden durch einen regelmäßigen Alarm daran erinnert, Notizen zu ihrer aktuellen persönlichen Situation anzufertigen oder ein paar kurze Fragen zu beantworten. Diese Informationen werden somit zu verschiedenen Tageszeiten und immer im Kontext der aktuellen Situation aufgezeichnet. Mit Hilfe von Aufzeichnung über mehrere Tage oder Wochen können wertvolle Informationen über Änderungen oder Korrelationen zu anderen Datensätzen abgeleitet werden, welche bei der Verbesserung des eigenen Lernverhaltens Hilfestellung leisten können. Wenn es darum geht, die aktuelle Motivation oder den Gemütszustand eines Lernenden aufzuzeichnen, so soll sich der Status rein durch die Messung nur unwesentlich verändern. Es macht wenig Sinn, einen Lernenden aus einer Lernsituation herauszureißen um beispielsweise Fragen zur aktuellen Konzentrationsfähigkeit zu stellen. Mit Hilfe von
2
Mit Hilfe der Experience Sampling Methode können subjektiv wahrgenommene Erfahrungen aufgezeichnet werden. Menschen sind meist nicht dazu im Stande, subjektive Informationen nachträglich exakt zu beschreiben [Be84]. Mittels ESM können die Nutzereingaben zusätzlich auch noch in den Kontext der aktuellen Situation gesetzt werden: ein Lernender kann sich an bestimmten Orten besser konzentrieren oder fühlt sich dort eher wohl als an anderen. Damit solche Informationen regelmäßig aufgezeichnet werden können, muss ein Lernender regelmäßig daran erinnert werden, sein aktuelles Verhalten effektiv zu beschreiben. Das Intervall für diese Signalisierungen sollte nicht zu groß und auch nicht zu klein gewählt werden um auf der einen Seite die Reliabilität der Daten zu gewährleisten und auf der anderen Seite den Lernenden nicht von wichtigen Aufgaben abzuhalten. Für die Signalisierung haben sich drei Methoden herauskristallisiert: Intervall-bedingt, Event-bedingt und Signal-bedingt [RG00]. Bei ersterem wird der Alarm zu vorher festgelegten Tageszeiten ausgelöst, bei der zweiten Methode müssen bestimmte, vorher festgelegte Ereignisse stattfinden und bei der letzten Methode löst der Alarm jeweils nach einem vorher festgelegten oder randomisierten Intervall aus. 3
Es existieren einige vergleichbare Arbeiten, die sich mit dem Thema Experience Sampling beschäftigen. Barret und Barret [BB05] haben beispielsweise als eine der ersten ein System entwickelt, das mittels Palm Pilots und Windows CE-Geräten regelmäßige Fragebögen bereitstellt. Diese können entweder durch manuelles Starten der Anwendung Smart Experience Sampling in Android 215 ausgefüllt werden oder die Anwendung wird automatisch zu zufälligen Zeitpunkten gestartet.
Das Projekt Context-Aware Experience Sampling (CAES) von Intille et al. [In03] ermöglicht Experience Sampling auf einem PocketPC. Hier wurden Sensorwerte des Geräts genutzt, um mögliche Zeitpunkte für das Bereitstellen eines Fragebogens zu finden. Leider wurden zuerst nur die Positionsdaten des Geräts in Betracht gezogen. Weitere Sensordaten wurden angedacht, jedoch nicht umgesetzt.
Einen Schritt weiter geht das Projekt MyExperience von Froehlich et al. [Fr07]. Es werden zusätzliche Sensordaten ausgewertet, wie etwa der aktuelle Verbindungsstatus des Windows Mobile-Geräts, die täglichen Kalendereinträge oder auch Informationen von zusätzlichen Geräten, wie etwa die aktuelle Herzfrequenz des Nutzers.
Es ist zu erkennen, dass Experience Sampling sich vorzugsweise an dem spezifischen Tagesablauf eines Lernenden orientiert und diesen nicht negativ beeinflussen sollte. Die hier vorgestellten Projekte nutzen teilweise die gegebenen Sensoren der jeweiligen Geräte, dies ist zum Teil jedoch noch sehr rudimentär und kann noch weiter vorangetrieben werden. Ziel dieses Projekts ist es, die Lernenden möglichst wenig abzulenken und die Zeitpunkte zu finden, in denen von einer Aktivität zu einer anderen gewechselt wird. Viele der vorhandenen Anwendungen werden von Wissenschaftlern eingesetzt um Daten von Probanden aufzunehmen. Im Zuge der Quantified-Self-Bewegung [LDF10] und um die Lernenden zur freiwilligen Nutzung solcher Anwendungen zu motivieren, sollten die aufgenommenen Daten zur Selbstreflexion visualisiert werden. Ein zu langer Fragebogen kann zusätzlich demotivieren. In diesem Projekt soll eine mögliche Grenze für die Anzahl an Fragen gefunden werden, die in einem Fragebogen präsentiert werden sollen. 4
Das Ziel dieses Projekts ist die Entwicklung einer Anwendung, welche subjektive Daten eines Lernenden, wie etwa Gedanken, Gefühle oder Motivation, basierend auf ESM aufnehmen kann. Um dies über einen längeren Zeitraum zu ermöglichen, sollten die Auswahl der Fragen, deren Anzahl, sowie der jeweilige Zeitpunkt und die Frequenz so gewählt werden, dass der Lernende möglichst lange motiviert bleibt, diese Anwendung zu nutzen. Die Formulierung der Fragen wird hierbei dem jeweiligen Autor überlassen, so dass diese an das entsprechende Szenario angepasst werden können.
Bei der Erstellung eines Fragenkatalogs sollen den Autoren zusätzliche Möglichkeiten geboten werden. Durch eine Kategorisierung der Fragen und durch eine zusätzliche Gewichtung kann die während der Durchführung automatisch getroffene Auswahl an Fragen möglichst gut bestimmt werden. Kategorien können beispielsweise bezüglich der Stimmung oder bezüglich des Lernfortschritts angelegt werden. Weitere Kategorisierungen können bezüglich der Zielzeit festgelegt werden. Einige Fragen machen am Morgen eher weniger Sinn, wie beispielsweise eine nach dem Lernfortschritt an diesem Tag, solch eine Frage sollte eher am Abend ausgewählt werden. Die Gewichtung einer Frage legt - zusammen mit der Frequenz dieser Frage - fest, wie hoch die Wahrscheinlichkeit ist, dass sie in eine Auswahl aufgenommen wird.
Neben solchen Fragen, deren Antwort sich regelmäßig ändern kann, gibt es auch Fragen, die immer gleich beantwortet werden, wie beispielsweise das Geschlecht oder das Geburtsdatum. Diese Art von Fragen werden einmal während des ersten Startvorgangs gestellt und tauchen nicht wieder in den wiederkehrenden Fragensätzen auf. Die Antworten auf diese Fragen können die Auswahl der regelmäßigen Fragen beeinflussen um eine unpassende Auswahl zu vermeiden.
Neben der Auswahl der Fragen ist der Zeitpunkt und die Frequenz der Fragebögen essentiell. Die Lernenden sollten auf der einen Seite möglichst nicht von ihrer aktuellen Tätigkeit abgelenkt werden, auf der anderen Seite sollte gewährleistet werden, dass genügend Daten gesammelt werden. Mit Hilfe verschiedener Sensoren eines Smartphones und mit Hilfe einiger bekannter Daten über den Lernenden kann ein möglichst guter Zeitpunkt zumindest annähernd bestimmt werden. Diesem Konzept liegt ein bestimmter, vom Lernenden selbst festgelegter, Zeitrahmen zugrunde. Dieser Zeitrahmen ermöglicht, dass die Anwendung sich beispielsweise nicht in der Nacht meldet. Während der restlichen Zeit gibt es einen minimalen zeitlichen Abstand zwischen zwei Fragebögen, der durch Sudaco nicht unterschritten werden soll. Nach dem Ablauf dieses Ruhephase werden mehrere Trigger aktiviert, die auf Grund von Sensordaten, Aktionen des Lernenden oder Daten über den Lernenden die Bereitstellung eines neuen Fragebogens anstoßen können. Im Idealfall geschieht dies zwischen zwei Aktionen des Lernenden. Die Trigger werden im Folgenden einzeln beleuchtet.
Der mobile Kalender eines Lernenden gibt einen Einblick in den Tagesablauf. Dieser sollte nicht unterbrochen oder beeinträchtigt werden. Aus diesem Grund werden keine Fragebögen während Terminen gestartet um diese nicht zu stören. Außerhalb von Terminen können beispielsweise mittels Mikrofon, GPS-Sensor oder Schritterkennung Situationsänderungen wahrgenommen werden. Eine Person kann etwa aus einem eher Lernraum in die Mensa gehen oder in einen Bus einsteigen. Auch wenn sich nur die reine Umgebungslautstärke drastisch erhöht oder der Lernende aufsteht und sich bewegt, bedeutet dies eine Statusänderung der Konzentrationsmöglichkeit eines Lernenden. Zusätzlich zur Nutzung von Daten und Sensoren kann auf Aktivitäten eines Nutzers reagiert werden. Wird beispielsweise das Smartphone eingeschaltet oder ein wird ein Anruf entgegengenommen, so kann auch auf Basis dieser Handlungen ein neuer Fragebogen ausgelöst werden. Die Auswahl dieser Trigger wurde so gewählt, dass entweder eine aktive Handlung des Lernenden notwendig ist, oder die Konzentration durch eine Situationsänderung erheblich vermindert wird.
Smart Experience Sampling in Android 217 5
Die Grundlage des Projekts Sudaco bilden Fragebögen, welche im JSON-Format vorliegen müssen. Auf Basis der vorher beschriebenen grundlegenden Fragen über den Lernenden werden nun bei jedem Auslösen eines neuen Fragebogens eine Teilmenge an Fragen ausgewählt, dies geschieht etwa abhängig von dem Geschlecht, Alter oder Beruf des Lernenden. Diese Teilmenge wird durch die aktuelle Tageszeit weiter verfeinert, es werden die Fragen aussortiert, die speziell nicht für die aktuelle Uhrzeit gedacht sind. Als nächstes wurde festgelegt, dass möglichst jede Frage mindestens einmal am Tag erscheint - falls die Menge der Fragen es zulässt. Aus der übrig gebliebenen Menge an Fragen werden nun abhängig von der Kategorie und der Gewichtung die endgültigen Fragen ausgewählt. Dies geschieht auf Basis der folgenden Formel:
rg = (1 − fb) ∗g ∗r − fb ∗(ab+mg) ∗r Das resultierende Gewicht rg errechnet sich durch die Differenz zweier Produkte, wobei der Minuend durch einen Faktor 1 − f b, dem Gewicht der Frage g und einer Zufallszahl r errechnet wird. Der Subtrahend errechnet sich wieder aus einem Faktor f b, der Summe aus der Anzahl wie oft diese Frage schon beantwortet wurde ab und dem maximalen Gewicht einer Frage mg, sowie wieder aus einer Zufallszahl r. Der Faktor f b bzw 1 − f b gibt an, ob dem Minuenden oder dem Subtrahenden mehr Gewicht zugemessen werden soll. In Sudaco ist aktuell ein Wert von f b = 0, 4 gesetzt. Der Grund für die Addition von mg zu ab liegt an der Größenordnung der jeweiligen Variablen. Ein Gewicht wird stets durch eine Zahl zwischen 0 und 100 repräsentiert. Sollte eine Frage erst selten beantwortet worden sein, so würde der Subtrahend ohne die Addition von mg um einiges kleiner sein als der Minuend und damit keinen wirklichen Einfluss haben. Durch die Verwendung dieser Formel können auch Fragen ausgewählt werden, die relativ kleine Gewichte haben aber eventuell erst selten ausgewählt wurden. Fragen mit hohem Gewicht werden generell öfters gewählt, was sich jedoch wiederum negativ auf zukünftige Auswahlverfahren auswirkt.
Nach der Auswahl der Fragen müssen diese dem Lernenden in einem nächsten Schritt präsentiert werden. Hierfür wird zunächst auf den Fragebogen aufmerksam gemacht. Dies geschieht mittels einer einfachen Benachrichtigung (siehe Abbildung 1).
Abb. 1: Einfache Benachrichtigung mit der Bitte, einen Fragebogen auszufüllen Das User Interface von Sudaco ist gewollt sehr hell, einfach und in großer Schrift gehalten worden. Im oberen Bereich befindet sich jeweils die Fragestellung, direkt darunter kann die Antwort mittels Auswahl oder Slider angegeben werden. Sollte eine Frage nicht beantwor tet werden wollen, kann diese durch einen Klick auf den Button links unten übersprungen werden. Wie in Abbildung 2 zu sehen ist, werden in diesem Beispiel nur vier kurze Fragen gestellt um den Lernenden dauerhaft zu motivieren, diese Anwendung zu nutzen.
Abb. 2: Zwei beispielhafte Fragen eines Sudaco-Fragebogens
Abb. 3: Links: Übersicht der beantworteten Fragen, rechts: Visualisierung einer Frage Um einen Mehrwert für das Beantworten der Fragen zu erreichen, müssen die Antworten für den Lernenden am Ende grafisch aufbereitet werden. Bei geschlossenen Fragestellun gen ist dies mit relativ wenig Aufwand möglich. Nach dem Beantworten eines Fragebogens oder durch manuelles Starten der Anwendung gelangt der Lernende in eine Übersicht der schon beantworteten Fragen (siehe Abbildung 3 links). Durch Auswahl einer dieser Fragen gelangt der Lernende zu der Visualisierung der schon gegebenen Antworten (siehe Abbildung 3 rechts).
Smart Experience Sampling in Android 219 6
Zur Evaluation der Anwendung wurde diese an 10 Personen verteilt, die Sudaco für eine Woche testeten. Diese 10 Personen waren alle zwischen 22 und 29 Jahren alt, 4 von ihnen weiblich und 6 männlich. 8 Personen gaben an, ihren Lernfortschritt bisher nicht zu dokumentieren, wobei 9 Personen angaben, dies gerne (zukünftig) zu tun. Zur Erfassung der Benutzerfreundlichkeit wurde die System Usability Scale (SUS) eingesetzt [Br96]. Diese Methode zielt darauf ab, das gesamte System bezüglich Effektivität, Effizienz und Nutzerzufriedenheit zu evaluieren. Auf einer Skala von 0 bis 100 erreichte Sudaco einen Wert von 87,5. Der Großteil der Testenden gab an, keine Probleme mit der Anwendung gehabt zu haben, sie hatten auch keine Vorschläge für etwaige Verbesserungen.
Bezüglich Funktionalität wurden den Testenden am Ende des Testzeitraums eine Reihe von Fragen gestellt, die jeweils auf einer Skala von 1 (keine Zustimmung) bis 6 (volle Zustimmung) zu beantworten waren. Auf die Frage, ob die Benachrichtigungen zu häufig auf dem Smartphone erschienen, wurde durchschnittlich mit 3,8 geantwortet. Um zu testen, wie die Länge der Ruhezeiten gewählt werden sollte, wurden zwei verschiedene Version an die Testpersonen ausgeteilt: eine Version mit einer Ruhezeit von 2 Stunden und eine mit einer Ruhezeit von 4 Stunden. Die Nutzer der ersten Version gaben auf diese Frage durchschnittlich eine 5,0, während die zweite Gruppe durchschnittlich eine 3,3 gab. Die Ruhezeit sollte somit nicht kürzer als 4 Stunden sein, optional sollte es zukünftig möglich sein, die Erkennung und die Ruhezeiten manuell zu beeinflussen. Auf die Frage, ob zu viele Fragen pro Fragebogen gestellt wurden, wurde im Schnitt mit einer 1,4 geantwortet. Auch für diese Frage wurden zwei Versionen herausgegeben: eine mit 4 Fragen und eine mit 6. Selbst bei der Version mit 6 Punkten lag der Durchschnitt nur unwesentlich höher. Ein oberes Limit an Fragen müsste somit in einer zukünftigen Evaluation erneut gesucht werden.
Bezüglich des Zeitpunkts der Benachrichtigungen gaben die Testpersonen mit einer Bewertung von 2,7 an, dass diese recht gut gewählt wurden und nur selten von der aktuellen Tätigkeit ablenken würden. Bei der Auswertung der Trigger-Daten stellte sich heraus, dass der Trigger für Umgebungsgeräusche recht häufig auslöste, mit einer feineren Einstellung könnte dieser Wert noch verbessert werden. Einhergehend mit dieser Bewertung wurde die Aufdringlichkeit Sudacos mit einer 2,4 bewertet.
Zum Schluss wurden die Testpersonen gefragt, ob sie die statistische Auswertung als nützlich empfinden. Diese Frage erhielt im Schnitt eine 4,4. Nur eine Person gab an, dass diese Funktionalität eher nicht nützlich sei. 7
Das Ziel der hier vorgestellten mobilen Anwendung Sudaco ist die regelmäßige manuelle Aufnahme von Informationen bezüglich eines Lernenden, die auf automatische Weise nur schwer oder gar nicht zu erheben sind. Hierfür wurde ein System entwickelt, wie die Lernenden möglichst wenig von ihrer alltäglichen Arbeit und dem Lernen abgehalten werden und nur in Pausen zwischen zwei Aktivitäten gestört werden. Diese Anwendung wurde mit 10 Personen evaluiert und es hat sich gezeigt, dass der Großteil der vorher getroffenen Annahmen bezüglich der Erkennung von Situationen und der Dauer zwischen zwei Fragebögen korrekt war. Die Evaluation hat weiterhin gezeigt, dass es noch Verbesserungsbedarf an einigen Punkten gibt. Die Erkennung von möglichen Aktionswechseln könnte noch etwas verfeinert beziehungsweise bei Bedarf durch den Nutzer angepasst werden. Es sollte den Nutzern zusätzlich frei stehen, die Ruhezeiten zwischen zwei Fragebögen und die Anazahl der präsentierten Fragen selber zu bestimmen. Hierdurch kann eine höhere Nutzerzufriedenheit erzielt werden.
Literaturverzeichnis [BB05] [Be84] [Br96] [CLP14] [Fr07] [In03] [RG00]
Barrett, D. J.; Barrett, L. F.: ESP, the experience sampling program. 2005.
Bernard, H. R.; Killworth, P.; Kronenfeld, D.; Sailer, L.: The problem of informant accuracy: The validity of retrospective data. Annual review of anthropology, S. 495– 517, 1984.
Brooke, J.: SUS-A quick and dirty usability scale. Usability evaluation in industry, 189(194):4–7, 1996.
Csikszentmihalyi, M.; Larson, R.; Prescott, S.: The Ecology of Adolescent Activity and Experience. In: Applications of Flow in Human Development and Education, S. 241–254. Springer, 2014.
Froehlich, J.; Chen, M. Y.; Consolvo, S.; Harrison, B.; Landay, J. A.: MyExperience: a system for in situ tracing and capturing of user feedback on mobile phones. In: Proceedings of the 5th international conference on Mobile systems, applications and services. ACM, S. 57–70, 2007.
Intille, S. S.; Rondoni, J.; Kukla, C.; Ancona, I.; Bao, L.: A context-aware experience sampling tool. In: CHI’03 extended abstracts on Human factors in computing systems.
ACM, S. 972–973, 2003. [LDF10] Li, I.; Dey, A.; Forlizzi, J.: A stage-based model of personal informatics systems. In: Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. ACM, S. 557–566, 2010.
Reis, H. T.; Gable, S. L.: Event-sampling and other methods for studying everyday experience. Handbook of research methods in social and personality psychology, S. 190–222, 2000.