Sensorbasierte Datenanalyse zur Nutzung in professionellen E-Learning-Systemen gewinnt zunehmend an Bedeutung. Es wurde der Versuch unternommen, Emotionen, durch eine Messung der Herzrate (HR), der Elektrodermalen Aktivität (EDA) und der Hauttemperatur (TEMP) mittels eines Handgelenksensors während des Lernprozesses zu ermitteln, und in einem ArousalValence Diagramm zu kategorisieren. Es wird ein Maß für die Arousal-Dimension vorgestellt, dass auf statistischer Auswertung der HR beruht. Außerdem wird ein auf Statistik- und Signalanalyse der EDA- und TEMP-Signale basierender Algorithmus zur Unterscheidung von 5 Lernemotionen vorgestellt. Mit diesen Analysen ist es nicht möglich, dem Lernenden direkt Feedback zu geben, wie seine Emotionen mit seinem Lernerfolg zusammenhängen. Entsprechend wurden Visualisierungen entworfen, die es Lernern erleichtern können, ihre jeweiligen individuellen Zusammenhänge zwischen Lernperformanz und Emotionen zu erkennen. Für die Evaluation der Emotionserkennungs-Algorithmen wurde der Empatica E4 Sensor verwendet und die Algorithmen wurden im webbasierten eLearning-Framework „Hildegard“ implementiert.
1
Die Wissensvermittlung erfolgt heutzutage zunehmend digital. Zur schnellen Aneignung von Wissen wird oft zunächst auf Wikipedia und YouTube zugegriffen, aber auch Vorlesungen von Universitäten werden vermehrt als Fernstudiengänge online gestellt. Von großer Bedeutung sind online-basierte Lernplattformen und Learning Management Systems (LMS), wie Moodle und Canvas, über welche beispielsweise komplette Kurse in einem Wissensbereich angeboten werden. Die Lerner-Zentrierung als Design-Ansatz spielt dabei eine immer wichtigere Rolle. Die Wissensvermittlung kann z. B. mittels eines intelligenten Tutoring Sytems (ITS), das durch einen sensorunterstützten Lernassistenten dem Lerner Feedback gibt, verbessert werden [Yu17]. Autonomes Lernen, welches online erfolgt, erfordert eine gewisse Disziplin und Motivation des Lerners. Gerade die Motivation ist sehr stark von dem emotionalen Zustand abhängig und spiegelt sich direkt im Lernerfolg wieder. Daher ist es von großer Wichtigkeit, den emotionalen Zustand des Benutzers zu kennen, um ihm Feedback geben zu können und ihn gegebenenfalls von einem negativen Zustand, wie beispielsweise „frustriert“ oder „gelangweilt“, in einen motivierten und konzentrierten Zustand führen zu können. 2
bitten, ein kurzes Rating auszufüllen. Dies erfordert vom Nutzer allerdings eine zusätzliche Handlung. Falls im Lernsystem ein Forum vorhanden ist, kann auch die Kommunikation eines Nutzers zur Emotionsanalyse verwendet werden [Li18]. Eine weitere Herangehensweise zur Emotionserkennung basiert auf physiologischen Daten, z. B. der Aufzeichnung der Gehirnaktivität per EEG, der Mimik per Kamera oder EMG, der Herzaktivität per EKG oder weiterer. In dieser Arbeit werden verschiedene Methoden entwickelt, um mittels E4 gemessene Daten zur Herzaktivität, elektrodermalen Aktivität und Hauttemperatur den emotionalen Zustand des Benutzers zu erkennen und einem von den in Abb. 1 beschriebenen Quadranten zuordnen zu können. Weiterhin werden verschiedene Methoden zur Visualisierung vorgestellt, um dem Benutzer Feedback zum Lernverhalten geben zu können. Durch die Wahl allgemein verwendbarer Technologien für die Implementierung können die Algorithmen und Visualisierungen leicht in webbasierte Learning Analytics Projekte wie z. B. [Fo17] integriert werden.
Die Herzrate bzw. Puls zeigt direkt den Grad der Erregung an [Ar17], welche im ValenceArousal-Diagramm üblicherweise auf der vertikalen Achse dargestellt wird. Diese steigt nicht nur bei physischer Beanspruchung, sondern auch bei psychischer (kognitiver oder emotionaler) wie z.B. Kopfrechnen [My01].
Jedoch kann durch die Herzrate allein nur der Grad der Erregung, aber nicht die Valenz ermittelt werden. Bei Datenaufnahme über einen längeren Zeitraum hinweg konnte über die Herzratenvariabilität der psychische Stress gemessen werden [Ve16]. Der Rahmen der hier vorgestellten Studie erlaubte die dafür benötigte Studienlaufzeit nicht, daher haben wir auf die weitere Untersuchung der Herzrate verzichtet.
Die Elektrodermale Aktivität (EDA) ist der von Johnson und Lubin (1966) eingeführte Oberbegriff für verschiedene Aspekte und Messgrößen der Leitfähigkeits- und Potentialänderungen der Haut. Seit dem wurden die physiopsychologischen Zusammenhänge von EDA und emotionalen/kognitiven Zuständen erforscht [Du72, Ra73, Ga83, Fa88, Bo92, Cr02].
Es gibt verschiedene Ansätze zur Analyse der EDA, welche z. B. in den Artikeln von [Ta15, Vr10, Xi15, Zw12] beschrieben werden. In der Regel werden der Basiswert (Skin Conductance Level, SCL) und/oder der Reaktionswert (Skin Conductance Response, SCR) gemessen [Bo92]. Die SCL wird ausgewertet, um den Grad der Erregung festzustellen. Die SCR stellt Peaks auf einer Welle von tonischen Veränderungen dar und zeigt eine signifikante Änderungsrate. Diese Peaks entstehen als Reaktion auf einen kognitiven, emotionalen oder physischen Stimulus.
Die Temperatur wurde verwendet, um die Valenzdimension zu bestimmen. Die Idee der Beziehung zwischen Temperatur und emotionaler Valenz wurde in dem Artikel [Mc86] behandelt: Das Ergebnis eines groß angelegten Experiments mit Musik war, dass negative Gefühle den Anstieg der Hauttemperatur beenden und diese anschließend kontinuierlich abnimmt, während beruhigende, positive Emotionen die Senkung der Hauttemperatur beenden und diese anschließend steigt. [Sh12] versuchten, auf der Basis von Temperaturdaten das gesamte Spektrum von Emotionen zu bestimmen: neutral, ängstlich, glücklich, angewidert und überrascht. In ihrer Studie konnten sie zeigen, dass die richtige Erkennung und Zuordnung der Emotionen aufgrund der Hauttemperatur bei über 80 % liegt. 3
Die Herzrate wurde als getrenntes Modul implementiert, welches nur den Grad der Erregung bestimmt. Die EDA und Temperatur werden zusammen ausgewertet, um den emotionalen Zustand im Valence-Arousal-Diagramm ermitteln zu können. Der Datenfluss im System verläuft wie folgt: Die von Empatica E4 gemessenen Rohdaten werden im csv Format in das Backend (Data Manager) kopiert und hier mittels JavaScript-Algorithmen separat nach den Modulen HR und EDA+TEMP ausgewertet. Zusätzlich wurde die Datenübertragung von Lernsystemdaten-Daten mittels der API von lms.brainshuttle.com implementiert, sodass es auch möglich ist, Kursdaten wie Punkteanzahl in einem Quizz oder präferierte Lernzeiten abzurufen und mit Emotionsdaten zu fusionieren. Die einzelnen oder kombinierten Daten werden anschließend von der API des Frontends abgerufen und je nach Verwendungszweck mit HighCharts® visualisiert. Diese webbasierte Learning Analytics Architektur beruht größtenteils auf dem in [Fo17] beschriebenen LISA-Backend, und trägt den Arbeitsnamen „Hildegard“. Wie zuvor schon das LISA-Backend, so ist auch Hildegard darauf ausgerichtet, Schnittstellen zu möglichst vielen anderen eLearning-Systemen zu bieten. Falls der Anwendungsfall kompatibel mit aktuellen Webtechnologien umgesetzt wurde, ist die API-Anbindung zu Hildegard problemlos möglich. Learning Analytics können so weitgehend unabhängig vom jeweiligen Anwendungsfall entwickelt werden. 4
Auf Basis bestehender Analysemethoden für EDA und TEMP wurde ein Algorithmus zur Erkennung der Lernemotionen entwickelt und in einer Studie im Lernkontext evaluiert. Um den emotionalen Zustand des Lernenden zu bestimmen, werden EDA und TEMP Signale analysiert. Als Ergebnis liefert der Algorithmus die Verortung der Emotion als einer von 5 Werten im Valence-Arousal-Diagramm (Abb. 1): einer der vier Quadranten oder „neutral“ als nahe dem Achsenschnittpunkt.
Um die Erregung (Arousal) zu bestimmen, wird das EDA-Signal ausgewertet. Zuerst wird ein Low Pass Filter auf das Signal angewendet, um Signalstörungen zu entfernen. Alle Peaks unterhalb eines Schwellenwertes (0,093 ms pro Sekunde [Zw12]) werden gefiltert. Onset und Offset für jeden Peak werden bestimmt und dann die Anstiegszeit und die Wiederherstellungszeit berechnet. Als weitere Signal-Features werden die Häufigkeit von Peaks pro Minute, die Amplitude (Peak minus Onset), die Varianz und der standardisierte Mittelwert des Signals berechnet. Die Feature-Berechnung erfolgt auf Signalabschnitten von je einer Minute. Jedes Feature bekommt gemäß Grenzwert einen Feature-Wert von 1 oder -1.
Der Erregungswert wird mit einem einfachen Mehrheitsalgorithmus bestimmt. Befindet sich die Feature-Wert-Summe im Intervall [-1, 1], so widersprechen sich die Eigenschaften und eine neutrale Erregung (0) wird zugewiesen. Ist die Summe größer als 1, bedeutet dies eine hohe Erregung (1), ist sie kleiner als -1 eine niedrige Erregung (-1). Um die Valenz zu bestimmen, werden die TEMP-Daten nach der in [Sh12] vorgestellten Methode ausgewertet, und als positive Valenz (1) oder negative Valenz (-1) klassifiziert. Bei Erregung = 0, ist die Emotion als „neutral“ definiert. Die Erregungs-/Valenzwerte (1,1), (1,-1), (-1,1) und (-1,-1) werden entsprechend ihres jeweiligen Quadranten „excited“, „stressed“, „relaxed“ und „bored“ genannt. 4.1
Um eine Lernumgebung zu simulieren, wurden als Aktivitäten definiert: Tests auf Temperament und Allgemeinwissen absolvieren, Texte lesen, Videos schauen und einfache körperliche Aufgaben ausführen. Die insgesamt 9 Aktivitäten wurden gezielt ausgewählt, um die Lernemotionen in allen vier Quadranten des Valence-ArousalDiagramms abzudecken.
Für das Experiment wurden Fragebögen entwickelt, auf denen die Probanden nach jeder Aufgabe ihre aktuellen Emotionen markierten. Zwischen den Aufgaben sind Pausen von einigen Minuten erforderlich, um den Effekt auf den emotionalen Zustand der vorherigen Aufgabe zu neutralisieren.
An der Studie nahmen 9 Probanden teil, die jeweils 9 Aktivitäten ausführten, was 81 Instanzen von Daten zur Emotionsanalyse ergibt. Sechs Instanzen waren zu kurz für die Emotionsanalyse und wurden bei der Evaluation ausgeschlossen. In 10 Fällen war der Zustand neutral. Die Güte des Algorithmus wird nachfolgend immer in zwei Werten angegeben: als Prozentsatz der 65 Instanzen ohne die 10 neutralen Ergebnisse / als Prozentsatz der 75 Instanzen einschließlich der neutralen Ergebnisse. 4.2
Von den 65 Instanzen mit Quadrantenzuordnung konnte in 23 Fällen der Zustand eindeutig ermittelt werden. Bei den restlichen 32 Fällen lieferten die 1-minutigen Analyseintervalle jeweils 2 unterschiedliche emotionale Zustände. Der Häufigere wurde als primär angegeben und der andere als sekundär. Es gab keine Messungen bei denen mehr als 2 Zuständen vorkamen.
Als Indikator für die Güte des Algorithmus wurde die Übereinstimmung der Ausgabe mit den von den Probanden berichteten Emotionen angewandt (auch als Treffer bezeichnet). Unter der Annahme einer Gleichverteilung der emotionalen Zustände würden wir bei zufälliger Auswahl in 25 % der Fälle einen Treffer erwarten. Unser Algorithmus trifft zu 41,82 % (ohne „neutral“) / 35,38 % (mit „neutral“). Dabei haben wir in 20 Fällen mit dem primären Zustand und in 3 mit dem sekundären Zustand getroffen. 5
Das Ziel dieser Visualisierungsform ist es, dem Nutzer zu erlauben Schlussfolgerungen über den Einfluss von Erregung auf den Lernprozess zu ziehen. Für jede Aktivität wurde anhand der Herzratenanalyse ein Erregungsniveau ermittelt. In diesem Projekt haben wir uns auf zwei Stufen – hoch und niedrig – begrenzt. Sie werden durch die Farbe der entsprechenden Balken ausgedrückt. Auf der x-Achse sind die Aktivitäten chronologisch aufgezählt und auf der y-Achse wird die Leistung des Nutzers (falls verfügbar) abgebildet. Sie wird in Prozent von der maximalen Punkteanzahl ausgedrückt.
Aktivitäten, für die keine Leistungsdaten von dem LMS geliefert werden, wird der Wert -100 zugewiesen.
Die EDA- und Temperaturanalyse erlaubt die genauere Ermittlung von emotionalen Zuständen, indem sie zwischen positiver und negativer Valenz unterscheidet. Darüber hinaus liefert der implementierte Algorithmus eine „höhere Resolution“, d. h. statt einem Ergebnis pro Aktivität haben wir ein Ergebnis pro Zeiteinheit (in unserem Fall pro Minute). So entsteht für jede Aktivität ein „Stapel“ aus emotionalen Zuständen, wobei in unserer Darstellung die chronologische Reihenfolge von oben nach unten ist.
Die Achsen des Diagramms haben die gleiche Bedeutung wie in dem obigen Diagramm. Emotionen werden weiterhin durch Farben dargestellt.
Diese Visualisierungsform blendet die einzelnen Aktivitäten aus und zeigt schwerpunktmäßig den Zusammenhang zwischen Leistung beim Lernen und emotionalem Zustand. Für jede der vier Emotionen wird ein gewichteter Durchschnitt über alle bisher aufgenommen Aktivitäten mit messbarer Leistung gebildet und das Ergebnis auf der yAchse dargestellt. Als Gewichtung haben wir den Anteil der Dauer der Emotion an der Gesamtdauer der Aktivität implementiert. Zum Vergleich werden zusätzlich die aggregierten Ergebnisse aller Nutzer angegeben.
Diese Daten werden von einem invertierten Bar Chart über den komplementiert. Er gibt die Zeit an, die der Nutzer in einem bestimmt emotionalen Zustand verbracht hat, was Information über die Aussagekraft der darunter stehenden Grafik liefern kann. 6
Das Hauptziel dieses Projekts ist die Unterstützung der Lernenden zur Optimierung des Lernprozesses. Die unterschiedlichen Algorithmen und Visualisierungen, die wir dargestellt haben, zeigen Wege auf, um dies zu erreichen.
Zum einen haben wir die Möglichkeit über das LMS in den aktuell stattfindenden Lernprozess einzugreifen, um dem Nutzer Hinweise und Vorschläge zu geben. Das finden wir dann sinnvoll, wenn extreme Situationen vorliegen. Als solche bezeichnen wir unüblich große Abweichungen vom optimalen Zustand oder große Varianz innerhalb kurzer Perioden. Zu diesem Zweck ist die simple Herzdatenanalyse über den T-Wert gut geeignet.
Zum anderen wollen wir die Grundlagen für komplexere individuelle Analysen des Lernprozesses setzen. Zu diesem Zweck haben wir versucht, sowohl möglichst detaillierte Daten als auch sinnvolle Zusammenfassungen anzubieten und Lernenden einen Überblick über die Lernperformanz in Abhängigkeit von den Umständen und ihrer subjektiven Einstellung anzubieten. In unserem Projekt haben wir als Beispiel Daten über den emotionalen Zustand aggregiert, aber Merkmale wie Art der Aktivität, Thema, Tageszeit sind möglicherweise aussagekräftiger. Weitere empirische Untersuchungen in dieser Richtung sind nötig, um auf praxisrelevante Lösungen zu kommen.
Als dritter und letzter Punkt kommt die Datenanalyse seitens des LMS. Ohne die individuellen Unterschiede beim Lernen zu unterschätzen, behaupten wir, dass mit der Anhäufung und Analyse von genug Daten die Erkennung von Lernprofilen einschließlich Emotionsdaten ermöglicht wird. Auf diese Art kann die Verwendung der Daten zur Steuerung des Lernprozesses beschleunigt werden, da die Aktivität des Nutzers nur so lange analysiert werden muss, bis das entsprechende Profil erkannt wird. Das jedoch liegt außerhalb der Reichweite dieser Studie.
Problematisch bei den vorgeschlagenen Visualisierungsarten ist der Mangel an expliziter Zeitangabe, nicht nur als Dauer, sondern auch als Tageszeit. Letztere kann durchaus signifikante Effekte sowohl auf die Leistung als auch auf den emotionalen Zustand des Nutzers haben. Es ist plausibel, dass späte Sitzungen mit niedriger Erregung und niedriger Leistung verbunden sind, dagegen ist bei frühen Sitzungen die niedrige Erregung mit hoher Leistung korreliert.
Ein weiteres Problem bei den Bar Charts sind die Aktivitäten mit niedrigen y-Werten, die die Graphen unleserlich machen. Insbesondere bei dem Wert null können die Ergebnisse der Analyse der physiologischen Daten nur sehr schwer (bei Arousal/Activities) oder gar nicht (bei Mood/Activity) abgelesen werden.
Ein dritter Nachteil ist die Blockdarstellung in den Mood/Activity Diagrammen, da es dem Nutzer nicht erlaubt, die Dauer der einzelnen Zustände abzuschätzen, was bei hohen yWerten möglich wäre. Dafür würde das Diagramm bei niedrigen y-Werten noch fragmentiert und schwieriger zum Verstehen.
Auch die Aktivitäten ohne vorgegebene Leistungswerte bleiben bei den Mood/Activity Diagrammen eine offene Frage. Die chronologische Reihenfolge ist präzis ausgedrückt von außen nach innen, d. h. die ersten Daten sind immer am weitesten von der x-Achse. Das bedeutet, dass die Lösung, die für die Arousal/Activities Diagramme vorgeschlagen wurde, in diesem Fall verwirrend wäre, da die ersten Ergebnisse bei negativen y-Werten ganz unten, „am Boden“ des Balkens stehen und nicht oben wie bei positiven Werten. Zusammenfassend sehen wir das größte Potenzial von physiologischen Daten als neue Datenquelle für Learning Analytics im Einsatz bei stark individualisierten, lernerzentrierten eLearning-Systemen. Durch automatisierte Erregungs- und Emotionsanalyse können Lerner bei einzelnen Lernschritten unterstützt werden. Anders als beim Formative Assessment wird hier aber nicht die Ausführung einer Tätigkeit, sondern der Zustand des Lerners bewertet. Eine Kombination aus beidem halten wir für ein zeitgemäßes Lernassistenzsystem – unter der Voraussetzung, dass die Privatsphäre des Lerners nicht verletzt wird.
Literaturverzeichnis [Ar17] [Bo92] [Cr02] [Du72] [Fa88] [Ga83] [Fo17] [Ko01] [Li18] [Mc86] [My01]
Artífice A.; Ferreira F.; Marcelino-Jesus E.; Sarraipa J.; Jardim-Gonçalves R.: Student’s Attention Improvement Supported by Physiological Measurements Analysis. In: Camarinha-Matos L., Parreira-Rocha M., Ramezani J. (eds) Technological Innovation for Smart Systems. DoCEIS 2017. IFIP Advances in Information and Communication Technology, vol 499. Springer, Cham, 2017. DOI: https://doi.org/10.1007/978-3-31956077-9_8 Boucsein, W.. Electrodermal Activity, Plenum Press, New York, pp. 442, 1992. Critchley, H. D.: Electrodermal responses: What happens in the brain. The Neuroscientist, 8, 132–142, 2002.
Duffy, E.: Activation. In N. S. Greenfield & R. A. Sternbach (Eds.), Handbook of psychophysiology (pp. 577–622). New York: Holt, Rinehart, & Winston, 1972. Fahrenberg, J.: Psychophysiological processes. In J. R. Nesselroade & R. B. Cattell (Eds.), Handbook of multivariate experimental psychology (pp. 867–914). New York: Plenum, 1988.
Gale, A.; Edwards, J. A.:. Physiological correlates of human behaviour (Three volumes). London: Academic, 1983.
Fortenbacher, A.; Pinkwart, N.; Yun, H: "LISA" Learning Analytics for Sensor-based Adaptive Learning. In LAK '17 - Proceedings of the Seventh International Learning Analytics & Knowledge Conference. New York, NY, USA, ACM, 592-593, 2017. Kort, B.; Reilly, R.; Picard, R. W.: An affective model of interplay between emotions and learning: Reengineering educational pedagogy-building a learning companion. Proceedings of the IEEE International Conference on Advanced Learning Technologies, Los Alamitos: CA: IEEE Computer Society Press, 43-46, 2001.
Liu, Z.; Chongyang, Y.; Peng, X.; Liu, S.; Su, Z.; Zhang, G.: Learners’ Emotional Characteristics in SPOC Forums and Their Association with Learning Effect (SPOC论坛互动中学习者情绪特征及其与学习效果的关系研究). China Educational Technology. 102-110, 2018.
McFarland, R.: Relationship of skin temperature changes to the emotions accompanying music. Biofeedback and Self-regulation, Volume 10, Issue 3, pp 255– 267, 1986.
Myrtek, M.; Foerster, F.; Brügner G.: Freiburger Monitoring System (FMS). Peter Lang GmbH, Frankfurt a.M., 2001 [Pe10] [Ra73] [Ru80] [Sh09] [Ta15] [Ve16] [Vr10] [Xi15] [Yu17] [Zw12]
Pekrun, R.; Goetz, T.; Titz, W.; Perry, R. P.: Academic Emotions in Students' SelfRegulated Learning and Achievement: A Program of Qualitative and Quantitative Research. Educational Psychologist, 37:2, 91-105, 2010. DOI: https://doi.org/10.1207/S15326985EP3702_4