This paper presents our results from Education 4.0, didactically implemented with an efficient Blended Learning 4.0 (BL 4.0) Process. During the reflection phase of the BL 4.0 Process we build up a Learning Analytics Cockpit (LA Cockpit). Therefore the Neural Network (NN) learn from the click data and the achieved points in the control questions of the courses (the first two months) as well as the pass / fail (classification) or the achieved points (regression) in the exam. We test the learned NN during the next execution of the learning course (achieved forecast accuracy 76%-100% in the classification) and use it again during the next semester. The learning of the NN and the testing are proceeding to the LA use. LA cockpit, implemented in PHP as a plugin for the learning management system Moodle, is only used to apply the learned NN during the working phase. We have learned NN for three courses. We have been able to test the effects of using the cockpit in two simulations by carrying out the first successful applications in courses mathematics and information and knowledge management of business administration degree in WS 17/18 and SS 18. Based on these forecasts, warning e-mails were sent to students classified as at risk. This almost halved the failure rate.
(NN) aus den Klickdaten und den erreichten Punkten in den Kontrollfragen der Kurse (der ersten zwei Monate) sowie das Bestehen/Nichtbestehen (Klassifikation) bzw. die erreichten Punkte (Regression) in der Klausur lernen. Dann testen wir die gelernten NN bei der nächsten Durchführung des Kurses (erreichte Prognosegenauigkeit 76%-100% bei der Klassifikation) und setzen sie bei der nächsten Kursdurchführung ein. Das Lernen der NN und das Testen sind dem Cockpiteinsatz vorgelagert. Das LA Cockpit, das in PHP als Plugin zum Lernmanagementsystem Moodle implementiert ist, dient nur in der Arbeitsphase zur Anwendung des gelernten NN. Bisher lernten wir NN für drei Kurse und konnten in zwei Simulationen die Auswirkungen des CockpitEinsatzes testen indem wir im Fach Mathematik und im Fach Informations- und Wissensmanagement (IWM) des Studiengangs Betriebswirtschaftslehre im WS 17/18 bzw. SS 18 erste erfolgreiche Anwendungen durchführten. Basierend auf den Prognosen wurden Warn-EMails an als gefährdet eingestufte Studierende verschickt. Dadurch konnten die Durchfallquote in Mathematik und die Nichtantrittszahl in IWM nahezu halbiert werden. 1
Der Lernprozess für die Zukunft designt mit evidenzbasierten Entscheidungen auf der Grundlage von Learning Analytics Design [If17] und Machine Learning Methoden wird immer aktueller. Dies ist notwendig, da durch Industrie 4.0 die Anforderung nach hochqualitativer Aus- und Weiterbildung auch in quantitativer Hinsicht entsteht. Gemäß der Studie High Tech Führungsfähigkeiten für Europa [Ht17] ist dies unter anderem auf die vielen Umschulungsmaßnahmen zurückzuführen. Andererseits entsteht durch die sehr guten Erfolge der Künstlichen Intelligenz (KI) in jüngster Zeit auch ein erhöhter Bedarf an Technologie für 4.0-Elemente in der Lehre. 2
Der zukünftige Ingenieur, der die Industrie-4.0-Anforderungen meistert, ist ein so genannter „Tall Thin Engineer“ (TTE) [Ci17a] mit den Kompetenzen wie Innovation, Künstliche Intelligenz (KI) Methoden, Kreativität, KI unterstütze Entscheidungen und Führung. Auf der diesjährigen Hannover-Messe wurden die Ergebnisse des VDE Tec Report 2018 vorgestellt: Unternehmen fordern eine starke Innovationsoffensive für Künstliche Intelligenz als Schlüsseltechnologie, um die digitale Transformation zu meistern und im internationalen Wettbewerb auf Augenhöhe zu bleiben. Weiteren Umfrageergebnissen zufolge fordern 73% der befragten VDE-Unternehmen und Hochschulen, (universitäre) Ausbildungsangebote im Bereich KI an die Notwendigkeiten anzupassen und neu zu strukturieren [VD18]. Jede Branche (Logistik, Industrie, Dienstleistung, Verwaltung usw.) wird in den nächsten Jahren die Herausforderung von 4.0 (Vernetzung, Digitalisierung und Künstliche Intelligenz (KI)) spüren und muss mit 4.0-Konzepten reagieren, um die eigene Existenz nicht zu gefährden. Jede Branche hat einen Bedarf nach Akademiker-4.0-(A 4.0) Kompetenzen. Denn das steigende Bedürfnis nach Wissen und den Kompetenzen von Akademikern 4.0 in der digitalen Gesellschaft braucht „future ready curricula“ und die Anpassung von didaktischen Methoden (Abbildung 1). In diesem Abbildungsprozess spielen Praxisprojekte, die von der Industrie zertifiziert sind, eine wichtige Rolle [Sv18].
Abb. 1: Curricula und didaktische Methoden zur Erlangung von 4.0-Kompetenzen Ein Beispiel eines an 4.0 angepassten „future ready curricula“ ist der in Y-Modus aufgebaute Studiengang Informatik an der TH Deggendorf (Start 2019), der in seinem stark von Künstlicher Intelligenz (KI) geprägten Ast die entsprechenden KI-Module enthalten würde. 3
Es bestehen mehrere Definitionen zu Education 4.0 (Lehre 4.0) an Hochschulen, wie beispielsweise die von Scheer und Riebe (2015) und Schildhauer (2016), wobei Personalisierung und Adaption der Lernumgebung die bestimmenden Eigenschaften sind. Da empirische Untersuchungen einen Notenvorteil von bis zu 0,4 Graden bei Blended Learning gegenüber der reinen virtuellen Lehre ergeben haben [PB14], sollen die Vorlesungen bei „Education 4.0“ in Form von Blended Learning stets einen sehr interaktiven Präsenzteil einschließen. In jüngster Zeit konnten die Forschungen zur KI beeindruckende Entwicklungssprünge verzeichnen, sodass etliche KI-basierte Techniken wie Maschinelles Lernen in Industrie, Wirtschaft und Privatleben einziehen konnten.
Daher sollte Education 4.0 einen starken KI-Anteil enthalten. So definierten die Autoren in [Ci17b] den Begriff „Education 4.0“ durch virtuelle Kurse mit einer interaktiven Präsenz in Form von Blended Learning und sieben KI-gesteuerten Merkmalen als wesentliche Herausforderungen in der Bildungstechnologie: personalisierter Lernprozess, spielerisches Lernen mit Virtual Reality/Augmented Reality (VR/AR), Communities of Practice, adaptive Technologien, Lernanalyse, intelligente Chatbots und E-Assessments.
Wir realisierten ein Früherkennungssystem in Blended-Learning-Kursen auf Basis des zyklischen Modells nach Zimmerman [PT14] mit einem personalisierten Test zu Semesterbeginn, adaptiven Kursen auf Basis von B. F. Skinner [Sk59] und N. A. Crowder [Cr60], Autotutor mit interaktivem Buch, interaktivem Video und Lernkontrolle mit automatischer Rückmeldung zum Verstärkungslernen.
Abb. 2: Die 7 Phasen des Blended-Learning-4.0-Prozesses Der Blended Learning 4.0 Prozess besteht aus folgenden 7 Phasen (siehe Abbildung 2): 1.
Orientierungsphase: Einstiegstest über die Eingangskompetenzen [PC17] und ein Überblick über den Kursaufbau (vorausschauende Phase) [PBC18], Aktivitätsdiagramm mit den damit erreichten Noten zur Motivation und Lernplan (strategische Planung) [Ci17b] und Lernziele [SI18].
Digitale Vorbereitungsphase: Personalisierung des Inhaltes nach zwei Lerntypen: interaktives Buch und interaktives Video [Ci17a], Lernkontrolle und Selbstbeobachtung mit Adaptabilität von Antworten [PBC18].
Interaktive Präsenzphase: Gruppenarbeit und Fallstudien-Besprechung [PC17]. Vernetzung: „Communities of Practice“ (CoP) von Studierenden für Studierende dokumentieren und lernen [PC17].
Nachbereitung: Chatbots – “intelligente“ Teletutoren beantworten einfache Fragen mit Fachwissen aus dem Skript. Ihre Intelligenz kommt von der Verwendung einer Ontologie [PBC18].
Reflexionsphase: Frühwarnsystem aktivieren, auf Neuronalen Netzen basiert. Das LA Cockpit ist mit einer einfach bedienbaren Moodle-Weboberfläche gestaltet und dient zur Selbstkontrolle und Selbstbeobachtung. Zukunftsszenario wäre, aus dynamischen und statischen Daten von Studenten das Cockpit zu erweitern.
Evaluationsphase: E-Assessments - Ein Teil der Klausuren sind automatisch ausgewertete Kompetenztests. Wir experimentieren mit der Latenten Semantischen Analyse (LSA) und Word2Vec in dieser Phase [PBC18].
In der Nachbereitungs- und Reflexionsphase machen die Studenten zyklisch meist mit der digitalen Vorbereitungsphase weiter. 4
Das Learning Analytics Cockpit (LA Cockpit) ist ein an der Technischen Hochschule Deggendorf (THD) entwickeltes Plugin für die Lernplattform Moodle und stellt den Studierenden eine Prognose des zu erwartenden Klausurerfolgs in ausgewählten Kursen zur Verfügung. Die Universität Mannheim forscht an „LA Profile“, einer Applikation für Lerner-zentrierte Eingabeaufforderungen [KI18]. Beim selbst-regulierten Lernprozess von Zimmerman [Zi00] wird in der Reflexionsphase an der TU Darmstadt eine Lerntagebuchanwendung [NR17] verwendet.
Das Lernen und Testen des Neuronalen Netzes (NN) je Kurs ist nicht Teil des LA Cockpit, das die gelernten NN nur anwendet. Zum Lernen werden zurzeit noch die Klick-Daten und die erreichten Punkte in den Kontrollfragen händisch herausgezogen, nach Monaten aggregiert und ggf. standardisiert. Benutzername ist mit MD5 verschlüsselt. Es folgt eine Zusammenführung dieser Daten mit dem Klausurergebnis mit dem gleichen MD5-Schlüssel. Anschließend werden mithilfe von TensorFlow oder R NN-Modelle gelernt bzw. getestet. Da die Berechnung der Gewichte ein Nichtlineares Optimierungsproblem darstellt, kann man in lokalen Minima landen. TensorFlow hat dagegen eine adaptive Lernrate eingesetzt. Beim R muss man mit unterschiedlichen Startwerten der Gewichte das NN mehrmals anwenden und die beste Lösung (bei Verwendung der Testdaten des nächsten Semesters) auswählen, um näher am Optimum zu sein.
Das Cockpit befindet sich noch in der Evaluation. Es erzeugt in der MoodleNavigationsleiste einen neuen Eintrag „Learning Cockpit“. Beim erstmaligen Auswählen eines bestimmten Kurses wird dem Studenten eine Erklärung über die erhobenen Daten präsentiert und die Zustimmung eingeholt, dass der Student mit der Verwendung der Daten einverstanden ist. Zudem wählt er seinen Studiengang und den Kurs, mit dem die Analyse der Kursdaten erfolgen soll. Beim Aufrufen des Cockpits sind die Kurse, für die eine Prognose möglich ist, besonders gekennzeichnet. Die Möglichkeit einer Prognose hängt vom verwendeten Modell ab, in der Regel sind Prognosen nach zwei bzw. drei Monaten möglich.
Die Berechnung der Prognose hat zum Ziel, dem Studierenden eine Einschätzung seiner Lernaktivitäten auf Basis von Erfahrungswerten früherer Kurse zu geben und langfristig die Dropout-Quoten in den Studiengängen zu verringern (Abbildung 3). Die gezeigte
Prognose soll bei den Studierenden im Rahmen der Reflexionsphase für eine Änderung des Lernverhaltens sorgen. Die Nutzung erfolgt freiwillig und erst nach ausdrücklicher Zustimmung des Studierenden, eine Nicht-Benutzung hat keine negativen Konsequenzen hinsichtlich Klausurteilnahme und -Benotung.
Abb. 3 Learning Analytics Cockpit Das Ergebnis mitsamt Prognose des Klausurerfolgs wird dem Nutzer in einer Übersicht präsentiert. Es erfolgt keine Speicherung, weder der aggregierten Logdaten noch des prognostizierten Klausurerfolgs. Die Daten werden bei jedem Aufruf des Cockpits neu generiert und einmalig in die Webseite, welche dem Nutzer das Ergebnis anzeigt, eingebaut. Der Zugriff auf die Logdaten eines Nutzers durch das Cockpit sowie die Generierung der Prognose ist nur durch den jeweiligen Nutzer selbst möglich, ein Zugriff auf die Daten anderer Personen ist nicht möglich (auch nicht durch Dozenten). 5
Das Cockpit nutzt eine generische Plugin-Schnittstelle von Moodle (local plugins), worüber neue Funktionalitäten ins System eingespielt werden. Die Extraktion der Logdaten des aufrufenden Nutzers, sowie die Anzeige des Prognoseergebnisses werden vom Plugin selbst vorgenommen, während die Berechnungen an ein lokales, auf dem Webserver installiertes Python-Programm (im Fall von TensorFlow) bzw. an die ShinyApp mit virtualisierter R Umgebung weitergegeben werden. Diese Programme nehmen ggf. eine Vorbereitung der Daten vor (Standardisierung) und geben diese an das NN weiter. Aufgrund der Werte in den Ausgabeneuronen werden dann auf das Bestehen/Nicht-Bestehen bzw. in der Klausur erreichte Punkte geschlossen (Abb. 4). Nach der Bestätigung des Datenschutzes werden vom Cockpit die Kurs-Logdaten des Studenten aus der Moodle-Datenbank gelesen und nach bestimmten Zeitintervallen aggregiert. Diese Daten werden anschließend an das Python-Programm bzw. die ShinyApp übergeben, welche zu den übergebenen Werten eine Prognose des Klausurerfolgs mithilfe von NN durchführen. Das Neuronale Netz (NN) berechnet das Prognoseergebnis mithilfe von abstrakten internen Gewichten, die keinen Rückschluss auf einzelne Personen/-gruppen zulassen.
Abb. 4: Automatisierter Prozess der Prognose Das NN in Python wurde mithilfe von TensorFlow-Frameworks von Google sowie der High-Level-API Keras trainiert, welche einen einfacheren Zugriff auf die wichtigsten Funktionalitäten von TensorFlow ermöglicht. Da für unterschiedliche Kurse teils unterschiedliche Lernformen (z.B. Blended Learning vs. rein virtuell) eingesetzt werden, wird dies während des Trainings der Netze im Vorbereitungsschritt berücksichtigt und ein eigenes NN für jeden Kurs angelegt. Das LA Cockpit ruft für die Prognose das jeweils passende hinterlegte Netz auf.
Im Fall von R werden die aggregierten Log Daten mittels einer REST-API an die ShinyApp übertragen, welche auf einem Container an der THD ausgeführt wird, und das Ergebnis per http Response vom Cockpit eingelesen. 6
Da die Wirkung des Cockpits im Realbetrieb nicht mehr statistisch ausgewertet werden kann, simulierten wir seinen Einsatz im WS 17/18 in Mathematik (Mathe.) und im SS 18 in Informations- und Wissensmanagement (IWM) derart, dass wir allen vom NN ermittelten Gefährdeten (20 in Mathe. und 38 in IWM) eine entsprechende Warn-Email schicken ließen. Tabelle 1 zeigt mit welchen Datensätzen wir in welchen Semestern die neuronalen Netze trainiert (WS 15/16 Mathe, SS 16 IWM) bzw. getestet (WS 16/17 Mathe, SS 17 IWM) hatten und wie viele Studierende in der Anwendungsphase (Simulation) (WS 17/18 Mathe, SS18 IWM) einbezogen waren. Tabelle 2 zeigt die Prognosegenauigkeit in der Testphase.
Bisher simulierten wir das Cockpit in drei Kursen: Mathematik und IWM im Studiengang BWL und Informationsmanagement (IM) im Studiengang
Wirtschaftsinformatik (WI). Zu WI haben wir noch keine empirischen Ergebnisse. Die beteiligten Studierenden können der Tabelle 1 entnommen werden.
Bei der ersten Anwendung der Simulation dieses LA Cockpit (gelerntes NN für Klassifikation hatte Prognosegenauigkeit von 76%; siehe Tabelle 2) im WS 17/18 im Studiengang BWL konnte die Durchfallquote in Mathematik auf 11% nahezu halbiert werden, während sie mit der gleichen Klausur in anderen Studiengängen unverändert bei 35 % lag. Im SS 18 wurde dieses Frühwarnsystem Ende Juni im Studiengang BWL im Fach IWM eingesetzt, denn die Prognosegenauigkeit war in diesem Fach 85%, siehe Tabelle 2. Dadurch konnte die Zahl der Studierenden, die nicht zur Prüfung angetreten sind, im Vergleich zu den Vorjahren halbiert werden und die Durchfallquote betrug 4 % während sie in der Testgruppe bei 24% lag.
Lernphase Testphase Anwendungsphase Gefundene Gefährdete
Neben der Klassifikation mit Bestehen/Nichtbestehen fand die Regression Einsatz, die die erreichten Klausurpunkte lernt und prognostiziert. So haben wir Klickdaten und Kontrollfragenpunkte zusammen mit den erreichten Klausurpunkten zur Regression mittels NN verwendet, um die erreichten Punkte in der Prüfung zu prognostizieren. Im Studiengang WI wurde mit den Daten vom SS 16 (60 Studenten) gelernt, und das Modell mit den Daten aus dem SS 17 (39 zur Prüfung angetretene Studierende) getestet. Bei den Studierenden, die zur Klausur angetreten sind, wurde eine Streuung σ=14 Punkten um den prognostizierten Wert erreicht. Beim Trainieren der BWL-Studierenden mit den Daten vom SS 16 (110 Studierende) und dem Testen mit den Daten vom SS 17 (82 Studierende), die an der Prüfung teilgenommen haben, betrug die Streuung σ=17,5 Punkte. Die Topologie der beiden NN ist durch neun Eingabe-Neuronen (KL.SUM.3-45, QU.PUN.3-4-5, QU.ANZ.3-4-5), vier versteckte Neuronen und ein Ausgabe-Neuron spezifiziert.
BWL Math.
BWL IWM
ACC Die Topologie des besten NN-Modells im Studiengang WI bei der Klassifikation sieht wie folgt aus: • • • •
Vier Eingabe-Neuronen: Summen der erreichten Quizpunkte (QU.PUN) und Anzahl der Klicks (KL.SUM) innerhalb der ersten beiden Semestermonate Drei versteckte Neuronen: logistische Aktivierungsfunktion Nur ein Ausgabe-Neuron: „Sum of Squared Errors“ als Fehlerfunktion
Algorithmus „rprop+“; Resiliente Backpropagation. 7
Dieser Artikel demonstriert Schritte zur Erzeugung von 4.0-Kompetenzen und legt den Fokus im Blended-Learning-Prozess auf die Reflexionsphase. In der Simulation des LA Cockpits wurden bereits erste Ergebnisse des Einsatzes von NN zur Prognose erzielt, die aufzeigen, dass es besonders effizient wirkt. Dieses Frühwarnsystem motiviert durch Noten- und Klausurpunkteprognosen, womit die Durchfallquote verringert wird. Es wird eine tiefere Analyse angestrebt, die die veränderten Interaktionen mit dem Lernmaterial identifizieren soll. Das LA Cockpit, integriert in den Blended-Learning-4.0-Prozess, hilft den Studierenden, ihren selbstregulierten digitalen Lernprozess zu individualisieren und sich durch Notenprognosen zu motivieren, sowie ihre Fehlerquote zu reduzieren. Eine weitere Entwicklung wäre der Smart Monitor mit Biofeedback für sensorbasiertes Lernen, wie im LISA Projekt, um mehr über den emotionalen und kognitiven Zustand eines Lernenden zu erfahren [Yu17].
[Ci17a] [Ci17b] [Cr60] [Ht17]
Ciolacu, M.; Svasta, P.; Berg W.; Popp, H.: Education 4.0 for Tall Thin Engineer in Data Driven Society. In: Proc. 23nd International Symposium SIITME, IEEE, Constanta, Romania, S. 432-437, 2017.
Ciolacu, M.; Tehrani, A. F.; Beer R.; Popp, H.: Education 4.0 – Fostering Student Performance with Machine Learning Methods. In: Proc. 23nd International Symposium SIITME, IEEE, Constanta, Romania, S. 225-226, 2017.
Crowder N. A.: Automatic Tutoring by Intrinsic Programming, In: A. R. Glaser, Teaching Machines and Programmed Learning: a source book, Washington, D.C.: National Education Association, S. 286–298, 1960.
High Tech and Leadership skills for Europe. http://eskillsscale.eu/fileadmin/eskills_scale/all_final_deliverables/scale_conference_report_final.p df, Stand: 21.06.2018. [If18] [KI18] [NR17] [PB14] [PBC18] [PC17] [Po18] [PT14] [Sk59] [SI18] [Sv18] [VD18] [Yu17] [Zi00]
Ifenthaler, D.: Learning Analytics Design. In: The Sciences of Learning and Instructional Design: Constructive Articulation between Communities. 2018. Klasen, D.; Ifenthaler D.: Prompting in Pseudonymised Learning Analytics – Implementing Learner Centric Prompts in Legacy Systems with High Privacy Requirements. In Proc. of 10th Int. Conf. on Computer Supported Education (CSEDU2018), S. 383-389, 2018.
Neitzel S.; Rensing C.: Automatische Sammlung von Aktivitäten Lernender in offener Lernumgebungen und deren Nutzung in einer Lerntagebuchanwendung. In (C. Igel et al. Hrsg.): Bildungsräume, DeLFI2017 Die 15.e-Learning Fachtagung Informatik , Lecture Notes in Informatic (LNI), Gesellschaft für Informatik, Bonn 2017. Popp, H.; Beer, R.: Evaluation virtueller Mathematik-Kurse Lernszenarien vergleich und Learning Analytics. In Pauschenwein, J. (Hrsg.): Evaluierung offener Lernszenarien, Tagungsband zum 13. E-learning Tag, Graz; S.98-108, 2014.