This article describes how Learning Analytics data can be used to create an automated quality assurance for MOOCs. The results can also be applied in other scalable e-learning systems. To this end, we first describe how Learning Analytics tools are implemented in the systems examined (which are implemented as distributed services in a microservice architecture). On this basis, the concept and implementation of automated quality assurance are described. In an initial evaluation, the use of the function on an entity of the MOOC platform developed at HPI will be examined. Afterwards, an outlook on extensions and future research questions will be given.
Jan Renz,1 Tobias Rohlof ,2 Christoph Meinel3 1
MOOCs sind unter anderem deshalb so erfolgreich, da sie Lernen bei wenig und nur kleinteiliger freier Zeit ermöglichen. Leider findet sich das Phänomen der Zeitknappheit auch bei Kursproduzenten wieder, was zu vermeidbaren qualitativen Schwächen führen kann. In der Praxis hat sich jedoch gezeigt, dass vorhandene Angebote (allgemeine Best Practises Sammlungen wie das MOOC Book4 oder systemspezifische Dokumentationen) nicht in dem gewünschten Maße angenommen werden und daher nicht als nachhaltige Maßnahme der Qualitätssicherung in Frage kommen. Daher soll ein automatisiertes Qualitätssicherungssystem, welches im Folgenden beschrieben wird, diese Aufgaben unterstützen. 2
Learning Analytics zum Zwecke der Qualitätssicherung einzusetzen ist ein naheliegender Gedanke und wird u.a. von Greller und Drachsler beschrieben [GD12]. In diesem Konzept 1 Hasso-Plattner-Institut, Universität Potsdam, Lehrstuhl für Internet-Technologien und Systeme, Prof.-Dr.Helmert-Straße 2-3, 14482 Potsdam, Deutschland, jan.renz@hpi.de 2 Hasso-Plattner-Institut, Universität Potsdam, Lehrstuhl für Internet-Technologien und Systeme, Prof.-Dr.Helmert-Straße 2-3, 14482 Potsdam, Deutschland, tobias.rohlof@hpi.de 3 Hasso-Plattner-Institut, Universität Potsdam, Lehrstuhl für Internet-Technologien und Systeme, Prof.-Dr.Helmert-Straße 2-3, 14482 Potsdam, Deutschland, christoph.meinel@hpi.de 4 http://bizmooc.eu/mooc-manual/ soll diese Qualitätssicherung allerdings nicht für die Lehrenden überwachend, sondern assistierend angeboten werden. Als ersten Schritt gilt es die gelernten Best Practices in maschinenausführbare Regeln zu übersetzen. Diese Regeln (intern QCRules) werden dann periodisch geprüft und erzeugen bei Verletzung eine Warnung (intern QCAlert). Jeder Alarm hat eine Priorität die gering, mittel oder hoch betragen kann und je nach Relevanz der hinter der Regel stehenden Best Practice und dem Grad der Verletzung bestimmt wird. Zusätzlich können Regeln mit Handlungsempfehlungen verknüpft werden, die den Teaching-Teams helfen sollen. 2.1
Regeln zur Qualitätssicherung Betrachtet man die in Tabelle 1 aufgeführten Regeln, so fällt zunächst auf, dass nur drei der elf Regeln auf expliziten Learning Analytics Daten aufbauen. Bei aktivitätsbasierten Regeln soll bei einer festgestellten negativen Abweichung eines Kurses von der normalen oder durchschnittlichen Aktivität im Vergleich zu anderen Kursen gewarnt werden. Hierfür kommen kombinierte Metriken aus dem Learning Analytics Dienst zum Einsatz.
Video Events (Anomalien in Videonutzung) Dificult Selftest (Frage zu schwer) Quiz Performance (Quiz zu schwer) Pinboard Activity (Zu geringe Aktivität in den Foren) Pre-Course Announcement (Keine Mitteilung vor Kursstart versendet) Regular Course Communication (Frequenz der Kursmitteilungen zu gering) Long Videos (Videos zu lang, siehe [Re]) No-Show Rate (Rate der No-Shows zu hoch, siehe [RSM16])
Submission-Dienst
Die Schwierigkeit besteht nun in einer sinnvollen Bestimmung von Grenzwerten. Ab welchen Werten soll eine Warnung mit welcher Priorität erzeugt werden? Hierfür kam eine Kombination von zwei Methoden zum Einsatz. Zunächst wurden in Experteninterviews Kurse abgefragt bei denen alles in Ordnung war und solche bei denen von Expertenseite aus eine Warnung angemessen wäre. Anschliessend wurden die entsprechenden Werte der Kurse berechnet. Ergänzt wurde dieser Ansatz durch eine explorativen Analyse aller bestehenden Kurse. Hierfür wurden für alle Kurse die entsprechenden Zahlen, also bspw. die KPI Pinboard-Aktivität ermittelt und grafisch visualisiert (Abbildung 1). Auf dieser Grundlage wurden die eingesetzten Grenzwerte ermittelt.
Abb. 1: Pinboard-Aktivität in der ersten Kurswoche für openHPI-Kurse seit Anfang 2016 3
Seit Veröfentlichung des Systems im Sommer 2016 wurden auf openHPI 349 Warnungen erzeugt. Davon wurden 83 automatisch wieder geschlossen. Von allen erzeugten Events waren: 0 Video Events, 21 Dificult Selftest, 150 Quiz Performance, 1 Announcement Failed, 15 No Show Rate, 11 Pinboard Activity, 23 Pinboard Closed Check, 23 Pre-Course Announcement, 16 Regular Course Communication und 89 Long Videos. Durchschnittlich wurden 13 Events pro Kurs erzeugt. Die durchschnittliche Lebensdauer einer später geschlossenen Warnung beträgt 39,5 Tage5 und ist als deutlich zu lang anzusehen. Dies 5 Viele Regeln schliessen Warnungen automatisch zum Kursende. Viele Warnungen wurden also vermutlich nicht bearbeitet. lässt sich teilweise damit erklären, dass die Warnungen zwar in den täglichen Mails und den Kursdashboards angezeigt werden, aber eine Nichtbeachtung der Warnungen keine Nachteile verursacht. Manche Warnungen (Video Events) wurden gar nicht erzeugt, was ein Indikator für zu strenge Grenzwerte sein kann. 4
Abschließend zeigt sich, dass eine automatisierte Qualitätssicherung ein praktikabler Ansatz zur Anwendung von Best Practises darstellt. Insbesondere wenn aus Kapazitätsgründen kein direktes Monitoring durch einen Kursmanager durchgeführt werden kann, bietet ein solches System einen Mehrwert. Auch für Plattformen bei denen ein solches Monitoring durchgeführt wird, kann ein solches System den Kursmanager unterstützen und helfen kritische Situationen zeitnah zu identifizieren.
Sinnvoll definiere Grenzwerte sind hierbei einer der wesentlichen Faktoren, die bei dem Betrieb eines solches Systems von höchster Wichtigkeit sind. Allerdings ist der Prozess der Definition solcher Werte nicht trivial und selbst für erfahrende Kursmanager schwierig. Durch entsprechend angereicherte Learning Analytics Daten lassen sich komplexe Regeln performant und einfach definieren. Einige der Regeln können nur durch Learning Analytics Daten überprüft werden. Dies zeigt das der hier gewählte konzeptuelle Ansatz der Nutzung von Learning Analytics Daten zum Zwecke der Qualitätssicherung schlüssig ist. Jedoch muss gewährleistet werden, dass Teaching Teams dazu angehalten sind, sich mit den vom System erzeugten Warnungen und Handlungsempfehlungen zu beschäftigen. Das reine Bereitstellen der Warnungen reicht nicht aus. So sollten Teaching Team Mitglieder bei Erstellung einer Warnung direkt eine entsprechende Information per Mail und ggf. per mobiler App bekommen. Zusätzlich kann es gerade für Teams mit wenig Erfahrung hilfreich sein, wenn diese Benachrichtigungen direkt die mit der Regel verknüpften konkreten Handlungsempfehlungen beinhalten. Grenzwerte sollten regelmäßig überprüft und bei Bedarf angepasst werden. Ein alternativer Ansatz besteht in einer Automatisierung der Grenzwerte. Dabei könnten global oder mittels erstellter Kurs-Gruppen eine Ermittlung von Grenzwerten durch lernende Algorithmen erfolgen.
[GD12] [Re]
Greller, Wolfgang; Drachsler, Hendrik: Translating learning into numbers: A generic framework for learning analytics. Educational technology & society, 15(3):42–57, 2012. Renz, Jan; Bauer, Matthias; Malchow, Martin; Staubitz, Thomas; Meinel, Christoph: Optimizing the video experience in moocs. In: EDULEARN15 Proceedings, 7th International Conference on Education and New Learning Technologies. S. 5150–5158.