Carsten Ullrich, Martin Wessner (Eds.): Proceedings of DeLFI and GMW Workshops 2017 Chemnitz, Germany, September 5, 2017 Automated Quality Assurance in MOOCs through Learning Analytics Jan Renz, Tobias Rohloff, Christoph Meinel Abstract: This article describes how Learning Analytics data can be used to create an automated quality assurance for MOOCs. The results can also be applied in other scalable e-learning systems. To this end, we first describe how Learning Analytics tools are implemented in the systems examined (which are implemented as distributed services in a microservice architecture). On this basis, the concept and implementation of automated quality assurance are described. In an initial evaluation, the use of the function on an entity of the MOOC platform developed at HPI will be examined. Afterwards, an outlook on extensions and future research questions will be given. Carsten Ullrich, Martin Wessner (Eds.): Proceedings of DeLFI and GMW Workshops 2017 Chemnitz, Germany, September 5, 2017 Automatisierte Qualitätssicherung in MOOCs durch Learning Analytics Jan Renz,1 Tobias Rohloff,2 Christoph Meinel3 Abstract: Dieser Beitrag beschreibt wie mithilfe von Learning Analytics Daten eine automatisierte Qualitätssicherung in MOOCs durchgeführt werden kann. Die Ergebnisse sind auch für andere skalie- rende E-Learning Systeme anwendbar. Hierfür wird zunächst beschrieben, wie in den untersuchten Systemen (die als verteilte Dienste in einer Microservice-Architektur implementiert sind) Learning Analytics Werkzeuge umgesetzt sind. Darauf aufbauend werden Konzept und Implementierung einer automatisierten Qualitätssicherung beschrieben. In einer ersten Evaluation wird die Nutzung der Funktion auf einer Instanz der am HPI entwickelten MOOC-Plattform untersucht. Anschließend wird ein Ausblick auf Erweiterungen und zukünftige Forschungsfragen gegeben. Keywords: MOOCs; Learning Analytics; Qualitätssicherung 1 Motivation MOOCs sind unter anderem deshalb so erfolgreich, da sie Lernen bei wenig und nur kleinteiliger freier Zeit ermöglichen. Leider findet sich das Phänomen der Zeitknappheit auch bei Kursproduzenten wieder, was zu vermeidbaren qualitativen Schwächen führen kann. In der Praxis hat sich jedoch gezeigt, dass vorhandene Angebote (allgemeine Best Practises Sammlungen wie das MOOC Book4 oder systemspezifische Dokumentationen) nicht in dem gewünschten Maße angenommen werden und daher nicht als nachhaltige Maßnahme der Qualitätssicherung in Frage kommen. Daher soll ein automatisiertes Qualitätssicherungssystem, welches im Folgenden beschrieben wird, diese Aufgaben unterstützen. 2 Konzept Learning Analytics zum Zwecke der Qualitätssicherung einzusetzen ist ein naheliegender Gedanke und wird u.a. von Greller und Drachsler beschrieben [GD12]. In diesem Konzept 1 Hasso-Plattner-Institut, Universität Potsdam, Lehrstuhl für Internet-Technologien und Systeme, Prof.-Dr.- Helmert-Straße 2-3, 14482 Potsdam, Deutschland, jan.renz@hpi.de 2 Hasso-Plattner-Institut, Universität Potsdam, Lehrstuhl für Internet-Technologien und Systeme, Prof.-Dr.- Helmert-Straße 2-3, 14482 Potsdam, Deutschland, tobias.rohloff@hpi.de 3 Hasso-Plattner-Institut, Universität Potsdam, Lehrstuhl für Internet-Technologien und Systeme, Prof.-Dr.- Helmert-Straße 2-3, 14482 Potsdam, Deutschland, christoph.meinel@hpi.de 4 http://bizmooc.eu/mooc-manual/ cbe Jan Renz, Tobias Rohloff, Christoph Meinel soll diese Qualitätssicherung allerdings nicht für die Lehrenden überwachend, sondern assistierend angeboten werden. Als ersten Schritt gilt es die gelernten Best Practices in maschinenausführbare Regeln zu übersetzen. Diese Regeln (intern QCRules) werden dann periodisch geprüft und erzeugen bei Verletzung eine Warnung (intern QCAlert). Jeder Alarm hat eine Priorität die gering, mittel oder hoch betragen kann und je nach Relevanz der hinter der Regel stehenden Best Practice und dem Grad der Verletzung bestimmt wird. Zusätzlich können Regeln mit Handlungsempfehlungen verknüpft werden, die den Teaching-Teams helfen sollen. 2.1 Regeln zur Qualitätssicherung Betrachtet man die in Tabelle 1 aufgeführten Regeln, so fällt zunächst auf, dass nur drei der elf Regeln auf expliziten Learning Analytics Daten aufbauen. Bei aktivitätsbasierten Regeln soll bei einer festgestellten negativen Abweichung eines Kurses von der normalen oder durchschnittlichen Aktivität im Vergleich zu anderen Kursen gewarnt werden. Hierfür kommen kombinierte Metriken aus dem Learning Analytics Dienst zum Einsatz. Regel Datenquelle Filter Video Events Learning Analytics Aktive Kurse (Anomalien in Videonutzung) Difficult Selftest Quiz- und Aktive Kurse (Frage zu schwer) Submission-Dienst Quiz Performance Learning Analytics Aktive Kurse (Quiz zu schwer) Pinboard Activity Learning Analytics Aktive Kurse (Zu geringe Aktivität in den Foren) Pre-Course Announcement News-Dienst Vor Kursstart (Keine Mitteilung vor Kursstart versendet) Regular Course Communication News-Dienst Aktive Kurse (Frequenz der Kursmitteilungen zu gering) Long Videos Video- und Alle Kurse (Videos zu lang, siehe [Re]) Kurs-Dienst No-Show Rate Kurs-Dienst Alle Kurse (Rate der No-Shows zu hoch, siehe [RSM16]) Tab. 1: Übersicht der Regeln Qualitätssicherung durch Learning Analytics Die Schwierigkeit besteht nun in einer sinnvollen Bestimmung von Grenzwerten. Ab welchen Werten soll eine Warnung mit welcher Priorität erzeugt werden? Hierfür kam eine Kombination von zwei Methoden zum Einsatz. Zunächst wurden in Experteninterviews Kurse abgefragt bei denen alles in Ordnung war und solche bei denen von Expertenseite aus eine Warnung angemessen wäre. Anschliessend wurden die entsprechenden Werte der Kurse berechnet. Ergänzt wurde dieser Ansatz durch eine explorativen Analyse aller bestehenden Kurse. Hierfür wurden für alle Kurse die entsprechenden Zahlen, also bspw. die KPI Pinboard-Aktivität ermittelt und grafisch visualisiert (Abbildung 1). Auf dieser Grundlage wurden die eingesetzten Grenzwerte ermittelt. 0.14 0.12 0.07 0.06 0.05 0.04 0.03 Schwacher Alarm 0.02 0.01 Mittlerer Alarm Schwerer Alarm 0.00 16 16 16 16 16 16 16 16 16 16 16 16 16 17 17 17 a c y20 tsec20 rtup20 pm20 ork20 ome20 age20 king20 echt20 toys20 web20 alth20 tics20 tech20 tieg20 ork20 priv in sta b vaw rth ep or it-r e ntic ehe naly web eins avaw ws- ja sma hom rnetw ema ea java j in te s o f t war s Abb. 1: Pinboard-Aktivität in der ersten Kurswoche für openHPI-Kurse seit Anfang 2016 3 Evaluation Seit Veröffentlichung des Systems im Sommer 2016 wurden auf openHPI 349 Warnungen erzeugt. Davon wurden 83 automatisch wieder geschlossen. Von allen erzeugten Events waren: 0 Video Events, 21 Difficult Selftest, 150 Quiz Performance, 1 Announcement Failed, 15 No Show Rate, 11 Pinboard Activity, 23 Pinboard Closed Check, 23 Pre-Course Announcement, 16 Regular Course Communication und 89 Long Videos. Durchschnittlich wurden 13 Events pro Kurs erzeugt. Die durchschnittliche Lebensdauer einer später geschlossenen Warnung beträgt 39,5 Tage5 und ist als deutlich zu lang anzusehen. Dies 5 Viele Regeln schliessen Warnungen automatisch zum Kursende. Viele Warnungen wurden also vermutlich nicht bearbeitet. Jan Renz, Tobias Rohloff, Christoph Meinel lässt sich teilweise damit erklären, dass die Warnungen zwar in den täglichen Mails und den Kursdashboards angezeigt werden, aber eine Nichtbeachtung der Warnungen keine Nachteile verursacht. Manche Warnungen (Video Events) wurden gar nicht erzeugt, was ein Indikator für zu strenge Grenzwerte sein kann. 4 Zusammenfassung und Ausblick Abschließend zeigt sich, dass eine automatisierte Qualitätssicherung ein praktikabler Ansatz zur Anwendung von Best Practises darstellt. Insbesondere wenn aus Kapazitätsgründen kein direktes Monitoring durch einen Kursmanager durchgeführt werden kann, bietet ein solches System einen Mehrwert. Auch für Plattformen bei denen ein solches Monitoring durchgeführt wird, kann ein solches System den Kursmanager unterstützen und helfen kritische Situationen zeitnah zu identifizieren. Sinnvoll definiere Grenzwerte sind hierbei einer der wesentlichen Faktoren, die bei dem Betrieb eines solches Systems von höchster Wichtigkeit sind. Allerdings ist der Prozess der Definition solcher Werte nicht trivial und selbst für erfahrende Kursmanager schwierig. Durch entsprechend angereicherte Learning Analytics Daten lassen sich komplexe Regeln performant und einfach definieren. Einige der Regeln können nur durch Learning Analytics Daten überprüft werden. Dies zeigt das der hier gewählte konzeptuelle Ansatz der Nutzung von Learning Analytics Daten zum Zwecke der Qualitätssicherung schlüssig ist. Jedoch muss gewährleistet werden, dass Teaching Teams dazu angehalten sind, sich mit den vom System erzeugten Warnungen und Handlungsempfehlungen zu beschäftigen. Das reine Bereitstellen der Warnungen reicht nicht aus. So sollten Teaching Team Mitglieder bei Erstellung einer Warnung direkt eine entsprechende Information per Mail und ggf. per mobiler App bekommen. Zusätzlich kann es gerade für Teams mit wenig Erfahrung hilfreich sein, wenn diese Benachrichtigungen direkt die mit der Regel verknüpften konkreten Handlungsempfehlungen beinhalten. Grenzwerte sollten regelmäßig überprüft und bei Bedarf angepasst werden. Ein alternativer Ansatz besteht in einer Automatisierung der Grenzwerte. Dabei könnten global oder mittels erstellter Kurs-Gruppen eine Ermittlung von Grenzwerten durch lernende Algorithmen erfolgen. Literaturverzeichnis [GD12] Greller, Wolfgang; Drachsler, Hendrik: Translating learning into numbers: A generic framework for learning analytics. Educational technology & society, 15(3):42–57, 2012. [Re] Renz, Jan; Bauer, Matthias; Malchow, Martin; Staubitz, Thomas; Meinel, Christoph: Opti- mizing the video experience in moocs. In: EDULEARN15 Proceedings, 7th International Conference on Education and New Learning Technologies. S. 5150–5158. [RSM16] Renz, Jan; Schwerer, Florian; Meinel, Christoph: openSAP: Evaluating xMOOC Usage and Challenges for Scalable and Open Enterprise Education. International Journal of Advanced Corporate Learning, 9(2), 2016.