=Paper=
{{Paper
|id=Vol-2092/paper24
|storemode=property
|title=Automatisierte Qualitätssicherung in MOOCs durch Learning Analytics(Automated Quality Assurance in MOOCs Through Learning Analytics)
|pdfUrl=https://ceur-ws.org/Vol-2092/paper24.pdf
|volume=Vol-2092
|authors=Jan Renz,Tobias Rohloff,Christoph Meinel
}}
==Automatisierte Qualitätssicherung in MOOCs durch Learning Analytics(Automated Quality Assurance in MOOCs Through Learning Analytics)==
https://ceur-ws.org/Vol-2092/paper24.pdf
Carsten Ullrich, Martin Wessner (Eds.): Proceedings of DeLFI and GMW Workshops 2017
Chemnitz, Germany, September 5, 2017
Automated Quality Assurance in MOOCs through Learning
Analytics
Jan Renz, Tobias Rohloff, Christoph Meinel
Abstract: This article describes how Learning Analytics data can be used to create an
automated quality assurance for MOOCs. The results can also be applied in other scalable
e-learning systems. To this end, we first describe how Learning Analytics tools are
implemented in the systems examined (which are implemented as distributed services in
a microservice architecture). On this basis, the concept and implementation of automated
quality assurance are described.
In an initial evaluation, the use of the function on an entity of the MOOC platform
developed at HPI will be examined. Afterwards, an outlook on extensions and future
research questions will be given.
Carsten Ullrich, Martin Wessner (Eds.): Proceedings of DeLFI and GMW Workshops 2017
Chemnitz, Germany, September 5, 2017
Automatisierte Qualitätssicherung in MOOCs durch
Learning Analytics
Jan Renz,1 Tobias Rohloff,2 Christoph Meinel3
Abstract: Dieser Beitrag beschreibt wie mithilfe von Learning Analytics Daten eine automatisierte
Qualitätssicherung in MOOCs durchgeführt werden kann. Die Ergebnisse sind auch für andere skalie-
rende E-Learning Systeme anwendbar. Hierfür wird zunächst beschrieben, wie in den untersuchten
Systemen (die als verteilte Dienste in einer Microservice-Architektur implementiert sind) Learning
Analytics Werkzeuge umgesetzt sind. Darauf aufbauend werden Konzept und Implementierung einer
automatisierten Qualitätssicherung beschrieben. In einer ersten Evaluation wird die Nutzung der
Funktion auf einer Instanz der am HPI entwickelten MOOC-Plattform untersucht. Anschließend wird
ein Ausblick auf Erweiterungen und zukünftige Forschungsfragen gegeben.
Keywords: MOOCs; Learning Analytics; Qualitätssicherung
1 Motivation
MOOCs sind unter anderem deshalb so erfolgreich, da sie Lernen bei wenig und nur
kleinteiliger freier Zeit ermöglichen. Leider findet sich das Phänomen der Zeitknappheit
auch bei Kursproduzenten wieder, was zu vermeidbaren qualitativen Schwächen führen
kann. In der Praxis hat sich jedoch gezeigt, dass vorhandene Angebote (allgemeine Best
Practises Sammlungen wie das MOOC Book4 oder systemspezifische Dokumentationen)
nicht in dem gewünschten Maße angenommen werden und daher nicht als nachhaltige
Maßnahme der Qualitätssicherung in Frage kommen. Daher soll ein automatisiertes
Qualitätssicherungssystem, welches im Folgenden beschrieben wird, diese Aufgaben
unterstützen.
2 Konzept
Learning Analytics zum Zwecke der Qualitätssicherung einzusetzen ist ein naheliegender
Gedanke und wird u.a. von Greller und Drachsler beschrieben [GD12]. In diesem Konzept
1 Hasso-Plattner-Institut, Universität Potsdam, Lehrstuhl für Internet-Technologien und Systeme, Prof.-Dr.-
Helmert-Straße 2-3, 14482 Potsdam, Deutschland, jan.renz@hpi.de
2 Hasso-Plattner-Institut, Universität Potsdam, Lehrstuhl für Internet-Technologien und Systeme, Prof.-Dr.-
Helmert-Straße 2-3, 14482 Potsdam, Deutschland, tobias.rohloff@hpi.de
3 Hasso-Plattner-Institut, Universität Potsdam, Lehrstuhl für Internet-Technologien und Systeme, Prof.-Dr.-
Helmert-Straße 2-3, 14482 Potsdam, Deutschland, christoph.meinel@hpi.de
4 http://bizmooc.eu/mooc-manual/
cbe
Jan Renz, Tobias Rohloff, Christoph Meinel
soll diese Qualitätssicherung allerdings nicht für die Lehrenden überwachend, sondern
assistierend angeboten werden. Als ersten Schritt gilt es die gelernten Best Practices in
maschinenausführbare Regeln zu übersetzen. Diese Regeln (intern QCRules) werden dann
periodisch geprüft und erzeugen bei Verletzung eine Warnung (intern QCAlert). Jeder Alarm
hat eine Priorität die gering, mittel oder hoch betragen kann und je nach Relevanz der hinter
der Regel stehenden Best Practice und dem Grad der Verletzung bestimmt wird. Zusätzlich
können Regeln mit Handlungsempfehlungen verknüpft werden, die den Teaching-Teams
helfen sollen.
2.1 Regeln zur Qualitätssicherung
Betrachtet man die in Tabelle 1 aufgeführten Regeln, so fällt zunächst auf, dass nur drei
der elf Regeln auf expliziten Learning Analytics Daten aufbauen. Bei aktivitätsbasierten
Regeln soll bei einer festgestellten negativen Abweichung eines Kurses von der normalen
oder durchschnittlichen Aktivität im Vergleich zu anderen Kursen gewarnt werden. Hierfür
kommen kombinierte Metriken aus dem Learning Analytics Dienst zum Einsatz.
Regel Datenquelle Filter
Video Events
Learning Analytics Aktive Kurse
(Anomalien in Videonutzung)
Difficult Selftest Quiz- und
Aktive Kurse
(Frage zu schwer) Submission-Dienst
Quiz Performance
Learning Analytics Aktive Kurse
(Quiz zu schwer)
Pinboard Activity
Learning Analytics Aktive Kurse
(Zu geringe Aktivität in den Foren)
Pre-Course Announcement
News-Dienst Vor Kursstart
(Keine Mitteilung vor Kursstart versendet)
Regular Course Communication
News-Dienst Aktive Kurse
(Frequenz der Kursmitteilungen zu gering)
Long Videos Video- und
Alle Kurse
(Videos zu lang, siehe [Re]) Kurs-Dienst
No-Show Rate
Kurs-Dienst Alle Kurse
(Rate der No-Shows zu hoch, siehe [RSM16])
Tab. 1: Übersicht der Regeln
Qualitätssicherung durch Learning Analytics
Die Schwierigkeit besteht nun in einer sinnvollen Bestimmung von Grenzwerten. Ab
welchen Werten soll eine Warnung mit welcher Priorität erzeugt werden? Hierfür kam eine
Kombination von zwei Methoden zum Einsatz. Zunächst wurden in Experteninterviews
Kurse abgefragt bei denen alles in Ordnung war und solche bei denen von Expertenseite
aus eine Warnung angemessen wäre. Anschliessend wurden die entsprechenden Werte
der Kurse berechnet. Ergänzt wurde dieser Ansatz durch eine explorativen Analyse aller
bestehenden Kurse. Hierfür wurden für alle Kurse die entsprechenden Zahlen, also bspw.
die KPI Pinboard-Aktivität ermittelt und grafisch visualisiert (Abbildung 1). Auf dieser
Grundlage wurden die eingesetzten Grenzwerte ermittelt.
0.14
0.12
0.07
0.06
0.05
0.04
0.03
Schwacher Alarm
0.02
0.01 Mittlerer Alarm
Schwerer Alarm
0.00
16 16 16 16 16 16 16 16 16 16 16 16 16 17 17 17
a c y20 tsec20 rtup20 pm20 ork20 ome20 age20 king20 echt20 toys20 web20 alth20 tics20 tech20 tieg20 ork20
priv in sta b vaw rth ep or it-r e ntic ehe naly web eins avaw
ws- ja sma hom rnetw ema ea java j
in te s
o f t war
s
Abb. 1: Pinboard-Aktivität in der ersten Kurswoche für openHPI-Kurse seit Anfang 2016
3 Evaluation
Seit Veröffentlichung des Systems im Sommer 2016 wurden auf openHPI 349 Warnungen
erzeugt. Davon wurden 83 automatisch wieder geschlossen. Von allen erzeugten Events
waren: 0 Video Events, 21 Difficult Selftest, 150 Quiz Performance, 1 Announcement
Failed, 15 No Show Rate, 11 Pinboard Activity, 23 Pinboard Closed Check, 23 Pre-Course
Announcement, 16 Regular Course Communication und 89 Long Videos. Durchschnittlich
wurden 13 Events pro Kurs erzeugt. Die durchschnittliche Lebensdauer einer später
geschlossenen Warnung beträgt 39,5 Tage5 und ist als deutlich zu lang anzusehen. Dies
5 Viele Regeln schliessen Warnungen automatisch zum Kursende. Viele Warnungen wurden also vermutlich nicht
bearbeitet.
Jan Renz, Tobias Rohloff, Christoph Meinel
lässt sich teilweise damit erklären, dass die Warnungen zwar in den täglichen Mails und
den Kursdashboards angezeigt werden, aber eine Nichtbeachtung der Warnungen keine
Nachteile verursacht. Manche Warnungen (Video Events) wurden gar nicht erzeugt, was ein
Indikator für zu strenge Grenzwerte sein kann.
4 Zusammenfassung und Ausblick
Abschließend zeigt sich, dass eine automatisierte Qualitätssicherung ein praktikabler Ansatz
zur Anwendung von Best Practises darstellt. Insbesondere wenn aus Kapazitätsgründen
kein direktes Monitoring durch einen Kursmanager durchgeführt werden kann, bietet ein
solches System einen Mehrwert. Auch für Plattformen bei denen ein solches Monitoring
durchgeführt wird, kann ein solches System den Kursmanager unterstützen und helfen
kritische Situationen zeitnah zu identifizieren.
Sinnvoll definiere Grenzwerte sind hierbei einer der wesentlichen Faktoren, die bei dem
Betrieb eines solches Systems von höchster Wichtigkeit sind. Allerdings ist der Prozess
der Definition solcher Werte nicht trivial und selbst für erfahrende Kursmanager schwierig.
Durch entsprechend angereicherte Learning Analytics Daten lassen sich komplexe Regeln
performant und einfach definieren. Einige der Regeln können nur durch Learning Analytics
Daten überprüft werden. Dies zeigt das der hier gewählte konzeptuelle Ansatz der Nutzung
von Learning Analytics Daten zum Zwecke der Qualitätssicherung schlüssig ist. Jedoch
muss gewährleistet werden, dass Teaching Teams dazu angehalten sind, sich mit den vom
System erzeugten Warnungen und Handlungsempfehlungen zu beschäftigen. Das reine
Bereitstellen der Warnungen reicht nicht aus. So sollten Teaching Team Mitglieder bei
Erstellung einer Warnung direkt eine entsprechende Information per Mail und ggf. per
mobiler App bekommen. Zusätzlich kann es gerade für Teams mit wenig Erfahrung hilfreich
sein, wenn diese Benachrichtigungen direkt die mit der Regel verknüpften konkreten
Handlungsempfehlungen beinhalten. Grenzwerte sollten regelmäßig überprüft und bei
Bedarf angepasst werden. Ein alternativer Ansatz besteht in einer Automatisierung der
Grenzwerte. Dabei könnten global oder mittels erstellter Kurs-Gruppen eine Ermittlung
von Grenzwerten durch lernende Algorithmen erfolgen.
Literaturverzeichnis
[GD12] Greller, Wolfgang; Drachsler, Hendrik: Translating learning into numbers: A generic
framework for learning analytics. Educational technology & society, 15(3):42–57, 2012.
[Re] Renz, Jan; Bauer, Matthias; Malchow, Martin; Staubitz, Thomas; Meinel, Christoph: Opti-
mizing the video experience in moocs. In: EDULEARN15 Proceedings, 7th International
Conference on Education and New Learning Technologies. S. 5150–5158.
[RSM16] Renz, Jan; Schwerer, Florian; Meinel, Christoph: openSAP: Evaluating xMOOC Usage
and Challenges for Scalable and Open Enterprise Education. International Journal of
Advanced Corporate Learning, 9(2), 2016.