In diesem Beitrag stellen wir ein Konzept für ein Learning-Analytics-Werkzeug vor, das Lehrende und Teilnehmer in computergestützten Lernarrangements unterstützt. Im Mittelpunkt des Konzepts stehen dabei digitale Lernressourcen, deren Auswahl und Organisation durch Lehrende sowie deren Verwendung durch Nutzer. Eine konkrete Umsetzung des Konzepts veranschaulichen wir anhand eines web-basierten Lernsystems für die Java-Programmierung und diskutieren, wie unterschiedliche Anforderungen mithilfe des Werkzeugs erfüllt werden können. Computergestützte Lernumgebungen ermöglichen Lernen unabhängig von Zeit und Ort und werden mehr und mehr zu einem Massenphänomen, das immer größer werdende Nutzerzahlen (z. B. in Form von Massive Open Online Courses (MOOCs)) bewirkt. Die zunehmende Digitalisierung von Lehr-/Lernarrangements erfordert zum einen technische Innovationen im computergestützten Lernen, stellt andererseits aber auch Lehrende und Lerner2 vor neue Herausforderungen. Lerner müssen sich oftmals ohne direkte menschliche Unterstützung in Lernumgebungen zurechtfinden, ihre Lernaktivitäten koordinieren und die Umgebung hinsichtlich ihrer Lernfortschritte anpassen. Lehrenden hingegen fehlt oftmals die direkte Rückmeldung durch Lerner (anders als z. B. in klassischen Face-to-Face Lehrarrangements). Sie sind darauf angewiesen, Rückschlüsse über die Wirksamkeit des didaktischen Konzepts und der im System verwendeten Lernressourcen aus der Interaktion zwischen den Lernsystem und den Nutzern zu ziehen. Forschungen im Bereich Learning Analytics nehmen sich diesen Herausforderungen an und verfolgen dabei das Ziel, Daten aus dem Lehr-/Lernkontext zu erfassen, zu analysieren und in interpretierbarer Form darzustellen, um für Lehrende und Lerner eine Grundlage zur Untersuchung unterschiedlichster Aspekte des Lernens zu schaffen. In diesem Beitrag stellen wir ein Konzept für ein Learning-Analytics-Werkzeug vor, das Lehrende und Lerner unterstützt, Aspekte, die sich aus der Verwendung von digitalen Lernressourcen in computergestützten Lernumgebungen ergeben, untersuchen zu können. Das Werkzeug bedient sich dabei typischen Methoden des Data Minings und nutzt ressour1 Humboldt-Universität zu Berlin, Institut für Informatik, Unter den Linden 6, 10099 Berlin, {sebastian.gross,niels.pinkwart}@hu-berlin.de 2 Gemeint sind sowohl weibliche Lernerinnen als auch männliche Lerner.
2
Learning Analytics ist noch ein relativ junges Forschungsgebiet, das - ähnlich wie Forschungen auf dem Gebiet des Educational Data Mining (EDM) - Fragestellungen, die sich aus computergestützten Lehr-/Lernarrangements ergeben, mithilfe von Methoden des Data Mining zu untersuchen versucht [SB12].
Es existieren vielfältige Anwendungsfälle von Learning Analytics, wie z. B. das Vorhersagen der Leistung von Lernern bzw. Lernergruppen [APIPCGHG14] oder die Generierung von Empfehlungen z. B. geeigneter Lernressourcen [Duv11]. Die Visualisierung von Daten, die aus dem Lernkontext gewonnen wurden, spielt dabei eine große Rolle. Hierzu gibt es verschiedene Ansätze. GLASS ist eine web-basierte Visualisierungsplattform, die verschiedene Aspekte, die sich aus dem Lehr/Lernkontext ergeben (z. B. Aktivitäten einzelner Lerner oder Lernergruppen), mithilfe modularer Darstellungen visualisieren kann [LPdlFV+12]. Das StepUp! Werkzeug ist eine Anwendung, die Nutzern in offenen Lernarrangements hilft, ihre eigenen Aktivitäten zu reflektieren, indem Lernaktivitäten in Form von Dashboards visualisiert werden. Zu den visualisierten Informationen gehören, wie viel Zeit ein Lerner in einen Kurs investiert und welche Ressourcen (z. B. Wikis und Blogs) und soziale Medien (z. B. Twitter) dieser zum Lernen genutzt hat. Das LeMo Werkzeug analysiert Lerneraktivitäten, die von verschiedenen OnlineLernplattformen stammen können3. Die enthaltenen Lernpfade werden mithilfe von Sequential Pattern Mining analysiert und anschließend visualisiert [FBE+13]. Die oben genannten Werkzeuge schaffen mithilfe von Visualisierungen für Nutzer eine Grundlage, Aktivitäten in computergestützten Lernarrangements zu analysieren und zu interpretieren. Dabei werden u. a. auch (Lern-)Ressourcen in der Analyse berücksichtigt. Oft bleiben allerdings Zusammenhänge zwischen verschiedenen Ressourcen eher ver3 In LeMo existieren u. a. Schnittstellen zu den LMS Moodle und Clix wie auch zu der Online-Enzyklopädie Chemgapeida. [FBE+13]
Ressourcenorientierte Visualisierungen als
Learning-Analytics-Werkzeuge für Lehrende und Lerner 93 borgen; der Nutzer wird selten darin unterstützt, Dependenzen zwischen Aktivitäten mit unterschiedlichen Ressourcen zu erkennen. Bei den existierenden Verfahren liegt der Fokus typischerweise auf quantitativen Informationen (z. B. wie lange eine Ressource genutzt wurde); qualitative Informationen (z. B. wie wirksam die Nutzung der Ressource war) kann der Nutzer bestenfalls aus den zur Verfügung gestellten Daten ableiten. In unserem Konzept für ein Learning-Analytics-Werkzeug, welches wir im Folgenden vorstellen, berücksichtigen wir daher sowohl Zusammenhänge zwischen verschiedenen Lernressourcen als auch qualitative Informationen, die sich aus Lerneraktivitäten ableiten lassen. 3
Digitale Lernressourcen sind integraler Bestandteil vieler computergestützter Lernumgebungen. Dabei können solche Ressourcen unterschiedlichste (multi-)mediale und textuelle Inhalte umfassen. Lehrende können vorhandene analoge Lernmaterialien digitalisieren und bündeln, neue Ressourcen erstellen und unter Berücksichtigung zuvor definierter Lernziele gestalten, oder auf existierende Ressourcen zurückgreifen und diese wiederverwenden, wenn sie Ressourcen zu Kursen mit bestimmten Lernzielen zusammenstellen4.
Neben der Auswahl und Zusammenstellung von Ressourcen ist deren Strukturierung ein wichtiger Aspekt in computergestützten Lernumgebungen. Der Strukturierung dieser Ressourcen liegt oftmals eine didaktisches Zielsetzung des Lehrenden zugrunde. Ein sehr einfacher möglicher Ansatz, solche Strukturen abzubilden, sind z. B. durch Hypertext verbundene Webseiten, wie sie in Learning Management Systeme (LMS) genutzt werden. Der Ansatz erfordert, dass der Lehrende die Strukturierung vorgibt, und birgt Nachteile für Lerner: Statische Strukturen berücksichtigen nicht die individuellen Bedürfnisse einzelner Lerner und setzen voraus, dass sich die verwendeten Lernressourcen inhaltlich und qualitativ nahtlos in den Lehrplan einfügen lassen. Automatische Ansätze, z. B. anhand von Präferenzen und Bewertungen der semantischen Relevanz [WTLC07], Lernern geeignete Lernressourcen zu empfehlen, entkoppeln den Lernprozess u. U. von der didaktischen Zielsetzung des Lehrenden. So wird es in offenen Lernumgebungen, wie z. B. cMOOCs, den Lernenden überlassen, Ziele zu definieren und notwendige Ressourcen zu identifizieren und somit den Lernprozess selbstständig zu gestalten. Dieses Modell ist aber sicher nicht in allen Online-Lernumgebungen gewünscht. Für Lehrende und Lerner ergeben sich aus der Gestaltung bzw. Verwendung von digitalen Lernressourcen in computergestützten Lernumgebungen (abhängig von der konkreten Ausgestaltung des Lernsystems) verschiedene Anforderungen hinsichtlich Qualität, 4 Erleichtert werden der Austausch und die Wiederverwendung von Lernressourcen durch Standards wie SCORM oder LOM. Zudem existieren Repositories für Lernressourcen wie z. B. http://www.merlot.org. Vollständigkeit, Relevanz und Wirkung von Lernressourcen. In Tabelle 1 fassen wir die verschiedenen Aspekte zusammen und leiten konkrete funktionale Anforderungen an ein Learning-Analytics-Werkzeug ab.
Aspekt Qualität Vollständigkeit Wirkung Relevanz
Adressaten Lehrende Lehrende Lehrende Lerner Lerner
Anforderung Analyse und Bewertung des Inhalts von Lernressourcen in Abhängigkeit von definierten Lernzielen Analyse und Bewertung der Vernetzung und inhaltlichen Dependenzen zwischen Lernressourcen Analyse von Lernfortschritten der Lerners in Abhängigkeit von verwendeten Lernressourcen Analyse von Lernressourcen in Abhängigkeit individueller Bedürfnisse Qualität: Der Lehrende muss in der Lage sein, Lernressourcen hinsichtlich ihrer qualitativen Eignung zum Erreichen der definierten Lernziele zu bewerten. Dies bezieht sich vor allem auf Lernressourcen, die nicht vom Lehrenden erstellt wurden, sondern z. B. aus Repositories stammen oder von Lernern erstellt wurden. Hierbei ist es wichtig, dass der Lehrende durch das Werkzeug darin unterstützt wird, einzuschätzen, wie die Lernressource inhaltlich und qualitativ zu den Lernzielen passt. Hier besteht einerseits die Möglichkeit, die Anzahl der Interaktionen zwischen Lernern und Ressource als Indikator für dessen Güte zu nutzen, andererseits kann auch die Beurteilung direkt durch die Lerner (z. B. über ein Bewertungssystem) eine sinnvolle Information für den Lehrenden sein.
Vollständigkeit: Außerdem muss der Lehrende erkennen können, ob die zur Verfügung gestellten Lernressourcen vollständig sind. Dies erfordert die inhaltliche Analyse der zur Verfügung stehenden Ressourcen unter Berücksichtigung von Lernzielen. Unvollständigkeit ist dabei charakterisiert durch Lernziele, die nicht oder nur unzureichend durch die vorhandenen Lernressourcen erreicht werden können.
Wirkung: Sowohl Lehrende als auch Lerner benötigen außerdem die Möglichkeit, Lerneraktivitäten in Zusammenhang mit Lernressourcen hinsichtlich Lernfortschritten beurteilen zu können. Dazu besteht z. B. die Möglichkeit, Lerner miteinander zu vergleichen und daraus die Leistung des Einzelnen abzuleiten. Auch ist es möglich, den Ist-Zustand also den Fortschritt während des Lernens - mit einem (zuvor definierten) Soll-Zustands zu vergleichen. Beispielsweise könnte der Lösungsversuch eines Lerners zu einem gegebenen Problem mit einer Musterlösung auf qualitativer Ebene verglichen werden. Dabei könnten zudem weitere (quantitative) Faktoren wie z. B. die Anzahl der benötigten Versuche berücksichtigt werden.
Relevanz: Die Relevanz von Lernressourcen für Lerner ergibt sich aus den individuellen Lernzielen und deren Wissensständen. Lerner müssen daher in der Lage sein, die AusRessourcenorientierte Visualisierungen als
Learning-Analytics-Werkzeuge für Lehrende und Lerner 95 wahl von Lernressourcen entsprechend ihrer individuellen Bedürfnisse unter Berücksichtigung verschiedener Parameter anpassen zu können.
Im folgenden Abschnitt beschreiben wir die prototypische Implementierung des Konzepts. Dabei diskutieren wir die Anforderungen und deren konkrete technische Umsetzung. 4
Das in Abschnitt 3 beschriebene Konzept für ein ressourcenorientiertes LearningAnalytics- Werkzeug haben wir prototypisch implementiert und in einem web-basierten Lernsystem für die Java-Programmierung eingesetzt. Das Lernsystem stellt seinen Nutzern verschiedene Lernressourcen bereit: gegenwärtig sind dies 39 Programmieraufgaben5, 4 Quiz6 und 12 Multiple-Choice-Tests7, die von mehreren erfahrenen JavaProgrammierern erstellt wurden, sowie 25 Videotutorials, die auf Youtube gefunden und wiederverwendet wurden. Zu jeder Ressource wurde ein Satz von Begriffen (sogenannte Tag Sets) erstellt, die den Inhalt der jeweiligen Ressource beschreiben. Basierend auf diesen Tag Sets wurden anschließend Ähnlichkeiten zwischen Ressourcen ermittelt. Die verwendete Metrik berücksichtigt dabei sowohl explizite als auch implizite Ähnlichkeiten8 zwischen Tags [ZNQZ11].
Das Werkzeug visualisiert Lernressourcen und deren logischen und semantischen Beziehungen zueinander in einer interaktiven Darstellung. Die Darstellung basiert auf der JavaScript Bibliothek D3.js [BOH11] und nutzt ein Force-directed Layout, um semantische Beziehungen (basierend auf den zuvor berechneten semantischen Ähnlichkeiten) zwischen Ressourcen zu simulieren. Die semantischen Ähnlichkeiten wurden zudem genutzt, um Mengen ähnlicher Ressourcen zu identifizieren und visuell in Strukturen abzubilden. 5 Zu jeder Programmieraufgabe wurde eine mehrschrittige Musterlösung erstellt. 6 Ein Quiz enthält ein Java-Programm und Fragen zu dessen Verhalten. 7 Ein Multiple-Choice-Test enthält eine oder mehrere Fragen zu einem Konzept in Java (z. B. Rekursion). 8 Eine explizite Ähnlichkeit ergibt sich daraus, ob zwei Tags identisch sind. Eine implizite Ähnlichkeit von zwei Tags leitet sich aus der Beziehung zwischen Paaren von Tags ab und ermöglicht, eine Ähnlichkeit auch zwischen solchen Tags festzustellen, die zwar nicht identisch sind, aber (häufig) gemeinsam in Paaren auftreten. Abb. 1: Ressourcenorientierte Visualisierung: Knoten symbolisieren Lernressourcen, Kanten stellen logische Beziehungen zwischen Ressourcen dar.
Dazu wurde der Clustering-Algorithmus Relational Neural Gas [HH07] genutzt, um Lernressourcen in Cluster9 zu gruppieren. In Abb. 1 ist der Datensatz aus dem Lernsystem dargestellt. Semantische Cluster sind farbig hinterlegt. Logische Beziehungen, die sich aus Abhängigkeiten zwischen Ressourcen ergeben, sind in der Abbildung als durchgezogene Linien dargestellt. Solche Abhängigkeiten leiten sich z. B. aus der Modellierung von Ressourcen (ein Quiz/Test kann aus mehreren (wiederverwendbaren) Fragen bestehen, oder zu einer Programmieraufgabe können eine oder mehrere Musterlösungen existieren) bzw. aus ihrer Verwendung (ein Lerner kann zu einer gegebenen Programmieraufgabe eigene Lösungen z. B. in Form von Programmcode erstellen) ab. Semantische Beziehungen sind aus Gründen der Übersichtlichkeit nicht visuell dargestellt. 9 Die Lernressourcen sind Teil eines Online-Kurs, der in 11 Themenbereiche (z. B. Wiederholungsanweisungen) gegliedert ist. Daher wurde die Anzahl der Cluster auf 11 gesetzt. Die daraus resultierende Zuordnung von Lernressource zu Cluster bildet dabei nicht exakt die Zuordnung von Lernressource zu Themenbereich des Online-Kurses ab (ein Cluster bleibt z. B. leer, so dass effektiv nur 10 Cluster dargestellt werden).
Ressourcenorientierte Visualisierungen als
Learning-Analytics-Werkzeuge für Lehrende und Lerner 97
Abb. 2: Dialogbasierte Interaktion zwischen Nutzern und Ressourcen Das Werkzeug ermöglicht es dem Nutzer mit den Ressourcen zu interagieren. Es kann direkt auf deren Inhalte zugegriffen werden; zudem besteht für Lerner und Lehrende die Möglichkeit, Metadaten abzurufen bzw. zu ergänzen. Als Metadaten stehen neben Art der Ressource außerdem die Anzahl der Zugriffe, Bewertungen durch Lerner10 und zugeordnete Tags zur Verfügung. Über einen Dialog (dargestellt in Abb. 2) kann ein Nutzer auf die Metadaten zugreifen und neue Bewertungen oder Tags hinzufügen. Das Werkzeug ist hinsichtlich der Darstellung adaptiv und anpassbar. Es hebt Ressourcen, die vom jeweiligen Nutzer erstellt bzw. bereits verwendet wurden, hervor. Die Metadaten bilden die Grundlage für verschiedene Filtermöglichkeiten, über die der Nutzer gezielt Ressourcen ein- bzw. ausblenden kann: Ressourcen können abhängig von deren Art, Qualität und Inhalt (beschrieben durch deren zugeordnete Tags) gefiltert werden: Ein Nutzer kann sich durch gezielte Filterung z. B. nur als gut bewertete Videotutorials zum Thema „Rekursion“ anzeigen lassen. Des Weiteren kann die Anordnung der Ressourcen und der semantischen Cluster durch den Nutzer individuell angepasst werden, um Ressourcen (z. B. durch Verschieben) nach eigenen Bedürfnissen anzuordnen. Der Nutzer kann neue Ressourcen hinzufügen und mit anderen Nutzern teilen: Lerner können direkt im Lernsystem Programmieraufgaben bearbeiten und eigene Programme schreiben. Diese Programme kö nnen anschließend freigegeben und mit anderen Lernern geteilt werden, die wiederum auf diese Programme zugreifen und Kommentare (um den Ersteller z. B. auf mögliche Fehler hinzuweisen) verfassen können. Sämtliche Programme (Programme der Lerner und Musterlösungen von Experten) zu einer Programmieraufgabe werden mithilfe einer Metrik [MGP+13], die die paarweisen Ähnlichkeiten 10 Bei Programmieraufgaben kann sowohl deren Qualität als auch deren Schwierigkeit bewertet werden. zwischen Lösungen berechnet, verglichen. Auf das Resultat dieser Vergleiche kann der Nutzer in Form einer weiteren Visualisierung (dargestellt in Abb. 3) zugreifen. In dieser Visualisierung werden die (freigegebenen) Lösungsversuche der Lerner unter Berücksichtigung ihrer Ähnlichkeit zu einer (mehrschrittigen) Musterlösung dargestellt. Abb. 3: Lösungen (dargestellt als Knoten) von Lernern und Experten zu einer Programmieraufgabe. Zwischen Knoten können logische Beziehungen existieren (dargestellt als Kanten): Auf eine Lösung können weitere (erweiterte bzw. verbesserte) Lösungen folgen. Eingefärbte Knoten stellen Schritte von Musterlösungen dar. Die Positionierung der Knoten wird über deren Ähnlichkeit zueinander berechnet; geringe Distanzen bedeuten eine hohe Ähnlichkeit zwischen den entsprechenden Lösungen. Für Lehrende bietet das Werkzeug die Möglichkeit stark bzw. schwach frequentierte sowie qualitativ hoch bzw. niedrig bewertete Ressourcen zu identifizieren und ggf. Anpassungen vorzunehmen (siehe Anforderung hinsichtlich des Aspekts Qualität in Abschnitt 3). Die inhaltliche Strukturierung von Lernressourcen basierend auf semantischen Ähnlichkeiten kann Lehrenden helfen, inhaltliche Lücken zu identifizieren und durch zusätzliche Ressourcen zu schließen (siehe Anforderung hinsichtlich des Aspekts Vollständigkeit in Abschnitt 3). Das Werkzeug erfasst und visualisiert die Aktivitäten von Lernern und deren Interaktionen mit Ressourcen. Durch den qualitativen Vergleich von Lerneraktivität mit einem zuvor definierten Soll-Zustand haben Lerner die Möglichkeit, ihre Lernfortschritte zu reflektieren; Lehrende können den Lernfortschritt aller Lerner bzw. einzelner Lerner nachvollziehen und analysieren (siehe Anforderung hinsichtlich des Aspekts Wirkung in Abschnitt 3). Außerdem können Lerner durch gezieltes Filtern die Ressourcen identifizieren, die qualitativ und thematisch für die selbst definierten Lernzielen relevant und geeignet sind (siehe Anforderung hinsichtlich des Aspekts Relevanz in Abschnitt 3). 5
In diesem Beitrag haben wir ein Konzept für ein Visualisierungswerkzeug vorgestellt, das Lehrenden und Lernern eine Unterstützung in der Gestaltung bzw. Verwendung von Lernressourcen in Online-Lernarrangements bietet. Das Konzept wurde prototypisch für eine computergestützte Lernumgebung für die Java-Programmierung implementiert. Das Ressourcenorientierte Visualisierungen als
Learning-Analytics-Werkzeuge für Lehrende und Lerner 99 entstandene Learning-Analytics-Werkzeug setzt dabei die in Abschnitt 3 erörterten funktionalen Anforderungen, die sich aus der Verwendung von Lernressourcen ergeben, durch interaktive, adaptive und adaptierbare Visualisierungen um.
Das vorgestellte Konzept (siehe Abschnitt 3) und dessen prototypische Umsetzung (siehe Abschnitt 4) bietet Potenzial für verschiedene Erweiterungen. Die Analyse von Interaktionen zwischen Lernern und Ressourcen kann genutzt werden, um sinnvolle Lernpfade zu identifizieren und um Lernern Empfehlungen für Lernressourcen zu geben. Die Gesamtanalyse von Aktivität, Lernfortschritt (z. B. hinsichtlich dem Lösen einer Programmieraufgabe) und thematischen Beziehungen von Ressourcen könnte helfen, um Kompetenzmodelle von Lernern zu berechnen und z. B. in Form eines Open Learner Models dem Lerner zur Selbstreflexion bereitzustellen. Neben technischen Weiterentwicklungen werden wir uns in unseren zukünftigen Arbeiten auch der empirischen Evaluierung des Konzepts und des Systems hinsichtlich des Nutzens für Lehrende und Lerner widmen.
[APIPCGHG14] Ángel F Agudo-Peregrina, Santiago Iglesias-Pradas, Miguel Ángel CondeGonzález und Ángel Hernández-García. Can we predict success from log data in VLEs? Classification of interactions for learning analytics and their relation with performance in VLE-supported F2F and online learning. Computers in human behavior, 31:542–550, 2014. [BOH11] Michael Bostock, Vadim Ogievetsky und Jeffrey Heer. D3: Data-Driven Documents.
IEEE Trans. Visualization & Comp. Graphics (Proc. InfoVis), 2011. [Duv11]
Erik Duval. Attention Please!: Learning Analytics for Visualization and Recommendation. In Proceedings of the 1st International Conference on Learning Analytics and Knowledge, LAK ’11, Seiten 9–17, New York, NY, USA, 2011. ACM. [FBE+13] Albrecht Fortenbacher, Liane Beuster, Margarita Elkina, Leonard Kappe, Agathe Merceron, Andreas Pursian, Sebastian Schwarzrock und Boris Wenzlaff. LeMo: A learning analytics application focussing on user path analysis and interactive visualization. In The 7th IEEE International Conference on Intelligent Data Acquisition and Advanced Computing Systems: Technology and Applications (IDAACS), Seiten 12– 14, 2013. [HH07]
Barbara Hammer und Alexander Hasenfuss. Relational Neural Gas. In Joachim Hertzberg, Michael Beetz und Roman Englert, Hrsg., KI 2007: Advances in Artificial Intelligence, Jgg. 4667 of Lecture Notes in Computer Science, Seiten 190–204.
Springer Berlin Heidelberg, 2007. [LPdlFV+12] Derick Leony, Abelardo Pardo, Luis de la Fuente Valentín, David Sánchez de Castro und Carlos Delgado Kloos. GLASS: A Learning Analytics Visualization Tool. In Proceedings of the 2Nd International Conference on Learning Analytics and Knowledge, LAK ’12, Seiten 162–163, New York, NY, USA, 2012. ACM. [SB12]
George Siemens und Ryan S. J. d. Baker. Learning Analytics and Educational Data Mining: Towards Communication and Collaboration. In Proceedings of the 2nd International Conference on Learning Analytics and Knowledge, LAK ’12, Seiten 252–254, New York, NY, USA, 2012. ACM.