Sinnhaftes Agieren durch Lernbegleiter erfordert die zeitnahe Erfassung und Interpretation relevanter Daten und Informationen. Mittels Learning Analytics soll dieser Prozess in einem Virtual Collaborative Learning-Kurs (teil-)automatisiert durchgeführt werden. Anhand eines für die Lernbegleiter erstellten Beobachtungsbogens wurden die zu beobachtenden Inhalte und die dazugehörigen, relevanten Daten identifiziert. Hierzu sind mit vier Lernbegleitern Experteninterviews geführt und die Ergebnisse inhaltsanalytisch ausgewertet worden. Es entstand ein Konzept, welches die auszuführenden Beobachtungen aufzeigt und einen Zusammenhang zu den benötigten Daten herstellt. Gleichzeitig werden Indikatoren aufgeführt, die das frühzeitige Erkennen von Problemen ermöglichen sollen. Das Ergebnis dieses Beitrags dient als Grundlage zur Implementierung von bedarfsorientierten Analysen von Lerneraktivitäten. Die kollaborative Zusammenarbeit ist ein wichtiger Bestandteil der wissensintensiven Gesellschaft [PC07]. Durch das Teilen von Wissen [Ra11] ermöglicht sie das Lösen komplexer Problemstellungen, das durch eine Einzelperson nicht erreichbar gewesen wäre [Bo37, St06, Th97]. Zur Vorbereitung auf ihre spätere berufliche Tätigkeit durchlaufen Studierende während ihrer Ausbildung häufig Kurse, in denen sie Aufgaben in Gruppen bearbeiten sollen. Immer stärker im Fokus sind hierbei vergleichbare, virtuell stattfindende Kurse [LD11] in der Form von „Network Learning“ [Si04]. Die TU Dresden führt seit 2001 sogenannte „Virtual Collaborative Learning“ (VCL) Projekte durch, in denen (inter-)nationale Kleingruppen eine komplexe, realitätsnahe Problemstellung zeitlich beschränkt lösen müssen. Hierbei stellt E-Collaboration ein Lernziel dar, welches zeitgleich zur Erreichung anderer Lernziele dient [Ba05, s. RH16]. Da die Kurscharakteristik für einen Großteil der Studierenden ungewohnt ist, treten in einigen Fällen Unsicherheiten auf, die sich zu zentralen Problemen für den Erfolg der Gruppenarbeit entwickeln können. Um die Erreichung der Lernziele zu gewährleisten, werden sie kontinuierlich durch speziell geschulte E-Tutoren begleitet. Sie dienen als Ansprechpartner für die Teilnehmer und überwachen die Gruppenprozesse, um sicherzu1 TU Dresden, Lehrstuhl für Wirtschaftsinformatik, insb. Informationsmanagement, 01062 Dresden, michel.rietze@tu-dresden.de
Learning Analytics für E-Tutoren: Konzept zur bedarfsorientierten Datenerhebung 41 stellen, dass die Aufgaben im nötigen Umfang bearbeitet, sowie vorzeitige Abbrüche frühzeitig erkannt und vermieden werden [s. RH16].
Allerdings können die E-Tutoren nur dann erfolgreich handeln, wenn sie korrekt und zeitnah intervenieren. Das hierfür notwendige Verfolgen der Gruppen(lern)aktivitäten ist jedoch herausfordernd, da die Vielzahl an Interaktionen manuell nur schwer erfassbar und interpretierbar sind. Gleichzeitig ist der, den E-Tutoren als Leitfaden zur Verfügung stehende Beobachtungsbogen zur Dokumentation des tatsächlichen Standes der Gruppenarbeit relativ umfangreich. Die Herausforderung für den E-Tutoren besteht darin, zur Erfassung aller Aktivitäten kontinuierlich alle genutzten Werkzeuge zu überblicken und die für Externe teils losgelösten Diskussionen miteinander in Verbindung zu bringen. Hierbei besteht ein zentrales Problem in der Sichtbarkeit der Aktivitäten. Einerseits ist es für den E-Tutoren derzeit nur möglich öffentliche und gruppeninterne Posts und Artikel hinsichtlich der Schreib- und Editierprozesse bzw. Kommentare zu verfolgen. Folglich bleiben private Aktivitäten (bspw. bidirektionale Chats) ebenso unberücksichtigt, wie die Information über passive Handlungen (bspw. Lesezugriffe). Andererseits wird der synchrone Teil der Gruppenarbeit aktuell auf externe Werkzeuge verlagert, die für den E-Tutoren in der Regel nicht einsehbar und – trotz Protokolle – verfolgbar sind. Learning Analytics soll das Problem der unstrukturierten und teilweise unsichtbaren Informationen adressieren und dem Lernbegleiter durch eine strukturierte Datenauswertung eine zeitnahe Intervention ermöglichen. Mit Hilfe dieser (teil-)automatisierten Auswertungen soll wertvolle Zeit gespart werden, die dann zur Verfolgung bislang vernachlässigter (externer) Aktivitäten und für die Interpretation verwendet werden kann. Die Bestrebung zur Automatisierung wird durch den Beobachtungsbogen geleitet. Die darin aufgeführten Beobachtungen stellen die gewünschten Aussagen dar, die mittels ausgewählter Analysemethoden von den Daten der Lerneraktivitäten erzielt werden sollen. Bislang wurde allerdings noch nicht explizit festgelegt, welche Daten diesen Beobachtungen zugrunde liegen. Zwar wurde der Beobachtungsbogen durch mehrere Generationen von Lernbegleitern iterativ verbessert, jedoch verblieb die Festlegung der zu berücksichtigenden Daten und die Kriterien undefiniert. Der vorliegende Beitrag fokussiert diese Lücke. 2
Das als Beispiel dienende Kursarrangement der VCL wird seit einigen Jahren umfassend mit dem Ziel untersucht, die virtuelle Zusammenarbeit bestmöglich zu realisieren. In einem übergeordneten Projekt wird erforscht, wie die Lernbegleitung optimiert werden kann. Learning Analytics stellt einen Ansatz dar, um die entstandenen Datenspuren voraggregiert verfügbar zu machen und auszuwerten. Im Ergebnis sollen die Lernbegleiter befähigt werden, zeitnah über den Status der Gruppenaktivität informiert zu sein und bedarfsgerecht intervenieren zu können. In diesem Beitrag soll ausgehend vom existierenden Beobachtungsbogen [s. Ri16a] geklärt werden, welche Daten den Analysen der einzelnen Beobachtungen zugrunde liegen. Forschungsleitend sollen nacheinander folgende Fragen (F) beantwortet werden: F1: Welche Kriterien werden für die jeweiligen Beobachtungen betrachtet? F2: Was kann als Indikator für die jeweiligen Kriterien genutzt werden? F3: In welchen Werkzeugen finden die beobachteten Aktivitäten statt? F4: Welche Daten aus den Werkzeugen sind für die Beobachtungen relevant? Einführend in das zugrundeliegende Kursarrangement wird im nächsten Kapitel die aktuelle Lehrveranstaltung vorgestellt und auf die zur Verfügung gestellte virtuelle Arbeitsplattform eingegangen. Hierbei werden die Werkzeuge und die potentiell verfügbaren Daten aufgeführt, bevor danach die Ergebnisse der Expertenbefragung vorgestellt werden. Die Erkenntnisse entstammen der Erfahrungen von vier speziell geschulten ETutoren, die bereits (mehrfach) einen Kurs begleitet hatten. Sie sollten zuerst schriftlich ihre Aktivitäten als Kriterien den Beobachtungspunkten zuordnen (F1) und deren Ausprägungen anhand von Indikatoren beschreiben (F2), sowie die beobachteten Werkzeuge der Plattform angeben (F3). Im zweiten Teil der Befragung sollten sie in teilstrukturierten Experteninterviews ihre Angaben erläutern (F1 bis F3) und konkrete Daten aus den Werkzeugen auf Relevanz (F4) beurteilen. Die Aufzeichnungen wurden transkribiert und inhaltsanalytisch ausgewertet. Die Kriterien und Indikatoren aus den Aktivitäten der E-Tutoren wurden induktiv und die beobachteten Werkzeuge und Daten deduktiv anhand einer Analyse der Plattform und der Datenbasis codiert. Schlussendlich ergibt sich ein gemischtes Vorgehen aus qualitativer (für Kriterien) wie auch quantitativer (für Daten) Inhaltsanalyse [DB16]. Abschließend werden die Ergebnisse in Zusammenhang gebracht und aufgezeigt. 3
Der betrachtete VCL-Kurs fand zwischen dem 14.04. und 29.05.16 statt. In den 6 Wochen (W1 bis W6) sollten 20 Studierende in 5 Gruppen kulturelle Differenzen mittels Critical Incident Fällen diskutieren und erarbeiten. Wochenweise wurden ihnen hierzu Aufgaben gestellt. Auf das Kennenlernen (W1), folgte die Ausarbeitung eines Gruppenvertrags (W2) und die Diskussion eines Critical Incidents (W3). Den Höhepunkt des Kurses stellte die Erarbeitung eines eigenen Critical Incidents (W4+W5) dar, welcher anschließend als Kursabschluss präsentiert wurde (W6). Wochenweise erfolgte die Reflektion und abschließend ein Self-/Peer-Assessment der Gruppenarbeit. Die Lösung der einzelnen Aufgaben forderte verschiedene Interaktionen innerhalb der voneinander getrennt arbeitenden Gruppen. Zu Beginn musste die jeweilige Aufgabenstellung analysiert werden, bevor mögliche Lösungen diskutiert und erarbeitet wurden [s. Ri16b]. Da in der betrachteten VCL-Veranstaltung mehrere Aufgaben bearbeitet werden
Learning Analytics für E-Tutoren: Konzept zur bedarfsorientierten Datenerhebung 43 mussten, wiederholt sich der Prozess der Collaboration folglich mehrmals. Weitere Unterschiede hinsichtlich der individuellen Aktivität können der ersten Zeile in Abb. 1 entnommen werden.
Entsprechend des Kurstitels soll die Gruppenarbeit (vorrangig) virtuell stattfinden. Hierzu wurde die Social Software-Plattform elgg mit verschiedenen in Abb. 1 in der linken Spalte aufgeführten Werkzeugen zur gruppeninternen Arbeit bereitgestellt. Als zusätzliche Funktionalitäten existierten Likes, Tags und Erwähnungen von Nutzern. Weiterhin wurde für Videokonferenzen AdobeConnect im Rahmen der DFN Lizenzierung freigegeben. Aufgrund einzelner funktionaler Schwächen und teils aus pragmatischen Gründen wichen die Teilnehmer jedoch auch auf externe Werkzeuge (u.a. Skype, Whatsapp, GoogleDocs) aus oder trafen sich persönlich. Allerdings war es außerhalb von elgg nötig die Aktivitäten zu protokollieren und wöchentlich den Fortschritt der Gruppenarbeit zu reflektieren. Wurden Protokolle erstellt, so liefern diese einen Einblick in die stattgefundenen Aktivitäten. Da sie jedoch nicht als Wortprotokolle anzufertigen sind, können Details kaum nachvollzogen werden. Zwar sind Teilnehmer, Zeitpunkt, Themen und Entscheidungen festgehalten, aber die Details zur Diskussionsbeteiligung und Argumentation fehlen bspw. ebenso wie Informationen zu eventuell zusätzlich genutzten Werkzeugen oder verspätet hinzugestoßenen Teilnehmern. Die Informationen aus Protokollen sind in Abb. 1 folglich mit „teilweise vorhanden“ markiert.
Somit entstand während der Bearbeitungszeit eine potentielle Datenbasis, die in Abb. 1 aufgeführt ist. In der Datenbasis sind Daten aus elgg, dem Webserver und zusätzlichen Quellen (Protokollen, Reflektionen) enthalten. Für die nachfolgende Tab. 1 sind die Werkzeuge mit Buchstaben und die Aktivitäten mit Zahlen codiert.
Abb. 1: Verfügbarkeit von Aktivitätsdaten je Werkzeug Diese Übersicht stellt die Grundlage für die durchgeführten Interviews dar. Im folgenden Abschnitt werden die Werkzeuge (Spalte links) den zu tätigenden Beobachtungen zugeordnet, bevor die dazugehörigen, relevanten Daten aus den Lerneraktivitäten (Zeile oben) extrahiert werden.
Für die E-Tutoren existiert ein Beobachtungsbogen, welcher den Erreichungsgrad des Lernziels „Collaboration“ anhand von 40 Beobachtungspunkten bestimmt und von denen 21 als dringlich zu automatisieren priorisiert wurden [Ri16a]. Die Befragungen der E-Tutoren griff diese auf und erhob die hiermit einhergehenden Beobachtungskriterien (F1), mögliche „Frühwarn“-Indikatoren für Abweichungen (F2) und die Werkzeuge in denen die beobachteten Aktivitäten stattfinden (F3). Die Ergebnisse einer schriftlichen Vor-Abfrage wurden in einem sich anschließenden teilstrukturierten Interview erläutert und abschließend die relevanten (Meta-)Daten vertieft (F4). Die Ergebnisse sind in Tab.1 dargestellt, wobei in der linken Spalte zuerst der Titel der Beobachtung, danach die Kriterien und abschließend die Indikatoren aufgeführt sind. Ein [+] kennzeichnet Indikatoren, deren Nichterreichen negativ gewertet wird. Demgegenüber markiert ein [-] negative Indikatoren, deren Erreichen kritisch ist.
Die rechten Spalten greifen die Übersicht aus Abb.1 auf und bilden die Nennungen der Werkzeuge zeilenweise und der Daten spaltenweise ab. Wurden Aussagen nur vereinzelt (≤ 2 E-Tutoren) genannt, so repräsentiert dies ein einfaches Häkchen (). Erwähnte die Mehrheit (> 2 E-Tutoren) die jeweiligen (Meta-)Daten, so ist das Häkchen zur Verdeutlichung der objektiven Relevanz umrandet (). Die Felder ohne Nennung bleiben leer. Beobachtung 1. Ist der Teilnehmer auch asynchron aktiv? C Quantität (Anzahl und Länge) der Beiträge, N nachgeordnet die Qualität; Regelmäßigkeit; B frühzeitige Aufgabenbearbeitung F [-] 3Tage keine Aktivität (trotz Nachfrage); we- V niger als 50% der Aktivität anderer Gruppenmit- W glieder A D S 2. Ist die Kommunikation regelmäßig und trans- N parent? B Regelmäßig… Gibt es zeitnahe und selbstständi- F ge Aktivitäten eines Nutzers?; Transparent… V Sind die Kommentare logisch und beziehen sich W aufeinander? Gibt es argumentative Brüche oder A Widersprüche? Gibt es Meldungen zum Status D der Bearbeitung? S [+] Werden Posts beantwortet? Sprechen sich G (Meta-)Daten 1 2 3 4 5 6 7 8 9 10 11 12
Learning Analytics für E-Tutoren: Konzept zur bedarfsorientierten Datenerhebung 45 die Gruppenmitglieder gegenseitig an? Greifen Folgeposts die genutzten Begriffe/Wörter auf? [-] keine/viele Aktivitäten in der Gruppe; Beiträge/Termine werden nicht gelesen 3. Werden alle Aufgaben vollständig bearbeitet? B Überprüfen des finalen Dokuments auf Vollstän- F digkeit der (Teil-)Aufgaben. V [-] Ableitung von Teilaufgaben fehlt; keine Fris- W ten/ Zuständigkeiten festgelegt; (interne) Fristen D nicht eingehalten; (Teil-)Aufgaben fehlen S 4. Werden Teilaufgaben transparent abgeleitet? B Sind Teilaufgaben mit Fristen und leistbaren F Zuständigkeiten abgeleitet worden? V [-] keine Aufteilung binnen 2 Tagen nach Aufga- W benstellung; konstant niedrige Aktivität nach 2 D Tagen nach Aufgabenstellung; Zuständigkeit S einer einzelnen Person für komplexere Aufgaben 5. Ermuntert und motiviert der Teilnehmer ande- B re zur Arbeit? F Gibt es positives Feedback (z.B. „Anfeuern“) V oder bieten sie sich gegenseitige Hilfe an (zu- A meist via Projektmanager)? L [-] weniger als 75% individuelle Aktivität im D Gruppendurchschnitt S 6. Übernimmt der Teilnehmer selbstständig zusätzliche Aufgaben? Wird Hilfe proaktiv/auf Nachfrage angeboten? [-] dauerhaft geringe Aktivität; Hilfegesuche/ Nachfragen bleiben ungelesen/unbeantwortet [-] Ist ein Teilnehmer noch 2 Tage vor der Frist ohne Aktivität? Gibt es einen Tag vor der Frist ein Hilfegesuch/ eine Verzögerungsmeldung? 8. Sind die Aktivitäten des Teilnehmers sinnvoll, B um das Gesamtziel zu erreichen? F Sind die Kommentare konstruktiv/ destruktiv? V Gibt es gegenseitige Vorschläge? Werden Inhalte W begründet und reflektiert? Werden Ergebnisse A zusammengefasst und strukturiert? L [-] fehlende Koordination/Abstimmung in Grup- D pen; Mehrfacharbeiten; fehlender Bezug unterei- S nander; sehr kurze Reaktionszeiten R 9.Laufen Entscheidungsprozesse strukturiert ab? B Wurden im Gruppenvertrag Routinen und Pro- F zesse festgelegt (z.B. Entscheidungsfindung, V regelmäßige Treffen, feste Abfolge von Prozess- W schritten)? Sind synchrone Treffen strukturiert? A [-] Vorgaben im Gruppenvertrag fehlen; Unzu- D friedenheit im Reflexionsbogen/ in den Kommen- S taren; fehlende Agenda in Meetings; kurze Zeit G verbleibt bis zur Frist R 10. Falls es Krisen oder Probleme gab: welche C Auswirkungen hatten sie? N Vergleich der Gruppenaktivitäten zwischen zwei B Zeitpunkten hinsichtlich Intensität und Stimmung F [-] Sinkt die Gruppenperformanz/-aktivität im V Vergleich zu vor der Krise dauerhaft ab? W A L D S R 11. Falls es Krisen oder Probleme gab: wurden C sie diskutiert und gelöst? N Versuchen Mitglieder andere Mitglieder auf B Probleme (z.B. Passivität) anzusprechen? F [+] Gibt es einen signifikanten Anstieg in der V bilateralen Aktivität/ Gruppeninteraktion binnen W kürzester Zeit? Werden einzelne Namen häufig D genannt? Ist die Kommunikation angespannt S (Großschreibung, Ausrufezeichen, Aussagen)? R 12. Falls es Krisen oder Probleme gab: welche C
Learning Analytics für E-Tutoren: Konzept zur bedarfsorientierten Datenerhebung 47 Ursachen hatten sie? N Welche Aktivität eines Teilnehmers war unzu- B reichend und der Grund für den Konflikt? F [-] Gibt es Hinweise durch Gruppenmitglieder? V Ist die Aktivität zu gering? Werden Fristen (Ab- W gabe/Meetings) verpasst? Werden Diskussionen A einseitig geführt oder bleiben ohne Antworten D Einzelner? Bleiben Kontaktversuche unbeant- S wortet? G 13. Ist die Auswahl der Werkzeuge sinnvoll? C Sind die im Gruppenvertrag gewählten Werkzeu- N ge den Aufgaben angemessen? Wird die Platt- B form genutzt oder auf externe Werkzeuge ausge- F wichen? Findet die Teamarbeit kollaborativ oder V kooperativ statt? Werden alle Potenziale eines W Werkzeugs genutzt? Ist Aufwand und Nutzen bei A der Wahl von synchronen/ asynchronen/ kollaborativen Werkzeugen angemessen? L P [-] Fehlt die Festlegung der zu nutzenden Werkzeuge im Gruppenvertrag? Ist die Gruppenaktivi- D tät unter dem Durchschnitt anderer Gruppen? S Gibt es viele oder lange asynchrone Kommentie- G rungen? Werden asynchrone Tools trotz Dringlichkeit genutzt? Werden Diskussionen zu einem Thema an mehreren Stellen geführt? Gibt es viele Uploads anstatt die Nutzung von Wikis? 14. Werden Fristen eingehalten? F Werden (Teil-)Aufgaben in den vorgegebenen A und selbstgesetzten Zeiträumen abgearbeitet? D [+] Externe Frist… befindet sich das Ergebnis S zum Zeitpunkt X an der vorgegebenen Stelle? G Interne Frist… Hat der Projektmanager einen internen Zeitplan für die Teilaufgaben erstellt? Hat Person X ihre dazugehörige (Teil-)Aufgabe laut interner Frist bereitgestellt? 15. Wird der Umfang eingehalten? B Passt der Umfang (Wort-/Zeichen-/Seitenzahl, F Dateigröße, Dateiformat, Satz/ Stichpunkte)? Ist V die Antwort der Aufgabenstellung angemessen D (inhaltlich/ strukturell vollständig)? S [+] Anzahl der Wörter passt (+/-10%); Werden Definition kurzgefasst? Werden Diskussionen lang/ausführlich gefasst? [-] geringe Aktivität einer Person; wurden Aufgaben durch Gruppenmitglieder übernommen? 16. Ist der Gruppenvertrag ausführlich und B schlüssig beschrieben? F Ausführlich… deckt alle Möglichkeiten und V Eventualitäten der Gruppenarbeit ab und struk- L turiert sie (verbindlich) vor (z.B. regelmäßige/ geplante Abwesenheiten); alle Kernpunkte aus D dem Template wurden beschrieben (Abwesenhei- S ten, Entscheidungsfindung); Schlüssig… logisch/ G verständlich/ lesbar [-] einzelne Punkte im Gruppenvertrag fehlen oder sind zu kurz beschrieben 17. Ist die Ausarbeitung ansprechend formatiert? B Entspricht es den formellen Anforderungen (un- F veränderliches Dateiformat, Rechtschreibung, V einheitliche/ aussagekräftige Formatierung; D Abbildungen)? Entspricht es den inhaltlichen Anforderungen (Strukturierung lt. Aufgabenstel- S lung; Verarbeitung von Ergebnissen aus Kommunikationsprozessen)? [+] Abgabe als PDF; Struktur gemäß Aufgabe 18. Ist die Ausarbeitung übersichtlich dokumen- B tiert? F Wird die Lesbarkeit gewährleistet? Ist der Text W schnell zu erfassen? Ist es inhaltlich stimmig und D vollständig? Geht aus dem Protokoll hervor, wer da war und welchen Beitrag geleistet hat? [+] Gibt es eine Gliederung, Formatierung, Absätze/ Listen anstelle Fließtext, Dokumentenkopf, Überschriften, Zusammenfassung? 19. Werden fundierte Quellen verwendet? B Werden Ergebnisse mit Quellen argumentiert/ F begründet? Passen diese Quellen zum Themen- D bereich der Aufgabenstellung? Sind die Quellen S wissenschaftlich angemessen? [+] Sind empfohlene Quellen aus der Aufgaben- G stellung vorhanden? Wurden Internetquellen selten/ mind. 2 Quellen pro Seite verwendet? 20. Ist die Lösung qualitativ hochwertig? B Ist das Dokument einheitlich strukturiert/ forma- F tiert? Wurde passende Literatur gewählt? Wur- V den Ideen aller Teilnehmer berücksichtigt und D deren Auswahl logisch argumentiert? Erhöhen die verwendeten Grafiken die Verständlichkeit? S [+] Sind Grafiken/Abbildungen vorhanden? G 21. Passt die Lösung zur Aufgabenstellung? B Extern… das Ergebnis beantwortet alle Teile der F Aufgabenstellung; Intern… bearbeitet das D Teammitglied die ihm zugewiesenen Aufgaben S [S+in]dGailblet e(TseRilü-c)AkfurfaggaebnenzuvroArhuafgnadbeenn?stellung? G In einigen Punkten ist zu sehen, dass (partielle) Einigkeit zwischen den E-Tutoren hinsichtlich der relevanten Daten herrscht (insb. 1, 2, 7, 8, 11-13). Allerdings variieren in der Mehrzahl der Angaben die Erfahrungen zu den genutzten Werkzeugen (z.B. 3, 4, 6, 15-21). Die Unterschiede resultieren daher, dass einige Gruppen bspw. nicht zwischen Foren und kommentierten Blogs differenziert haben bzw. alternativ auf WhatsApp umgestiegen sind. Ebenso haben einige Gruppen die Protokolle der externen, synchronen Treffen als Datei hochgeladen, während andere die Kalendertermine hierfür kommentiert oder nur einen Blogpost erstellt haben. Gleichzeitig muss hinterfragt werden, warum das „Aufgaben“-Werkzeug weder in 3, 4 noch 6 genannt wird, da es hierfür existiert. Um eine höher automatisierte Auswertung zu realisieren, wäre eine Festlegung der für bestimmte Aktivitäten zu nutzenden Werkzeuge hilfreich oder sogar nötig. Als Datengrundlage für eine Implementierung spiegelt die Befragung derzeit ausschließlich die manuell getätigten Beobachtungen und folglich die hierfür verfügbaren Daten wider. Da Daten zu Änderungen, Löschungen von Inhalten oder zum Lesen, wie auch bilaterale Chats und Nachrichten bislang nicht einsehbar sind, spielen sie bei der manuellen Beobachtung nur eine untergeordnete Rolle. Für zukünftige, automatisierte Analysen sollte deren Relevanz dennoch untersucht werden, denn hierdurch können Sachverhalte besser verstanden und Interventionen besser abgestimmt werden. Beispielsweise kann ein Teilnehmer passiv sein und nur die Beiträge verfolgen, sich jedoch nicht trauen selbst zu posten. Oder er ist zurückhaltend und trägt dadurch wenige, jedoch hochqualitative Hinweise bei. Hier unterscheiden sich Interventionsstrategien erheblich von einem vollständig inaktiven Teilnehmer. Während der passive Teilnehmer den Willen zur Teilnahme zeigt und ggf. nur ermutigt werden muss, bleibt dem inaktiven Teilnehmer nur eine grundsätzliche Entscheidung zu erhöhter Aktivität oder gänzlichem Ausstieg. Ebenso sollte geklärt werden, ob zur Ursachenforschung eines Konfliktes nicht doch Informationen über (nicht) gelesene und somit (nicht) berücksichtigte Beiträge hilfreich sein könnten. Gleichzeitig wäre vorstellbar, dass die Vollständigkeit und Menge der gelesenen Beiträge Qualitätsindikatoren für das Ergebnis sind, denn nur so können Ideen aufgegriffen und weiterentwickelt werden. Folglich sollte hinterfragt werden, ob die wenigen angegebenen Informationsbedarfe zu Lese-, Chat- oder Nachrichten-Aktivitäten nicht doch eine höhere Relevanz haben als angegeben.
Abschließend soll nun noch der Zusammenhang zwischen den einzelnen Beobachtungen diskutiert werden, da einige Indikatoren mehrmals vorkommen. Hierzu zählen Informationen über die Aktivität, wie z.B. der Vergleich zwischen Individuen (1, 5-7, 12, 15) oder Gruppen (2, 6, 7, 12, 13), hinsichtlich eines Zeitraumes (2, 8, 10, 11) oder festgelegten Zeitpunktes (1, 4, 7). Ähnlich häufig benötigt werden die Informationen, ob Fristen eingehalten werden (3, 7, 12, 14), strukturierende Elemente vorhanden sind (7, 17, 18), der Umfang zur Aufgabenstellung passt (7, 15, 16) und die Aufgabe vollständig bearbeitet wurde (3, 16, 21). Eine Erhebung dieser Daten würde zeitgleich Informationen für mehrere Beobachtungen liefern und sollte daher priorisiert implementiert werden. Die Übersicht zeigt die komplexen Zusammenhänge zwischen dem existenten Beobachtungsbogen und den verfügbaren Daten, welche die Lernenden bei ihren Aktivitäten auf der Plattform produzieren. Gleichzeitig deuten die Kriterien an, wie die Auswertung der Daten erfolgen kann. Die Indikatoren zeigen hierzu kritische Situationen auf, die einer zeitnahen Alarmierung bedürfen. Mit der Übersicht der zu tätigenden Beobachtungen und den hierbei zu berücksichtigenden Daten ist mit diesem Beitrag das Fundament eines umfassenden Konzepts für Learning Analytics für mit der VCL vergleichbare Kursarrangements erarbeitet worden. Hierauf basierend gilt es nun einen ersten Prototyp zu implementieren und praktisch zu erproben. 4
Im Rahmen dieses Beitrags wurde untersucht, wie Learning Analytics die Lernbegleiter unterstützen kann. Hierzu wurden Zusammenhänge zwischen dem zur Verfügung stehenden Beobachtungsbogen, den Lerneraktivitäten und den genutzten Werkzeugen hinsichtlich zu berücksichtigender Daten hergestellt. Es wurden Interviews mit den E-Tutoren der aktuellen Lehrveranstaltung durchgeführt, im Anschluss transkribiert, sowie inhaltsanalytisch ausgewertet.
Auch wenn die inhaltsanalytische Auswertung der erhobenen Daten durch einen zweiten Codierer bislang noch aussteht und somit personenbezogene Verzerrungen der Codierungen nicht auszuschließen sind, tragen die Ergebnisse – auch E-Tutoren-übergreifend – für zukünftig objektivere Beobachtungen bei. Ebenso müssen die gewonnenen Erkenntnisse noch durch die E-Tutoren evaluiert werden, da vor allem die Trennschärfe zwischen den Beobachtungen nicht immer erkennbar war.
Gleichzeitig bildet das Ergebnis als ein Konzept die Ausgangsbasis zur Implementierung von Learning Analytics. Weiterer Forschungsbedarf liegt nun in der Identifikation passfähiger Analysemethoden, um die Daten so aufzubereiten, dass sie die gewünschten Informationen liefern. Außerdem sollten die Daten der genutzten, externen Werkzeuge, integriert werden, um die bestehende Datenbasis mit hilfreichen Daten zu erweitern.
Learning Analytics für E-Tutoren: Konzept zur bedarfsorientierten Datenerhebung Eventueller Änderungsbedarf, insbesondere hinsichtlich bislang vernachlässigter Daten, sollte bei der Evaluation erhoben werden, um deren Potenziale durch die automatisierte Verarbeitung zu erschließen. Zusammen mit den Erkenntnissen der Evaluation eines implementierten Analysewerkzeugs kann das vorliegende Konzept überarbeitet und um relevante Daten für zukünftige Analysen ergänzt werden.
Literaturverzeichnis [Ba05] [Bo37] [DB16] [LD11] [PC07] [Ra11] [RH16] [Ri16a] [Ri16b] [Si04] [St06]
Balázs, I.: Konzeption von Virtual Collaborative Learning Projekten. Ein Vorgehen zur systematischen Entscheidungsfindung. Dissertation, Dresden, 2005.