=Paper=
{{Paper
|id=Vol-1669/WS1_4_100_Paper
|storemode=property
|title=Learning Analytics für E-Tutoren: Konzept zur bedarfsorientierten Datenerhebung
|pdfUrl=https://ceur-ws.org/Vol-1669/WS1_4_100_Paper.pdf
|volume=Vol-1669
|authors=Michel Rietze
|dblpUrl=https://dblp.org/rec/conf/delfi/Rietze16
}}
==Learning Analytics für E-Tutoren: Konzept zur bedarfsorientierten Datenerhebung==
https://ceur-ws.org/Vol-1669/WS1_4_100_Paper.pdf
Raphael Zender (Hrsg.): Proceedings of DeLFI Workshops 2016
co-located with 14th e-Learning Conference of the German Computer Society (DeLFI 2016)
Potsdam, Germany, September 11, 2016 40
Learning Analytics für E-Tutoren: Konzept zur bedarfsori-
entierten Datenerhebung
Michel Rietze1
Abstract: Sinnhaftes Agieren durch Lernbegleiter erfordert die zeitnahe Erfassung und Interpreta-
tion relevanter Daten und Informationen. Mittels Learning Analytics soll dieser Prozess in einem
Virtual Collaborative Learning-Kurs (teil-)automatisiert durchgeführt werden. Anhand eines für
die Lernbegleiter erstellten Beobachtungsbogens wurden die zu beobachtenden Inhalte und die
dazugehörigen, relevanten Daten identifiziert. Hierzu sind mit vier Lernbegleitern Experteninter-
views geführt und die Ergebnisse inhaltsanalytisch ausgewertet worden. Es entstand ein Konzept,
welches die auszuführenden Beobachtungen aufzeigt und einen Zusammenhang zu den benötigten
Daten herstellt. Gleichzeitig werden Indikatoren aufgeführt, die das frühzeitige Erkennen von
Problemen ermöglichen sollen. Das Ergebnis dieses Beitrags dient als Grundlage zur Implementie-
rung von bedarfsorientierten Analysen von Lerneraktivitäten.
Keywords: Learning Analytics, E-Collaboration, Virtual Collaborative Learning, E-Tutoren
1 Einleitung
Die kollaborative Zusammenarbeit ist ein wichtiger Bestandteil der wissensintensiven
Gesellschaft [PC07]. Durch das Teilen von Wissen [Ra11] ermöglicht sie das Lösen
komplexer Problemstellungen, das durch eine Einzelperson nicht erreichbar gewesen
wäre [Bo37, St06, Th97]. Zur Vorbereitung auf ihre spätere berufliche Tätigkeit durch-
laufen Studierende während ihrer Ausbildung häufig Kurse, in denen sie Aufgaben in
Gruppen bearbeiten sollen. Immer stärker im Fokus sind hierbei vergleichbare, virtuell
stattfindende Kurse [LD11] in der Form von „Network Learning“ [Si04].
Die TU Dresden führt seit 2001 sogenannte „Virtual Collaborative Learning“ (VCL)
Projekte durch, in denen (inter-)nationale Kleingruppen eine komplexe, realitätsnahe
Problemstellung zeitlich beschränkt lösen müssen. Hierbei stellt E-Collaboration ein
Lernziel dar, welches zeitgleich zur Erreichung anderer Lernziele dient [Ba05, s. RH16].
Da die Kurscharakteristik für einen Großteil der Studierenden ungewohnt ist, treten in
einigen Fällen Unsicherheiten auf, die sich zu zentralen Problemen für den Erfolg der
Gruppenarbeit entwickeln können. Um die Erreichung der Lernziele zu gewährleisten,
werden sie kontinuierlich durch speziell geschulte E-Tutoren begleitet. Sie dienen als
Ansprechpartner für die Teilnehmer und überwachen die Gruppenprozesse, um sicherzu-
1
TU Dresden, Lehrstuhl für Wirtschaftsinformatik, insb. Informationsmanagement, 01062 Dresden, mi-
chel.rietze@tu-dresden.de
Learning Analytics für E-Tutoren: Konzept zur bedarfsorientierten Datenerhebung 41
stellen, dass die Aufgaben im nötigen Umfang bearbeitet, sowie vorzeitige Abbrüche
frühzeitig erkannt und vermieden werden [s. RH16].
Allerdings können die E-Tutoren nur dann erfolgreich handeln, wenn sie korrekt und
zeitnah intervenieren. Das hierfür notwendige Verfolgen der Gruppen(lern)aktivitäten ist
jedoch herausfordernd, da die Vielzahl an Interaktionen manuell nur schwer erfassbar
und interpretierbar sind. Gleichzeitig ist der, den E-Tutoren als Leitfaden zur Verfügung
stehende Beobachtungsbogen zur Dokumentation des tatsächlichen Standes der Grup-
penarbeit relativ umfangreich. Die Herausforderung für den E-Tutoren besteht darin, zur
Erfassung aller Aktivitäten kontinuierlich alle genutzten Werkzeuge zu überblicken und
die für Externe teils losgelösten Diskussionen miteinander in Verbindung zu bringen.
Hierbei besteht ein zentrales Problem in der Sichtbarkeit der Aktivitäten. Einerseits ist es
für den E-Tutoren derzeit nur möglich öffentliche und gruppeninterne Posts und Artikel
hinsichtlich der Schreib- und Editierprozesse bzw. Kommentare zu verfolgen. Folglich
bleiben private Aktivitäten (bspw. bidirektionale Chats) ebenso unberücksichtigt, wie die
Information über passive Handlungen (bspw. Lesezugriffe). Andererseits wird der syn-
chrone Teil der Gruppenarbeit aktuell auf externe Werkzeuge verlagert, die für den
E-Tutoren in der Regel nicht einsehbar und – trotz Protokolle – verfolgbar sind.
Learning Analytics soll das Problem der unstrukturierten und teilweise unsichtbaren
Informationen adressieren und dem Lernbegleiter durch eine strukturierte Datenauswer-
tung eine zeitnahe Intervention ermöglichen. Mit Hilfe dieser (teil-)automatisierten
Auswertungen soll wertvolle Zeit gespart werden, die dann zur Verfolgung bislang ver-
nachlässigter (externer) Aktivitäten und für die Interpretation verwendet werden kann.
Die Bestrebung zur Automatisierung wird durch den Beobachtungsbogen geleitet. Die
darin aufgeführten Beobachtungen stellen die gewünschten Aussagen dar, die mittels
ausgewählter Analysemethoden von den Daten der Lerneraktivitäten erzielt werden
sollen. Bislang wurde allerdings noch nicht explizit festgelegt, welche Daten diesen
Beobachtungen zugrunde liegen. Zwar wurde der Beobachtungsbogen durch mehrere
Generationen von Lernbegleitern iterativ verbessert, jedoch verblieb die Festlegung der
zu berücksichtigenden Daten und die Kriterien undefiniert. Der vorliegende Beitrag
fokussiert diese Lücke.
2 Forschungsdesign
Das als Beispiel dienende Kursarrangement der VCL wird seit einigen Jahren umfassend
mit dem Ziel untersucht, die virtuelle Zusammenarbeit bestmöglich zu realisieren. In
einem übergeordneten Projekt wird erforscht, wie die Lernbegleitung optimiert werden
kann. Learning Analytics stellt einen Ansatz dar, um die entstandenen Datenspuren vor-
aggregiert verfügbar zu machen und auszuwerten. Im Ergebnis sollen die Lernbegleiter
befähigt werden, zeitnah über den Status der Gruppenaktivität informiert zu sein und
bedarfsgerecht intervenieren zu können.
42 Michel Rietze
In diesem Beitrag soll ausgehend vom existierenden Beobachtungsbogen [s. Ri16a]
geklärt werden, welche Daten den Analysen der einzelnen Beobachtungen zugrunde
liegen. Forschungsleitend sollen nacheinander folgende Fragen (F) beantwortet werden:
F1: Welche Kriterien werden für die jeweiligen Beobachtungen betrachtet?
F2: Was kann als Indikator für die jeweiligen Kriterien genutzt werden?
F3: In welchen Werkzeugen finden die beobachteten Aktivitäten statt?
F4: Welche Daten aus den Werkzeugen sind für die Beobachtungen relevant?
Einführend in das zugrundeliegende Kursarrangement wird im nächsten Kapitel die
aktuelle Lehrveranstaltung vorgestellt und auf die zur Verfügung gestellte virtuelle Ar-
beitsplattform eingegangen. Hierbei werden die Werkzeuge und die potentiell verfügba-
ren Daten aufgeführt, bevor danach die Ergebnisse der Expertenbefragung vorgestellt
werden. Die Erkenntnisse entstammen der Erfahrungen von vier speziell geschulten E-
Tutoren, die bereits (mehrfach) einen Kurs begleitet hatten. Sie sollten zuerst schriftlich
ihre Aktivitäten als Kriterien den Beobachtungspunkten zuordnen (F1) und deren Aus-
prägungen anhand von Indikatoren beschreiben (F2), sowie die beobachteten Werkzeuge
der Plattform angeben (F3). Im zweiten Teil der Befragung sollten sie in teilstrukturier-
ten Experteninterviews ihre Angaben erläutern (F1 bis F3) und konkrete Daten aus den
Werkzeugen auf Relevanz (F4) beurteilen. Die Aufzeichnungen wurden transkribiert und
inhaltsanalytisch ausgewertet. Die Kriterien und Indikatoren aus den Aktivitäten der
E-Tutoren wurden induktiv und die beobachteten Werkzeuge und Daten deduktiv an-
hand einer Analyse der Plattform und der Datenbasis codiert. Schlussendlich ergibt sich
ein gemischtes Vorgehen aus qualitativer (für Kriterien) wie auch quantitativer (für Da-
ten) Inhaltsanalyse [DB16]. Abschließend werden die Ergebnisse in Zusammenhang
gebracht und aufgezeigt.
3 Kursverlauf
Der betrachtete VCL-Kurs fand zwischen dem 14.04. und 29.05.16 statt. In den 6 Wo-
chen (W1 bis W6) sollten 20 Studierende in 5 Gruppen kulturelle Differenzen mittels
Critical Incident Fällen diskutieren und erarbeiten. Wochenweise wurden ihnen hierzu
Aufgaben gestellt. Auf das Kennenlernen (W1), folgte die Ausarbeitung eines Gruppen-
vertrags (W2) und die Diskussion eines Critical Incidents (W3). Den Höhepunkt des
Kurses stellte die Erarbeitung eines eigenen Critical Incidents (W4+W5) dar, welcher
anschließend als Kursabschluss präsentiert wurde (W6). Wochenweise erfolgte die Re-
flektion und abschließend ein Self-/Peer-Assessment der Gruppenarbeit.
Die Lösung der einzelnen Aufgaben forderte verschiedene Interaktionen innerhalb der
voneinander getrennt arbeitenden Gruppen. Zu Beginn musste die jeweilige Aufgaben-
stellung analysiert werden, bevor mögliche Lösungen diskutiert und erarbeitet wurden [s.
Ri16b]. Da in der betrachteten VCL-Veranstaltung mehrere Aufgaben bearbeitet werden
Learning Analytics für E-Tutoren: Konzept zur bedarfsorientierten Datenerhebung 43
mussten, wiederholt sich der Prozess der Collaboration folglich mehrmals. Weitere Un-
terschiede hinsichtlich der individuellen Aktivität können der ersten Zeile in Abb. 1
entnommen werden.
Entsprechend des Kurstitels soll die Gruppenarbeit (vorrangig) virtuell stattfinden. Hier-
zu wurde die Social Software-Plattform elgg mit verschiedenen in Abb. 1 in der linken
Spalte aufgeführten Werkzeugen zur gruppeninternen Arbeit bereitgestellt. Als zusätzli-
che Funktionalitäten existierten Likes, Tags und Erwähnungen von Nutzern. Weiterhin
wurde für Videokonferenzen AdobeConnect im Rahmen der DFN Lizenzierung freige-
geben. Aufgrund einzelner funktionaler Schwächen und teils aus pragmatischen Gründen
wichen die Teilnehmer jedoch auch auf externe Werkzeuge (u.a. Skype, Whatsapp,
GoogleDocs) aus oder trafen sich persönlich. Allerdings war es außerhalb von elgg nötig
die Aktivitäten zu protokollieren und wöchentlich den Fortschritt der Gruppenarbeit zu
reflektieren. Wurden Protokolle erstellt, so liefern diese einen Einblick in die stattgefun-
denen Aktivitäten. Da sie jedoch nicht als Wortprotokolle anzufertigen sind, können
Details kaum nachvollzogen werden. Zwar sind Teilnehmer, Zeitpunkt, Themen und
Entscheidungen festgehalten, aber die Details zur Diskussionsbeteiligung und Argumen-
tation fehlen bspw. ebenso wie Informationen zu eventuell zusätzlich genutzten Werk-
zeugen oder verspätet hinzugestoßenen Teilnehmern. Die Informationen aus Protokollen
sind in Abb. 1 folglich mit „teilweise vorhanden“ markiert.
Somit entstand während der Bearbeitungszeit eine potentielle Datenbasis, die in Abb. 1
aufgeführt ist. In der Datenbasis sind Daten aus elgg, dem Webserver und zusätzlichen
Quellen (Protokollen, Reflektionen) enthalten. Für die nachfolgende Tab. 1 sind die
Werkzeuge mit Buchstaben und die Aktivitäten mit Zahlen codiert.
Abb. 1: Verfügbarkeit von Aktivitätsdaten je Werkzeug
44 Michel Rietze
Diese Übersicht stellt die Grundlage für die durchgeführten Interviews dar. Im folgenden
Abschnitt werden die Werkzeuge (Spalte links) den zu tätigenden Beobachtungen zuge-
ordnet, bevor die dazugehörigen, relevanten Daten aus den Lerneraktivitäten (Zeile
oben) extrahiert werden.
Für die E-Tutoren existiert ein Beobachtungsbogen, welcher den Erreichungsgrad des
Lernziels „Collaboration“ anhand von 40 Beobachtungspunkten bestimmt und von de-
nen 21 als dringlich zu automatisieren priorisiert wurden [Ri16a]. Die Befragungen der
E-Tutoren griff diese auf und erhob die hiermit einhergehenden Beobachtungskriterien
(F1), mögliche „Frühwarn“-Indikatoren für Abweichungen (F2) und die Werkzeuge in
denen die beobachteten Aktivitäten stattfinden (F3). Die Ergebnisse einer schriftlichen
Vor-Abfrage wurden in einem sich anschließenden teilstrukturierten Interview erläutert
und abschließend die relevanten (Meta-)Daten vertieft (F4). Die Ergebnisse sind in
Tab.1 dargestellt, wobei in der linken Spalte zuerst der Titel der Beobachtung, danach
die Kriterien und abschließend die Indikatoren aufgeführt sind. Ein [+] kennzeichnet
Indikatoren, deren Nichterreichen negativ gewertet wird. Demgegenüber markiert ein [-]
negative Indikatoren, deren Erreichen kritisch ist.
Die rechten Spalten greifen die Übersicht aus Abb.1 auf und bilden die Nennungen der
Werkzeuge zeilenweise und der Daten spaltenweise ab. Wurden Aussagen nur vereinzelt
(≤ 2 E-Tutoren) genannt, so repräsentiert dies ein einfaches Häkchen (). Erwähnte die
Mehrheit (> 2 E-Tutoren) die jeweiligen (Meta-)Daten, so ist das Häkchen zur Verdeut-
lichung der objektiven Relevanz umrandet (). Die Felder ohne Nennung bleiben leer.
Beobachtung (Meta-)Daten
1 2 3 4 5 6 7 8 9 10 11 12
1. Ist der Teilnehmer auch asynchron aktiv? C
Quantität (Anzahl und Länge) der Beiträge, N
nachgeordnet die Qualität; Regelmäßigkeit; B
frühzeitige Aufgabenbearbeitung F
[-] 3Tage keine Aktivität (trotz Nachfrage); we- V
niger als 50% der Aktivität anderer Gruppenmit- W
glieder A
D
S
2. Ist die Kommunikation regelmäßig und trans- N
parent? B
Regelmäßig… Gibt es zeitnahe und selbstständi- F
ge Aktivitäten eines Nutzers?; Transparent… V
Sind die Kommentare logisch und beziehen sich W
aufeinander? Gibt es argumentative Brüche oder A
Widersprüche? Gibt es Meldungen zum Status D
der Bearbeitung? S
[+] Werden Posts beantwortet? Sprechen sich G
Learning Analytics für E-Tutoren: Konzept zur bedarfsorientierten Datenerhebung 45
die Gruppenmitglieder gegenseitig an? Greifen
Folgeposts die genutzten Begriffe/Wörter auf?
[-] keine/viele Aktivitäten in der Gruppe; Beiträ-
ge/Termine werden nicht gelesen
3. Werden alle Aufgaben vollständig bearbeitet? B
Überprüfen des finalen Dokuments auf Vollstän- F
digkeit der (Teil-)Aufgaben. V
[-] Ableitung von Teilaufgaben fehlt; keine Fris- W
ten/ Zuständigkeiten festgelegt; (interne) Fristen D
nicht eingehalten; (Teil-)Aufgaben fehlen S
4. Werden Teilaufgaben transparent abgeleitet? B
Sind Teilaufgaben mit Fristen und leistbaren F
Zuständigkeiten abgeleitet worden? V
[-] keine Aufteilung binnen 2 Tagen nach Aufga- W
benstellung; konstant niedrige Aktivität nach 2 D
Tagen nach Aufgabenstellung; Zuständigkeit S
einer einzelnen Person für komplexere Aufgaben
5. Ermuntert und motiviert der Teilnehmer ande- B
re zur Arbeit? F
Gibt es positives Feedback (z.B. „Anfeuern“) V
oder bieten sie sich gegenseitige Hilfe an (zu- A
meist via Projektmanager)? L
[-] weniger als 75% individuelle Aktivität im D
Gruppendurchschnitt S
6. Übernimmt der Teilnehmer selbstständig zu- N
sätzliche Aufgaben? B
Wird Hilfe proaktiv/auf Nachfrage angeboten? F
[-] dauerhaft geringe Aktivität; Hilfegesuche/ V
Nachfragen bleiben ungelesen/unbeantwortet W
D
S
7. Trägt der Teilnehmer zu einem gemeinsamen, B
hochwertigen Ergebnis bei? F
Qualitativ... Sind Quellen vorhanden? Gibt es V
Begründungen? Beantwortet es die Aufgabenstel- W
lung? Gemeinsam... Gibt man sich gegenseitig A
Tipps? Verweist man aufeinander? Argumentiert D
man gegenseitig? S
[+] Mehrheit der Gruppe beteiligt? Häufige und G
regelmäßige Aktivitäten? Werden Fristen einge- R
halten? Umfang/ Struktur der Ausarbeitung?
46 Michel Rietze
[-] Ist ein Teilnehmer noch 2 Tage vor der Frist
ohne Aktivität? Gibt es einen Tag vor der Frist
ein Hilfegesuch/ eine Verzögerungsmeldung?
8. Sind die Aktivitäten des Teilnehmers sinnvoll, B
um das Gesamtziel zu erreichen? F
Sind die Kommentare konstruktiv/ destruktiv? V
Gibt es gegenseitige Vorschläge? Werden Inhalte W
begründet und reflektiert? Werden Ergebnisse A
zusammengefasst und strukturiert? L
[-] fehlende Koordination/Abstimmung in Grup- D
pen; Mehrfacharbeiten; fehlender Bezug unterei- S
nander; sehr kurze Reaktionszeiten R
9.Laufen Entscheidungsprozesse strukturiert ab? B
Wurden im Gruppenvertrag Routinen und Pro- F
zesse festgelegt (z.B. Entscheidungsfindung, V
regelmäßige Treffen, feste Abfolge von Prozess- W
schritten)? Sind synchrone Treffen strukturiert? A
[-] Vorgaben im Gruppenvertrag fehlen; Unzu- D
friedenheit im Reflexionsbogen/ in den Kommen- S
taren; fehlende Agenda in Meetings; kurze Zeit G
verbleibt bis zur Frist R
10. Falls es Krisen oder Probleme gab: welche C
Auswirkungen hatten sie? N
Vergleich der Gruppenaktivitäten zwischen zwei B
Zeitpunkten hinsichtlich Intensität und Stimmung F
[-] Sinkt die Gruppenperformanz/-aktivität im V
Vergleich zu vor der Krise dauerhaft ab? W
A
L
D
S
R
11. Falls es Krisen oder Probleme gab: wurden C
sie diskutiert und gelöst? N
Versuchen Mitglieder andere Mitglieder auf B
Probleme (z.B. Passivität) anzusprechen? F
[+] Gibt es einen signifikanten Anstieg in der V
bilateralen Aktivität/ Gruppeninteraktion binnen W
kürzester Zeit? Werden einzelne Namen häufig D
genannt? Ist die Kommunikation angespannt S
(Großschreibung, Ausrufezeichen, Aussagen)? R
12. Falls es Krisen oder Probleme gab: welche C
Learning Analytics für E-Tutoren: Konzept zur bedarfsorientierten Datenerhebung 47
Ursachen hatten sie? N
Welche Aktivität eines Teilnehmers war unzu- B
reichend und der Grund für den Konflikt? F
[-] Gibt es Hinweise durch Gruppenmitglieder? V
Ist die Aktivität zu gering? Werden Fristen (Ab- W
gabe/Meetings) verpasst? Werden Diskussionen A
einseitig geführt oder bleiben ohne Antworten D
Einzelner? Bleiben Kontaktversuche unbeant- S
wortet? G
13. Ist die Auswahl der Werkzeuge sinnvoll? C
Sind die im Gruppenvertrag gewählten Werkzeu- N
ge den Aufgaben angemessen? Wird die Platt- B
form genutzt oder auf externe Werkzeuge ausge- F
wichen? Findet die Teamarbeit kollaborativ oder V
kooperativ statt? Werden alle Potenziale eines W
Werkzeugs genutzt? Ist Aufwand und Nutzen bei
A
der Wahl von synchronen/ asynchronen/ kollabo-
L
rativen Werkzeugen angemessen?
P
[-] Fehlt die Festlegung der zu nutzenden Werk-
zeuge im Gruppenvertrag? Ist die Gruppenaktivi- D
tät unter dem Durchschnitt anderer Gruppen? S
Gibt es viele oder lange asynchrone Kommentie- G
rungen? Werden asynchrone Tools trotz Dring-
lichkeit genutzt? Werden Diskussionen zu einem
Thema an mehreren Stellen geführt? Gibt es viele
Uploads anstatt die Nutzung von Wikis?
14. Werden Fristen eingehalten? F
Werden (Teil-)Aufgaben in den vorgegebenen A
und selbstgesetzten Zeiträumen abgearbeitet? D
[+] Externe Frist… befindet sich das Ergebnis S
zum Zeitpunkt X an der vorgegebenen Stelle? G
Interne Frist… Hat der Projektmanager einen
internen Zeitplan für die Teilaufgaben erstellt?
Hat Person X ihre dazugehörige (Teil-)Aufgabe
laut interner Frist bereitgestellt?
15. Wird der Umfang eingehalten? B
Passt der Umfang (Wort-/Zeichen-/Seitenzahl, F
Dateigröße, Dateiformat, Satz/ Stichpunkte)? Ist V
die Antwort der Aufgabenstellung angemessen D
(inhaltlich/ strukturell vollständig)? S
[+] Anzahl der Wörter passt (+/-10%); Werden
Definition kurzgefasst? Werden Diskussionen
48 Michel Rietze
lang/ausführlich gefasst?
[-] geringe Aktivität einer Person; wurden Auf-
gaben durch Gruppenmitglieder übernommen?
16. Ist der Gruppenvertrag ausführlich und B
schlüssig beschrieben? F
Ausführlich… deckt alle Möglichkeiten und V
Eventualitäten der Gruppenarbeit ab und struk-
L
turiert sie (verbindlich) vor (z.B. regelmäßige/
geplante Abwesenheiten); alle Kernpunkte aus D
dem Template wurden beschrieben (Abwesenhei- S
ten, Entscheidungsfindung); Schlüssig… logisch/ G
verständlich/ lesbar
[-] einzelne Punkte im Gruppenvertrag fehlen
oder sind zu kurz beschrieben
17. Ist die Ausarbeitung ansprechend formatiert? B
Entspricht es den formellen Anforderungen (un- F
veränderliches Dateiformat, Rechtschreibung, V
einheitliche/ aussagekräftige Formatierung;
D
Abbildungen)? Entspricht es den inhaltlichen
Anforderungen (Strukturierung lt. Aufgabenstel- S
lung; Verarbeitung von Ergebnissen aus Kom-
munikationsprozessen)?
[+] Abgabe als PDF; Struktur gemäß Aufgabe
18. Ist die Ausarbeitung übersichtlich dokumen- B
tiert? F
Wird die Lesbarkeit gewährleistet? Ist der Text W
schnell zu erfassen? Ist es inhaltlich stimmig und
D
vollständig? Geht aus dem Protokoll hervor, wer
da war und welchen Beitrag geleistet hat?
[+] Gibt es eine Gliederung, Formatierung,
Absätze/ Listen anstelle Fließtext, Dokumenten-
kopf, Überschriften, Zusammenfassung?
19. Werden fundierte Quellen verwendet? B
Werden Ergebnisse mit Quellen argumentiert/ F
begründet? Passen diese Quellen zum Themen- D
bereich der Aufgabenstellung? Sind die Quellen
S
wissenschaftlich angemessen?
G
[+] Sind empfohlene Quellen aus der Aufgaben-
stellung vorhanden? Wurden Internetquellen
selten/ mind. 2 Quellen pro Seite verwendet?
20. Ist die Lösung qualitativ hochwertig? B
Learning Analytics für E-Tutoren: Konzept zur bedarfsorientierten Datenerhebung 49
Ist das Dokument einheitlich strukturiert/ forma- F
tiert? Wurde passende Literatur gewählt? Wur- V
den Ideen aller Teilnehmer berücksichtigt und D
deren Auswahl logisch argumentiert? Erhöhen
die verwendeten Grafiken die Verständlichkeit? S
[+] Sind Grafiken/Abbildungen vorhanden? G
21. Passt die Lösung zur Aufgabenstellung? B
Extern… das Ergebnis beantwortet alle Teile der F
Aufgabenstellung; Intern… bearbeitet das D
Teammitglied die ihm zugewiesenen Aufgaben
S
[+] Gibt es Rückfragen zur Aufgabenstellung?
G
Sind alle (Teil-)Aufgaben vorhanden?
Tab. 1: Beobachtungen und zugrundeliegende Daten
In einigen Punkten ist zu sehen, dass (partielle) Einigkeit zwischen den E-Tutoren hin-
sichtlich der relevanten Daten herrscht (insb. 1, 2, 7, 8, 11-13). Allerdings variieren in
der Mehrzahl der Angaben die Erfahrungen zu den genutzten Werkzeugen (z.B. 3, 4, 6,
15-21). Die Unterschiede resultieren daher, dass einige Gruppen bspw. nicht zwischen
Foren und kommentierten Blogs differenziert haben bzw. alternativ auf WhatsApp um-
gestiegen sind. Ebenso haben einige Gruppen die Protokolle der externen, synchronen
Treffen als Datei hochgeladen, während andere die Kalendertermine hierfür kommentiert
oder nur einen Blogpost erstellt haben. Gleichzeitig muss hinterfragt werden, warum das
„Aufgaben“-Werkzeug weder in 3, 4 noch 6 genannt wird, da es hierfür existiert. Um
eine höher automatisierte Auswertung zu realisieren, wäre eine Festlegung der für be-
stimmte Aktivitäten zu nutzenden Werkzeuge hilfreich oder sogar nötig.
Als Datengrundlage für eine Implementierung spiegelt die Befragung derzeit ausschließ-
lich die manuell getätigten Beobachtungen und folglich die hierfür verfügbaren Daten
wider. Da Daten zu Änderungen, Löschungen von Inhalten oder zum Lesen, wie auch
bilaterale Chats und Nachrichten bislang nicht einsehbar sind, spielen sie bei der manu-
ellen Beobachtung nur eine untergeordnete Rolle. Für zukünftige, automatisierte Analy-
sen sollte deren Relevanz dennoch untersucht werden, denn hierdurch können Sachver-
halte besser verstanden und Interventionen besser abgestimmt werden. Beispielsweise
kann ein Teilnehmer passiv sein und nur die Beiträge verfolgen, sich jedoch nicht trauen
selbst zu posten. Oder er ist zurückhaltend und trägt dadurch wenige, jedoch hochquali-
tative Hinweise bei. Hier unterscheiden sich Interventionsstrategien erheblich von einem
vollständig inaktiven Teilnehmer. Während der passive Teilnehmer den Willen zur Teil-
nahme zeigt und ggf. nur ermutigt werden muss, bleibt dem inaktiven Teilnehmer nur
eine grundsätzliche Entscheidung zu erhöhter Aktivität oder gänzlichem Ausstieg. Eben-
so sollte geklärt werden, ob zur Ursachenforschung eines Konfliktes nicht doch Informa-
tionen über (nicht) gelesene und somit (nicht) berücksichtigte Beiträge hilfreich sein
könnten. Gleichzeitig wäre vorstellbar, dass die Vollständigkeit und Menge der gelese-
nen Beiträge Qualitätsindikatoren für das Ergebnis sind, denn nur so können Ideen auf-
gegriffen und weiterentwickelt werden. Folglich sollte hinterfragt werden, ob die weni-
50 Michel Rietze
gen angegebenen Informationsbedarfe zu Lese-, Chat- oder Nachrichten-Aktivitäten
nicht doch eine höhere Relevanz haben als angegeben.
Abschließend soll nun noch der Zusammenhang zwischen den einzelnen Beobachtungen
diskutiert werden, da einige Indikatoren mehrmals vorkommen. Hierzu zählen Informa-
tionen über die Aktivität, wie z.B. der Vergleich zwischen Individuen (1, 5-7, 12, 15)
oder Gruppen (2, 6, 7, 12, 13), hinsichtlich eines Zeitraumes (2, 8, 10, 11) oder festge-
legten Zeitpunktes (1, 4, 7). Ähnlich häufig benötigt werden die Informationen, ob Fris-
ten eingehalten werden (3, 7, 12, 14), strukturierende Elemente vorhanden sind (7, 17,
18), der Umfang zur Aufgabenstellung passt (7, 15, 16) und die Aufgabe vollständig
bearbeitet wurde (3, 16, 21). Eine Erhebung dieser Daten würde zeitgleich Informationen
für mehrere Beobachtungen liefern und sollte daher priorisiert implementiert werden.
Die Übersicht zeigt die komplexen Zusammenhänge zwischen dem existenten Beobach-
tungsbogen und den verfügbaren Daten, welche die Lernenden bei ihren Aktivitäten auf
der Plattform produzieren. Gleichzeitig deuten die Kriterien an, wie die Auswertung der
Daten erfolgen kann. Die Indikatoren zeigen hierzu kritische Situationen auf, die einer
zeitnahen Alarmierung bedürfen. Mit der Übersicht der zu tätigenden Beobachtungen
und den hierbei zu berücksichtigenden Daten ist mit diesem Beitrag das Fundament
eines umfassenden Konzepts für Learning Analytics für mit der VCL vergleichbare
Kursarrangements erarbeitet worden. Hierauf basierend gilt es nun einen ersten Prototyp
zu implementieren und praktisch zu erproben.
4 Fazit
Im Rahmen dieses Beitrags wurde untersucht, wie Learning Analytics die Lernbegleiter
unterstützen kann. Hierzu wurden Zusammenhänge zwischen dem zur Verfügung ste-
henden Beobachtungsbogen, den Lerneraktivitäten und den genutzten Werkzeugen hin-
sichtlich zu berücksichtigender Daten hergestellt. Es wurden Interviews mit den
E-Tutoren der aktuellen Lehrveranstaltung durchgeführt, im Anschluss transkribiert,
sowie inhaltsanalytisch ausgewertet.
Auch wenn die inhaltsanalytische Auswertung der erhobenen Daten durch einen zweiten
Codierer bislang noch aussteht und somit personenbezogene Verzerrungen der Codie-
rungen nicht auszuschließen sind, tragen die Ergebnisse – auch E-Tutoren-übergreifend
– für zukünftig objektivere Beobachtungen bei. Ebenso müssen die gewonnenen Er-
kenntnisse noch durch die E-Tutoren evaluiert werden, da vor allem die Trennschärfe
zwischen den Beobachtungen nicht immer erkennbar war.
Gleichzeitig bildet das Ergebnis als ein Konzept die Ausgangsbasis zur Implementierung
von Learning Analytics. Weiterer Forschungsbedarf liegt nun in der Identifikation pass-
fähiger Analysemethoden, um die Daten so aufzubereiten, dass sie die gewünschten
Informationen liefern. Außerdem sollten die Daten der genutzten, externen Werkzeuge,
integriert werden, um die bestehende Datenbasis mit hilfreichen Daten zu erweitern.
Learning Analytics für E-Tutoren: Konzept zur bedarfsorientierten Datenerhebung 51
Eventueller Änderungsbedarf, insbesondere hinsichtlich bislang vernachlässigter Daten,
sollte bei der Evaluation erhoben werden, um deren Potenziale durch die automatisierte
Verarbeitung zu erschließen. Zusammen mit den Erkenntnissen der Evaluation eines
implementierten Analysewerkzeugs kann das vorliegende Konzept überarbeitet und um
relevante Daten für zukünftige Analysen ergänzt werden.
Literaturverzeichnis
[Ba05] Balázs, I.: Konzeption von Virtual Collaborative Learning Projekten. Ein Vorgehen
zur systematischen Entscheidungsfindung. Dissertation, Dresden, 2005.
[Bo37] Bos, M. C.: Experimental study of productive collaboration. Acta psychologica, S.
315–426, 1937.
[DB16] Döring, N.; Bortz, J.: Forschungsmethoden und Evaluation in den Sozial- und Hu-
manwissenschaften. Für Human- und Sozialwissenschaftler, Springer, Berlin, 2016.
[LD11] Lockyer, L.; Dawson, S.: Learning designs and learning analytics. In (Long, P., Sie-
mens, G.; Conole, G., Gašević, D. Hrsg.): International Conference on Learning Ana-
lytics and Knowledge, S. 153-156, 2011.
[PC07] Pettenati, M. C.; Cigognini, M. E.: Social Networking Theories and Tools to Support
Connectivist Learning Activities. International Journal of Web-Based Learning and
Teaching Technologies, 2/07, S. 42–60, 2007.
[Ra11] Ravenscroft, A.: Dialogue and connectivism: A new approach to understanding and
promoting dialogue-rich networked learning. The International Review of Research in
Open and Distributed Learning, Special Issue - Connectivism: Design and Delivery of
Social Networked Learning, 11/11, 2011.
[RH16] Rietze, M.; Hetmank, C.: Learning Analytics für eine verbesserte Lernbegleitung in
kollaborativen formellen E-Learning-Angeboten. In (Nissen, V.; Stelzer, D.; Straßbur-
ger, S.; Fischer, D. Hrsg.): Multikonferenz Wirtschaftsinformatik, Universitätsverlag
Ilmenau, Ilmenau, S. 567–578, 2016.
[Ri16a] Rietze, M.: Analysing eCollaboration: Prioritisation of Monitoring Criteria for Learn-
ing Analytics in the Virtual Classroom: In (Spender, JC., Schiuma, G., Noennig, J. R.
Hrsg.): International Forum on Knowledge Asset Dynamics, S. 2110-2124, 2016.
[Ri16b] Rietze, M.: Monitoring E-Collaboration: Preparing An Analysis Framework. In: Pro-
ceedings of the International Conference on New Challenges of Economic and Busi-
ness Development. Society, Innovations and Collaborative Economy 2016, S. 604–
617, 2016.
[Si04] Siemens, G.: Connectivism. A learning theory for the digital age. International Journal
of Instructional Technology and Distance Learning, S. 226, 2004.
[St06] Stahl, G.: Analyzing and Designing the Group Cognition Experience. In: International
Journal of Cooperative Information Systems, 15/06, S. 157–178, 2006.
[Th97] Thagard, P.: Collaborative Knowledge. Nous, 31/97, S. 242–261, 1997.