How can students be motivated to actively engage learning contents? How can teachers and students be encouraged to discuss contents of lectures and seminars, or to exchange problems and ideas with respect to material? Audience Response Systems (ARS) enable more interactive lectures. This paper provides a brief overview and preliminary research results of Auditorium Mobile Classroom Service (AMCS), an ARS developed at TU Dresden. AMCS' functionality is based on an establish didactics concept.
mit Lernaufgaben, Push-Notifications und umfangreichen
1
Vorlesungen sind immer noch ein wichtiger Bestandteil der universitären Lehre. In ihnen wird durch eine dozierende Lehrperson Expertenwissen vermittelt. Die Studierenden sehen sich dabei hohen Anforderungen ausgesetzt: sie müssen über 90 Minuten hinweg aufmerksam sein, den vermittelten Inhalten folgen, diese analysieren, in den Kontext setzen und potentielle Ablenkungen vom Lehrgeschehen ignorieren. Das Veranstaltungsformat ist dabei in der Regel starr und lässt wenig Raum für Interaktionen zwischen Zuhörenden und Dozierenden.
Dem gegenüber steht, dass Lernen, nach [Se03] ein aktiver, konstruktiver und höchst individueller Prozess ist. Dies scheint insbesondere in Großveranstaltungen nur schwer möglich. Mangelnde Interaktion führt oftmals zu Monotonie. Studierende folgen einer ganzen Vorlesung nicht auf einem konstanten Aufmerksamkeitsniveau (Llyod‘sche Aufmerksamkeitskurve). Stattdessen unterliegen Fokus und Niveau der Aufmerksamkeit Schwankungen, abhängig einerseits von den individuellen Erwartungen, den eigenen Zielen und der Motivation, andererseits von den Umgebungsbedingungen. Die Anwesenden 1 Technische Universität Dresden, Fakultät Informatik, Professur für Rechnernetze, 01062 Dresden, {vorname}.{nachname}@tu-dresden.de 2 Technische Universität Dresden, Fachrichtung Psychologie, Professur für die Psychologie des Lehrens und Lernens, 01062 Dresden, felix.kapp@tu-dresden.de schalten ab oder sind im Internet mit anderen Dingen beschäftigt. Wenn die eigene Motivation und Aufmerksamkeit nicht erfolgreich reguliert werden kann, führt dies dazu, dass Wissenslücken nicht geschlossen werden und Informationen, die für die Erreichung der eigenen Ziele notwendig wären, nicht erfolgreich verarbeitet werden. Die Studierenden schaffen es nicht, ein adäquates mentales Modell des Themas der Vorlesung aufzubauen [Ka14] – sie lernen nicht. Und obwohl längst klar ist, dass mit Hilfe des Internets zahlreiche zusätzliche Informationsquellen zur Verfügung stehen, die den Lernraum über den Vorlesungssaal hinweg erweitern, werden Smartphones, Notebooks und Tablets in Vorlesungen oftmals nicht gewinnbringend eingesetzt, sondern wirken eher ablenkend, da sie Möglichkeiten bieten, sich mit anderen Dingen zu beschäftigen.
Aus der Perspektive der Lehrenden stellt sich in der Vorlesung immer wieder die Herausforderung, die Lehrveranstaltung an die studentischen Bedürfnisse anzupassen. Dabei stehen sie vor allem in Großveranstaltungen vor dem Problem, ein sehr heterogenes3 Publikum zu haben, welches darüber hinaus auch sehr unterschiedliche Interessen in der Veranstaltung verfolgt. Um auf die Studierenden einzugehen, benötigen sie Informationen über das Vorwissen, die Interessen, die Motivation und allgemeine Lernstrategien ihrer Studierenden. Die klassische Evaluation, welche in den meisten Lehrveranstaltungen durchgeführt wird, hat zwar das Ziel, Ansätze für die Lösung dieser Probleme zu bieten, kommt aber meist zu spät und bietet durch die subjektiven Einschätzungen der Studierenden auch nur eine Art von Daten. Auditorium Mobile Classroom Service (AMCS) ist ein an der TU Dresden entwickeltes Tool, welches Lehrende und Lernende in der Vorbereitung, Durchführung und Nachbereitung der Vorlesung unter Verwendung ihrer mobilen Endgeräte unterstützt, um diese Herausforderungen zu bewältigen. 2
AMCS wurde durch Wissenschaftler der Fachrichtung Psychologie und der Fakultät Informatik der TU Dresden entwickelt. Ähnlich wie bei modernen Audience Response Systemen (z. B. ARSnova oder SMILE, [WB13]) wird dabei die Beteiligung des Auditoriums durch die eigenen mobilen Geräte (Smartphones, Tablets, Notebooks) ermöglicht. Die Innovation bei AMCS besteht darin, dass dieser einmal etablierte Kommunikationskanal zwischen Lehrperson und Studierenden genutzt wird, um die Studierenden gezielt bei der Bewältigung der Anforderungen in einer Vorlesung zu unterstützen. Die Dozierenden können über AMCS Umfragen und verschiedene Lernaufgaben in ihrer Veranstaltung durchführen. Darüber hinaus können sie einzelnen Studierenden in Abhängigkeit ihrer individuellen Ziele und ihres Vorwissens adaptive Nachrichten während der Veranstaltung auf ihre Geräte senden (automatisiert). Diese Features von AMCS erlauben es zum einen 1) Studierende technologiegestützt beim Selbstregulierten Lernen zu unterstützen, zum anderen wird dadurch 2) der Lernraum der Vorlesung bewusst erweitert. So ist es möglich, 3 Zum Beispiel die Lehrveranstaltung „Rechnernetze“ an der TU Dresden: mindestens 7 Studiengänge, Zuhörer und Zuhörerinnen im Altersbereich 18 bis 45, Erst- und Wiederholungshörer in Haupt- und Nebenfach. Studierenden weiterführende Links und Materialien zu senden und so die bereits permanent vorhandene Nutzung des Internets innerhalb von Präsenzveranstaltungen in Richtung themenrelevanter Materialien zu lenken. AMCS adressiert 3) ganz konkret die Umsetzung eines Learning-Analytics-Ansatzes für universitäre Vorlesungen. Mit Hilfe des Tools ist es nicht nur möglich, klassische Evaluationsfragebögen umzusetzen, sie unmittelbar auszuwerten und mit den Studierenden zu diskutieren, sondern auch die selbstberichteten Leistungszuwächse und Qualitätseinschätzungen der Studierenden Leistungsdaten aus den in der Veranstaltung verwendeten Lernaufgaben gegenüberzustellen. Im Folgenden werden die Funktionalitäten von AMCS dargestellt. 2.1
Vor dem Start einer Vorlesungsreihe wird der Lehrende innerhalb der AMCS-Webseite durch das Anlegen einer Veranstaltung geführt. Durch die Abfrage von Parametern (Teilnehmerzahl, Zeitpunkt im Semester, Verfügbare Zeit, usw.) kann AMCS eine Vorauswahl von geeigneten, sinnvollen Funktionen treffen. Dadurch werden Lehrende deutlich entlastet, insbesondere da die Vorschläge bereits auf didaktische Sinnhaftigkeit geprüft wurden. Näheres dazu im DeLFI-Beitrag [Ku17].
Zu den Funktionen von AMCS gehören:
Fragen in verschiedenen Formaten (Freitext, Multiple Choice, Single Choice, Likert-Skala) und zu verschiedenen Zeitpunkten (vor, während, nach der Lehrveranstaltung), Lernaufgaben (sowohl Multiple-Choice als auch Single-Choice) mit individuellem Feedback, Nachrichten mit unterschiedlichen Inhalten an ausgewählte Studierende, Live-Bewertung hinsichtlich der Lautstärke und Geschwindigkeit und die Möglichkeit, Fragen an die Dozierenden und die Kommilitonen zu stellen. Innerhalb der Veranstaltungsreihe können die Dozierenden im Vorfeld jedes einzelnen Termins Umfragen, Lernaufgaben und Nachrichten anlegen, entweder online über die AMCS-Webseite oder gekoppelt an das Präsentationsprogramm mit der Lecturer-App (derzeit verfügbar als PowerPoint-Plugin und Keynote-Begleitprogramm). Bei der Entwicklung wurde dabei die Arbeitsweise der meisten Lehrenden berücksichtigt. Dozierende strukturieren ihre Vorlesungen heutzutage größtenteils mit Hilfe von Software-gestützten Präsentationen. Durch die Kopplung an die Präsentationssoftware werden Lernaufgaben, Umfragen und Nachrichten direkt mit der Präsentation angelegt (Abb. 1). Während der Vorlesung werden die angelegten Fragen, Lernaufgaben, Nachrichten und Umfragen dann automatisch auf der jeweils gekoppelten Folie ausgeliefert. Sowohl beim Anlegen als auch beim Abschicken wurde somit bewusst darauf geachtet, den zusätzlichen Workload für Dozierende so gering wie möglich zu halten.
Hat der Lehrende vorbereitende Lernaufgaben und Kursfragen definiert, werden diese den Studierenden schon vor der Veranstaltung angezeigt. Somit kann der Dozierende vorab einen Überblick über die Teilnehmer und deren Vorwissen erhalten. Außerdem kann auch der Inhalt der vergangenen Vorlesungen noch einmal abgefragt und so durch die Studierenden rekapituliert werden.
Abb. 1: PowerPoint-Plugin AMCS Lecturer (der Dozent legt auf Folie 1 der Vorlesung eine Freitext-Frage an) 2.2
Während der Vorlesung im Vorlesungssaal starten die Dozierenden ihr Präsentationsprogramm (z. B. PowerPoint) zusammen mit der AMCS Lecturer App. Dadurch werden die Folienwechsel automatisch an den Server übermittelt, dieser löst die Darstellung der Fragen, Nachrichten, Umfragen und Lernaufgaben aus. Sollte der Dozent keine Lecturer App verwenden, kann er die Vorlesung auch über die AMCS-Webseite manuell steuern. Alle Funktionalitäten von AMCS können mittels Smartphones bzw. anderen internetfähigen Geräten genutzt werden. Sowohl die Umfragen und Lernaufgaben als auch die Nachrichten sowie die jeweiligen Ergebnisdarstellungen für die Dozierenden werden in einer webbasierten Anwendung oder in nativen Apps zur Verfügung gestellt. Auf die vier wichtigsten Funktionalitäten wird im Folgenden näher eingegangen: Abfrage von Interessen und persönlichen Zielen: Durch einige wenige Fragen werden zu Beginn der Vorlesung die persönlichen Ziele erfasst. So kann nachfolgend durchaus unterschiedlichen Zielstellungen Rechnung getragen werden. Die erhobene Information dient als Grundlage für Nachrichten und Hinweise, die zu späteren Zeitpunkten an die Studierenden geschickt werden, um ihnen bei der Regulation des eigenen Lernprozesses zu helfen. Gleichzeitig regt sie diese kurze Befragung an, sich über ihre eigenen Ziele und Interessen klar zu werden und sie ggf. zu präzisieren.
Lernaufgaben am Anfang, in der Mitte und am Ende der Vorlesung: Interaktive Lernaufgaben können den Lernprozess sowohl bei den notwendigen kognitiven als auch metakognitiven Prozessen unterstützen [Ka11, Ma09]. Zeitlich am Anfang, in der Mitte und am Ende der Vorlesung angesiedelt, unterstützen sie die Studierenden bei einer aktiven Auseinandersetzung mit dem Inhalt (Beispiel-Lernaufgaben in Abb. 2). Im Gegensatz zu bisherigen Clicker-Systemen, die den Dozierenden ein Meinungsbild der Studierenden liefern, erhalten die Lernenden direktes individuelles Feedback.
Lernaufgaben fördern zeitnah zur Stoffvermittlung bei den Studierenden einen aktiven, konstruktiven und höchst individuellen Wissenserwerbsprozess. Zu Beginn der Vorlesung fördern sie das Aktivieren von Vorwissen, legen die Anforderungen offen und lenken die Aufmerksamkeit auf relevante Inhalte. In der Mitte der Vorlesung kann der bisherige Stoff wiederholt werden und die Studierenden erhalten ein erstes Feedback hinsichtlich ihres Lernprozesses [Ka14]. Lernaufgaben am Ende der Veranstaltung dienen der Wissenskonsolidierung und bieten die Möglichkeit sich kritisch zu überprüfen: In Abhängigkeit ihrer Ziele können die Studierenden Konsequenzen für zukünftige Veranstaltungen hinsichtlich Aufmerksamkeits- und Motivationsregulation sowie der angewendeten Lernstrategien ziehen.
Abb. 2: Studierendenbefragung, Lernaufgaben, Prompts auf dem Smartphone und einer Smartwatch in AMCS (Beispiele aus der Vorlesung „Serious Games“) Prompts bzw. individuelle Nachrichten während der Vorlesung: Ziel der Prompts ist die Unterstützung der Studierenden bei der Aufmerksamkeitsregulation und der Zielerreichung in der Vorlesung (metakognitive Prompts). Die Prompts erfolgen in Form von PushNachrichten. In Abhängigkeit von Hintergrund und individuellen Zielen werden strategische Hinweise während der Vorlesung gegeben. Darüber hinaus werden Nachrichten mit dem Ziel versandt, Studierenden beim Schließen von Wissenslücken zu unterstützen (kognitive Prompts). So bekommen Studierende, welche bei einer Lernaufgabe zu Beginn Fehler gemacht haben, zu einem späteren Zeitpunkt Hinweise bei Folien mit Wiederholungen, tiefergehenden Erklärungen, etc. Mit Hilfe von Nachrichten können auch Diskussionen initiiert, in Ausnahmefällen sogar inszeniert werden (Scripted Discussions); Ziel des Scriptings ist es, Anteile der Vorlesungszeit optimal für argumentativen Austausch zu nutzen, wenn Wortmeldungen nur zaghaft oder gar nicht zu Stande kämen. Auswertungen für die Dozierenden während der Veranstaltung: Lehrende können jederzeit auf die Live-Daten zugreifen, um ihre Präsentationen unmittelbar zu verbessern oder auf einzelne Probleme direkt einzugehen. Da sie im Vortrag damit beschäftigt sind, Inhalte zu vermitteln und Stoff zu erklären, sollte die Bereitstellung von Evaluationsrückmeldungen auf die wirklich notwendigen Informationen reduziert werden. Insbesondere während der Unterbrechungen, in der Studierende die Lernaufgaben beantworten (siehe oben), können Lehrende über die Ergebnisse der Lernaufgaben prüfen, ob die Lernenden das aktuelle Thema verstanden haben. Wenn Sie die Ergebnisse der Lernaufgaben thematisieren und direkt mit den Studierenden diskutieren wollen, können Sie die Auswertungsansicht in Form von Diagrammen auch direkt anzeigen (siehe Abb.3).
Abb. 3: Live-Auswertungsansicht für den Dozierenden Abb. 4: Evaluation Center – Aufbereitung von Umfragen und Lernleistungen (erhoben durch die Lernaufgaben) für einzelne Subgruppen – über Filter können Bedingungen (bspw. unterschiedliche
Ziele) ausgewählt werden, Ergebnisse werden dann nur für Substichprobe angezeigt 2.3
Im Anschluss an die Lehrveranstaltung haben die Dozierenden die Möglichkeit mit Hilfe von AMCS ihre eigene Veranstaltung zu evaluieren. AMCS verfolgt eine konkrete Umsetzung des Learning-Analytics-Ansatzes für universitäre Vorlesungen mit 50 bis 500 Teilnehmenden. Es können nicht nur klassische Evaluationsfragebögen umgesetzt und unmittelbar ausgewertet (und mit den Studierenden diskutiert) werden. Sondern die selbstberichteten Leistungszuwächse und Qualitätseinschätzungen der Studierenden können sofort den Leistungsdaten aus den in der Veranstaltung verwendeten Lernaufgaben gegenübergestellt werden. Im „Evaluationscenter“ (Abb. 4) können die Lehrenden darüber hinaus Analysen für bestimmte Subgruppen des Auditoriums durchführen. Bspw. kann man untersuchen inwiefern Studierende aus unterschiedlichen Studiengängen auch unterschiedlich abschneiden und die Lehrveranstaltung unterschiedlich bewerten. Eine Bewertung der Leistungsentwicklung über das Semester hinweg ist möglich. 3
Im Zuge der Entwicklung von AMCS wurden sowohl zahlreiche Evaluationsuntersuchungen in realen Vorlesungen als auch Experimente zu den zu Grunde liegenden Mechanismen in idealisierten Laborumgebungen durchgeführt. In Anlehnung an die unterschiedlichen Wirkungsebenen von Verbesserungen im Bildungsbereich [Ki79] wurde dabei als erstes auf Reaktionsebene erfasst, inwiefern die Studierenden in den unterschiedlichen Pilotvorlesungen, in denen AMCS eingesetzt wurde, das Tool und die Verwendung von AMCS einschätzen. In insgesamt sieben Lehrveranstaltungen (3x Psychologie, 2x Informatik, 1x Physik, 1x Wirtschaftswissenschaften) wurde dabei bei den Teilnehmenden erfragt, inwiefern sie die Lernaufgaben, die Umfragen, die Nachrichten und die Evaluationsmöglichkeiten als lernförderlich bzw. hilfreich einschätzen. Der Einsatz von AMCS wurde insgesamt als positiv bewertet. Die Studierenden gaben an, dass das Tool und die Umfragen die Interaktivität erhöhten. Die Lernaufgaben wurden als unterstützend wahrgenommen. Der Einsatz von Nachrichten wurden in den Veranstaltungen, in denen sie zum Einsatz kamen und bewertet wurden, unterschiedlich eingeschätzt. Während einige Studierende angaben, dass diese Art von Unterstützung hilfreich sein könnte, bezweifelten andere einen Mehrwert.
Um auch Aussagen auf der nächsten Ebene (Effekte auf Ebene der Lernprozesse und Verhalten in der Lehrveranstaltung) treffen zu können, wird AMCS auch experimentell unter kontrollierten Bedingungen untersucht. Dafür werden Versuchsteilnehmende gebeten, sich eine aufgezeichnete Vorlesung im Labor anzuschauen. Dabei werden sie durch die Verwendung von AMCS unterstützt oder nicht. Es wurden drei experimentelle Studien durchgeführt, welche die Effekte von Lernaufgaben, Nachrichten und der Unterstützung des Zielsetzungsprozesses zu Beginn der Veranstaltung adressierten. In Übereinstimmung mit den Ergebnissen auf der Reaktionsebene konnte dabei aufgezeigt werden, dass die Lernaufgaben in Verbindung mit Nachrichten unterstützende Wirkung entfalten können. Beim Einsatz der Nachrichten kommt es hingegen darauf an, diese adaptiv und passend zu den individuellen Lernzielen der Studierenden anzulegen. Zukünftige Untersuchungen sollen konkrete Erfolgsfaktoren für den Einsatz der einzelnen Features ermitteln und zu Grunde liegende kognitive, motivationale und metakognitive Prozesse identifizieren. 4
Mit AMCS wird derzeit ein Tool entwickelt, welches Lehrende und Studierende vor, während und nach Lehrveranstaltung bei der Gestaltung des Lernprozesses unterstützt. Durch die Kooperation von Lernpsychologen mit Informatikern ist dabei ein konzept- und umsetzungsstarker Prototyp entstanden, welcher sowohl in der Praxis evaluiert als auch wissenschaftlich in Experimenten untersucht wird. AMCS zeichnet sich zusätzlich zu den klassischen ARS Funktionen durch Lernaufgaben, Prompts/Push-Notifications und umfangreiche Evaluationsmöglichkeiten aus. Teil der inhaltlichen Weiterentwicklung ist eine Diskussion der einzelnen Features und eine Untersuchung der Erfolgsfaktoren für den Einsatz von ARS. Das Ziel des Projektes ist es, AMCS unter einer noch zu bestimmenden Open-Source-Lizenz allgemein verfügbar zu machen. Der Funktionsumfang soll auf Module verteilt werden, welche auf einer gemeinsamen Datenbasis voneinander unabhängig eingesetzt werden können. Damit soll eine funktionale Überfrachtung des Systems und damit eine Überforderung der Nutzer vermieden werden. Nichtsdestotrotz ist geplant, dass diese Module auch gemeinschaftlich verwendet werden können (Single Sign-On). AMCS ist erreichbar unter https://amcs.website/.
Literaturverzeichnis [Ka11] [Ka14] [Ki79] [Ku17] [Ma09] [Se03] [WB13]