Carsten Ullrich, Martin Wessner (Eds.): Proceedings of DeLFI and GMW Workshops 2017 Chemnitz, Germany, September 5, 2017 AMCS (Auditorium Mobile Classroom Service) – an ARS with Learning Questions, Push Notifications, and extensive Means of Evaluation Iris Braun, Felix Kapp, Tenshi Hara, Tommy Kubica, Alexander Schill Abstract: How can students be motivated to actively engage learning contents? How can teachers and students be encouraged to discuss contents of lectures and seminars, or to exchange problems and ideas with respect to material? Audience Response Systems (ARS) enable more interactive lectures. This paper provides a brief overview and preliminary research results of Auditorium Mobile Classroom Service (AMCS), an ARS developed at TU Dresden. AMCS’ functionality is based on an establish didactics concept. Carsten Ullrich, Martin Wessner (Eds.): Proceedings of DeLFI and GMW Workshops 2017 Chemnitz, Germany, September 5, 2017 AMCS (Auditorium Mobile Classroom Service) – ein ARS mit Lernaufgaben, Push-Notifications und umfangreichen Evaluationsmöglichkeiten Iris Braun1, Felix Kapp2, Tenshi Hara1, Tommy Kubica1, Alexander Schill1 Abstract: Wie bekommt man die Teilnehmenden einer Lehrveranstaltung dazu, sich aktiv mit den Lerninhalten auseinanderzusetzen? Wie schafft man es, dass sich die Lehrenden und die Lernenden in Vorlesungen und Seminaren über den Inhalt, Verständnisprobleme oder weiterführendes Interesse zu einem Lehrthema austauschen? Audience Response Systeme (ARS) bieten vielfältige Möglich- keiten, Lehrveranstaltungen interaktiver zu gestalten. Dieser Beitrag stellt das an der TU Dresden entwickelte Audience Response System AMCS (Auditorium Mobile Classroom Service) mit seinen auf didaktischen Konzepten basierenden Funktionalitäten vor und zeigt erste Ergebnisse der Be- gleitforschung und Evaluation auf. Keywords: AMCS, Audience Response System, Selbstreguliertes Lernen, Interaktive Vorlesung 1 Einleitung Vorlesungen sind immer noch ein wichtiger Bestandteil der universitären Lehre. In ihnen wird durch eine dozierende Lehrperson Expertenwissen vermittelt. Die Studierenden se- hen sich dabei hohen Anforderungen ausgesetzt: sie müssen über 90 Minuten hinweg auf- merksam sein, den vermittelten Inhalten folgen, diese analysieren, in den Kontext setzen und potentielle Ablenkungen vom Lehrgeschehen ignorieren. Das Veranstaltungsformat ist dabei in der Regel starr und lässt wenig Raum für Interaktionen zwischen Zuhörenden und Dozierenden. Dem gegenüber steht, dass Lernen, nach [Se03] ein aktiver, konstruktiver und höchst in- dividueller Prozess ist. Dies scheint insbesondere in Großveranstaltungen nur schwer möglich. Mangelnde Interaktion führt oftmals zu Monotonie. Studierende folgen einer ganzen Vorlesung nicht auf einem konstanten Aufmerksamkeitsniveau (Llyod‘sche Auf- merksamkeitskurve). Stattdessen unterliegen Fokus und Niveau der Aufmerksamkeit Schwankungen, abhängig einerseits von den individuellen Erwartungen, den eigenen Zie- len und der Motivation, andererseits von den Umgebungsbedingungen. Die Anwesenden 1 Technische Universität Dresden, Fakultät Informatik, Professur für Rechnernetze, 01062 Dresden, {vorname}.{nachname}@tu-dresden.de 2 Technische Universität Dresden, Fachrichtung Psychologie, Professur für die Psychologie des Lehrens und Lernens, 01062 Dresden, felix.kapp@tu-dresden.de Iris Braun, Felix Kapp, Tenshi Hara, Tommy Kubica, Alexander Schill schalten ab oder sind im Internet mit anderen Dingen beschäftigt. Wenn die eigene Moti- vation und Aufmerksamkeit nicht erfolgreich reguliert werden kann, führt dies dazu, dass Wissenslücken nicht geschlossen werden und Informationen, die für die Erreichung der eigenen Ziele notwendig wären, nicht erfolgreich verarbeitet werden. Die Studierenden schaffen es nicht, ein adäquates mentales Modell des Themas der Vorlesung aufzubauen [Ka14] – sie lernen nicht. Und obwohl längst klar ist, dass mit Hilfe des Internets zahlrei- che zusätzliche Informationsquellen zur Verfügung stehen, die den Lernraum über den Vorlesungssaal hinweg erweitern, werden Smartphones, Notebooks und Tablets in Vorle- sungen oftmals nicht gewinnbringend eingesetzt, sondern wirken eher ablenkend, da sie Möglichkeiten bieten, sich mit anderen Dingen zu beschäftigen. Aus der Perspektive der Lehrenden stellt sich in der Vorlesung immer wieder die Heraus- forderung, die Lehrveranstaltung an die studentischen Bedürfnisse anzupassen. Dabei ste- hen sie vor allem in Großveranstaltungen vor dem Problem, ein sehr heterogenes3 Publi- kum zu haben, welches darüber hinaus auch sehr unterschiedliche Interessen in der Ver- anstaltung verfolgt. Um auf die Studierenden einzugehen, benötigen sie Informationen über das Vorwissen, die Interessen, die Motivation und allgemeine Lernstrategien ihrer Studierenden. Die klassische Evaluation, welche in den meisten Lehrveranstaltungen durchgeführt wird, hat zwar das Ziel, Ansätze für die Lösung dieser Probleme zu bieten, kommt aber meist zu spät und bietet durch die subjektiven Einschätzungen der Studieren- den auch nur eine Art von Daten. Auditorium Mobile Classroom Service (AMCS) ist ein an der TU Dresden entwickeltes Tool, welches Lehrende und Lernende in der Vorbe- reitung, Durchführung und Nachbereitung der Vorlesung unter Verwendung ihrer mobilen Endgeräte unterstützt, um diese Herausforderungen zu bewältigen. 2 Auditorium Mobile Classroom Service - Walk Through AMCS wurde durch Wissenschaftler der Fachrichtung Psychologie und der Fakultät In- formatik der TU Dresden entwickelt. Ähnlich wie bei modernen Audience Response Sys- temen (z. B. ARSnova oder SMILE, [WB13]) wird dabei die Beteiligung des Auditoriums durch die eigenen mobilen Geräte (Smartphones, Tablets, Notebooks) ermöglicht. Die In- novation bei AMCS besteht darin, dass dieser einmal etablierte Kommunikationskanal zwischen Lehrperson und Studierenden genutzt wird, um die Studierenden gezielt bei der Bewältigung der Anforderungen in einer Vorlesung zu unterstützen. Die Dozierenden können über AMCS Umfragen und verschiedene Lernaufgaben in ihrer Veranstaltung durchführen. Darüber hinaus können sie einzelnen Studierenden in Abhängigkeit ihrer in- dividuellen Ziele und ihres Vorwissens adaptive Nachrichten während der Veranstaltung auf ihre Geräte senden (automatisiert). Diese Features von AMCS erlauben es zum einen 1) Studierende technologiegestützt beim Selbstregulierten Lernen zu unterstützen, zum anderen wird dadurch 2) der Lernraum der Vorlesung bewusst erweitert. So ist es möglich, 3 Zum Beispiel die Lehrveranstaltung „Rechnernetze“ an der TU Dresden: mindestens 7 Studiengänge, Zuhörer und Zuhörerinnen im Altersbereich 18 bis 45, Erst- und Wiederholungshörer in Haupt- und Nebenfach. AMCS – ein ARS und Evaluationstool der nächsten Generation Studierenden weiterführende Links und Materialien zu senden und so die bereits perma- nent vorhandene Nutzung des Internets innerhalb von Präsenzveranstaltungen in Richtung themenrelevanter Materialien zu lenken. AMCS adressiert 3) ganz konkret die Umsetzung eines Learning-Analytics-Ansatzes für universitäre Vorlesungen. Mit Hilfe des Tools ist es nicht nur möglich, klassische Evaluationsfragebögen umzusetzen, sie unmittelbar aus- zuwerten und mit den Studierenden zu diskutieren, sondern auch die selbstberichteten Leistungszuwächse und Qualitätseinschätzungen der Studierenden Leistungsdaten aus den in der Veranstaltung verwendeten Lernaufgaben gegenüberzustellen. Im Folgenden werden die Funktionalitäten von AMCS dargestellt. 2.1 Vor Beginn einer Vorlesung Vor dem Start einer Vorlesungsreihe wird der Lehrende innerhalb der AMCS-Webseite durch das Anlegen einer Veranstaltung geführt. Durch die Abfrage von Parametern (Teil- nehmerzahl, Zeitpunkt im Semester, Verfügbare Zeit, usw.) kann AMCS eine Vorauswahl von geeigneten, sinnvollen Funktionen treffen. Dadurch werden Lehrende deutlich entlas- tet, insbesondere da die Vorschläge bereits auf didaktische Sinnhaftigkeit geprüft wurden. Näheres dazu im DeLFI-Beitrag [Ku17]. Zu den Funktionen von AMCS gehören:  Fragen in verschiedenen Formaten (Freitext, Multiple Choice, Single Choice, Li- kert-Skala) und zu verschiedenen Zeitpunkten (vor, während, nach der Lehrver- anstaltung),  Lernaufgaben (sowohl Multiple-Choice als auch Single-Choice) mit individuel- lem Feedback,  Nachrichten mit unterschiedlichen Inhalten an ausgewählte Studierende,  Live-Bewertung hinsichtlich der Lautstärke und Geschwindigkeit und  die Möglichkeit, Fragen an die Dozierenden und die Kommilitonen zu stellen. Innerhalb der Veranstaltungsreihe können die Dozierenden im Vorfeld jedes einzelnen Termins Umfragen, Lernaufgaben und Nachrichten anlegen, entweder online über die AMCS-Webseite oder gekoppelt an das Präsentationsprogramm mit der Lecturer-App (derzeit verfügbar als PowerPoint-Plugin und Keynote-Begleitprogramm). Bei der Entwicklung wurde dabei die Arbeitsweise der meisten Lehrenden berücksichtigt. Dozierende strukturieren ihre Vorlesungen heutzutage größtenteils mit Hilfe von Soft- ware-gestützten Präsentationen. Durch die Kopplung an die Präsentationssoftware werden Lernaufgaben, Umfragen und Nachrichten direkt mit der Präsentation angelegt (Abb. 1). Während der Vorlesung werden die angelegten Fragen, Lernaufgaben, Nachrichten und Umfragen dann automatisch auf der jeweils gekoppelten Folie ausgeliefert. Sowohl beim Anlegen als auch beim Abschicken wurde somit bewusst darauf geachtet, den zusätzlichen Workload für Dozierende so gering wie möglich zu halten. Hat der Lehrende vorbereitende Lernaufgaben und Kursfragen definiert, werden diese den Studierenden schon vor der Veranstaltung angezeigt. Somit kann der Dozierende vorab Iris Braun, Felix Kapp, Tenshi Hara, Tommy Kubica, Alexander Schill einen Überblick über die Teilnehmer und deren Vorwissen erhalten. Außerdem kann auch der Inhalt der vergangenen Vorlesungen noch einmal abgefragt und so durch die Studie- renden rekapituliert werden. Abb. 1: PowerPoint-Plugin AMCS Lecturer (der Dozent legt auf Folie 1 der Vorlesung eine Freitext-Frage an) 2.2 Während der Vorlesung Während der Vorlesung im Vorlesungssaal starten die Dozierenden ihr Präsentationspro- gramm (z. B. PowerPoint) zusammen mit der AMCS Lecturer App. Dadurch werden die Folienwechsel automatisch an den Server übermittelt, dieser löst die Darstellung der Fra- gen, Nachrichten, Umfragen und Lernaufgaben aus. Sollte der Dozent keine Lecturer App verwenden, kann er die Vorlesung auch über die AMCS-Webseite manuell steuern. Alle Funktionalitäten von AMCS können mittels Smartphones bzw. anderen internetfähigen Geräten genutzt werden. Sowohl die Umfragen und Lernaufgaben als auch die Nachrich- ten sowie die jeweiligen Ergebnisdarstellungen für die Dozierenden werden in einer web- basierten Anwendung oder in nativen Apps zur Verfügung gestellt. Auf die vier wichtigs- ten Funktionalitäten wird im Folgenden näher eingegangen: Abfrage von Interessen und persönlichen Zielen: Durch einige wenige Fragen werden zu Beginn der Vorlesung die persönlichen Ziele erfasst. So kann nachfolgend durchaus unterschiedlichen Zielstellungen Rechnung getragen werden. Die erhobene Information dient als Grundlage für Nachrichten und Hinweise, die zu späteren Zeitpunkten an die Studierenden geschickt werden, um ihnen bei der Regulation des eigenen Lernprozesses zu helfen. Gleichzeitig regt sie diese kurze Befragung an, sich über ihre eigenen Ziele und Interessen klar zu werden und sie ggf. zu präzisieren. Lernaufgaben am Anfang, in der Mitte und am Ende der Vorlesung: Interaktive Lern- aufgaben können den Lernprozess sowohl bei den notwendigen kognitiven als auch me- takognitiven Prozessen unterstützen [Ka11, Ma09]. Zeitlich am Anfang, in der Mitte und AMCS – ein ARS und Evaluationstool der nächsten Generation am Ende der Vorlesung angesiedelt, unterstützen sie die Studierenden bei einer aktiven Auseinandersetzung mit dem Inhalt (Beispiel-Lernaufgaben in Abb. 2). Im Gegensatz zu bisherigen Clicker-Systemen, die den Dozierenden ein Meinungsbild der Studierenden liefern, erhalten die Lernenden direktes individuelles Feedback. Lernaufgaben fördern zeitnah zur Stoffvermittlung bei den Studierenden einen aktiven, konstruktiven und höchst individuellen Wissenserwerbsprozess. Zu Beginn der Vorlesung fördern sie das Aktivieren von Vorwissen, legen die Anforderungen offen und lenken die Aufmerksamkeit auf relevante Inhalte. In der Mitte der Vorlesung kann der bisherige Stoff wiederholt werden und die Studierenden erhalten ein erstes Feedback hinsichtlich ihres Lernprozesses [Ka14]. Lernaufgaben am Ende der Veranstaltung dienen der Wissenskon- solidierung und bieten die Möglichkeit sich kritisch zu überprüfen: In Abhängigkeit ihrer Ziele können die Studierenden Konsequenzen für zukünftige Veranstaltungen hinsichtlich Aufmerksamkeits- und Motivationsregulation sowie der angewendeten Lernstrategien ziehen. Abb. 2: Studierendenbefragung, Lernaufgaben, Prompts auf dem Smartphone und einer Smartwatch in AMCS (Beispiele aus der Vorlesung „Serious Games“) Prompts bzw. individuelle Nachrichten während der Vorlesung: Ziel der Prompts ist die Unterstützung der Studierenden bei der Aufmerksamkeitsregulation und der Zielerrei- chung in der Vorlesung (metakognitive Prompts). Die Prompts erfolgen in Form von Push- Nachrichten. In Abhängigkeit von Hintergrund und individuellen Zielen werden strategi- sche Hinweise während der Vorlesung gegeben. Darüber hinaus werden Nachrichten mit dem Ziel versandt, Studierenden beim Schließen von Wissenslücken zu unterstützen (kog- nitive Prompts). So bekommen Studierende, welche bei einer Lernaufgabe zu Beginn Feh- ler gemacht haben, zu einem späteren Zeitpunkt Hinweise bei Folien mit Wiederholungen, tiefergehenden Erklärungen, etc. Mit Hilfe von Nachrichten können auch Diskussionen initiiert, in Ausnahmefällen sogar inszeniert werden (Scripted Discussions); Ziel des Scriptings ist es, Anteile der Vorlesungszeit optimal für argumentativen Austausch zu nut- zen, wenn Wortmeldungen nur zaghaft oder gar nicht zu Stande kämen. Iris Braun, Felix Kapp, Tenshi Hara, Tommy Kubica, Alexander Schill Auswertungen für die Dozierenden während der Veranstaltung: Lehrende können je- derzeit auf die Live-Daten zugreifen, um ihre Präsentationen unmittelbar zu verbessern oder auf einzelne Probleme direkt einzugehen. Da sie im Vortrag damit beschäftigt sind, Inhalte zu vermitteln und Stoff zu erklären, sollte die Bereitstellung von Evaluationsrück- meldungen auf die wirklich notwendigen Informationen reduziert werden. Insbesondere während der Unterbrechungen, in der Studierende die Lernaufgaben beantworten (siehe oben), können Lehrende über die Ergebnisse der Lernaufgaben prüfen, ob die Lernenden das aktuelle Thema verstanden haben. Wenn Sie die Ergebnisse der Lernaufgaben thema- tisieren und direkt mit den Studierenden diskutieren wollen, können Sie die Auswertungs- ansicht in Form von Diagrammen auch direkt anzeigen (siehe Abb.3). Abb. 3: Live-Auswertungsansicht für den Dozierenden AMCS – ein ARS und Evaluationstool der nächsten Generation Abb. 4: Evaluation Center – Aufbereitung von Umfragen und Lernleistungen (erhoben durch die Lernaufgaben) für einzelne Subgruppen – über Filter können Bedingungen (bspw. unterschiedliche Ziele) ausgewählt werden, Ergebnisse werden dann nur für Substichprobe angezeigt 2.3 Nach der Lehrveranstaltung Im Anschluss an die Lehrveranstaltung haben die Dozierenden die Möglichkeit mit Hilfe von AMCS ihre eigene Veranstaltung zu evaluieren. AMCS verfolgt eine konkrete Um- setzung des Learning-Analytics-Ansatzes für universitäre Vorlesungen mit 50 bis 500 Teilnehmenden. Es können nicht nur klassische Evaluationsfragebögen umgesetzt und un- mittelbar ausgewertet (und mit den Studierenden diskutiert) werden. Sondern die selbst- berichteten Leistungszuwächse und Qualitätseinschätzungen der Studierenden können so- fort den Leistungsdaten aus den in der Veranstaltung verwendeten Lernaufgaben gegen- übergestellt werden. Im „Evaluationscenter“ (Abb. 4) können die Lehrenden darüber hin- aus Analysen für bestimmte Subgruppen des Auditoriums durchführen. Bspw. kann man untersuchen inwiefern Studierende aus unterschiedlichen Studiengängen auch unter- schiedlich abschneiden und die Lehrveranstaltung unterschiedlich bewerten. Eine Bewer- tung der Leistungsentwicklung über das Semester hinweg ist möglich. 3 Begleitforschung und Evaluation von AMCS Im Zuge der Entwicklung von AMCS wurden sowohl zahlreiche Evaluationsuntersuchun- Iris Braun, Felix Kapp, Tenshi Hara, Tommy Kubica, Alexander Schill gen in realen Vorlesungen als auch Experimente zu den zu Grunde liegenden Mechanis- men in idealisierten Laborumgebungen durchgeführt. In Anlehnung an die unterschiedli- chen Wirkungsebenen von Verbesserungen im Bildungsbereich [Ki79] wurde dabei als erstes auf Reaktionsebene erfasst, inwiefern die Studierenden in den unterschiedlichen Pi- lotvorlesungen, in denen AMCS eingesetzt wurde, das Tool und die Verwendung von AMCS einschätzen. In insgesamt sieben Lehrveranstaltungen (3x Psychologie, 2x Infor- matik, 1x Physik, 1x Wirtschaftswissenschaften) wurde dabei bei den Teilnehmenden er- fragt, inwiefern sie die Lernaufgaben, die Umfragen, die Nachrichten und die Evaluati- onsmöglichkeiten als lernförderlich bzw. hilfreich einschätzen. Der Einsatz von AMCS wurde insgesamt als positiv bewertet. Die Studierenden gaben an, dass das Tool und die Umfragen die Interaktivität erhöhten. Die Lernaufgaben wurden als unterstützend wahr- genommen. Der Einsatz von Nachrichten wurden in den Veranstaltungen, in denen sie zum Einsatz kamen und bewertet wurden, unterschiedlich eingeschätzt. Während einige Studierende angaben, dass diese Art von Unterstützung hilfreich sein könnte, bezweifelten andere einen Mehrwert. Um auch Aussagen auf der nächsten Ebene (Effekte auf Ebene der Lernprozesse und Ver- halten in der Lehrveranstaltung) treffen zu können, wird AMCS auch experimentell unter kontrollierten Bedingungen untersucht. Dafür werden Versuchsteilnehmende gebeten, sich eine aufgezeichnete Vorlesung im Labor anzuschauen. Dabei werden sie durch die Verwendung von AMCS unterstützt oder nicht. Es wurden drei experimentelle Studien durchgeführt, welche die Effekte von Lernaufgaben, Nachrichten und der Unterstützung des Zielsetzungsprozesses zu Beginn der Veranstaltung adressierten. In Übereinstimmung mit den Ergebnissen auf der Reaktionsebene konnte dabei aufgezeigt werden, dass die Lernaufgaben in Verbindung mit Nachrichten unterstützende Wirkung entfalten können. Beim Einsatz der Nachrichten kommt es hingegen darauf an, diese adaptiv und passend zu den individuellen Lernzielen der Studierenden anzulegen. Zukünftige Untersuchungen sollen konkrete Erfolgsfaktoren für den Einsatz der einzelnen Features ermitteln und zu Grunde liegende kognitive, motivationale und metakognitive Prozesse identifizieren. 4 Zusammenfassung und Ausblick Mit AMCS wird derzeit ein Tool entwickelt, welches Lehrende und Studierende vor, wäh- rend und nach Lehrveranstaltung bei der Gestaltung des Lernprozesses unterstützt. Durch die Kooperation von Lernpsychologen mit Informatikern ist dabei ein konzept- und um- setzungsstarker Prototyp entstanden, welcher sowohl in der Praxis evaluiert als auch wis- senschaftlich in Experimenten untersucht wird. AMCS zeichnet sich zusätzlich zu den klassischen ARS Funktionen durch Lernaufgaben, Prompts/Push-Notifications und um- fangreiche Evaluationsmöglichkeiten aus. Teil der inhaltlichen Weiterentwicklung ist eine Diskussion der einzelnen Features und eine Untersuchung der Erfolgsfaktoren für den Ein- satz von ARS. Das Ziel des Projektes ist es, AMCS unter einer noch zu bestimmenden Open-Source-Lizenz allgemein verfügbar zu machen. Der Funktionsumfang soll auf Mo- dule verteilt werden, welche auf einer gemeinsamen Datenbasis voneinander unabhängig AMCS – ein ARS und Evaluationstool der nächsten Generation eingesetzt werden können. Damit soll eine funktionale Überfrachtung des Systems und damit eine Überforderung der Nutzer vermieden werden. Nichtsdestotrotz ist geplant, dass diese Module auch gemeinschaftlich verwendet werden können (Single Sign-On). AMCS ist erreichbar unter https://amcs.website/. Literaturverzeichnis [Ka11] Kapp, Felix et al.: Interaktive Lernaufgaben als Erfolgsfaktor für E-Learning. Zeitschrift für E-Learning, 6/1, S.21-32, 2011. [Ka14] Kapp, Felix et al.: Metacognitive Support in University Lectures Provided via Mobile Devices - How to Help Students to Regulate Their Learning Process during a 90-minute Class. In Proc. CSEDU 2014, S. 194-199, 2014. [Ki79] Kirkpatrick, Donald L.: Techniques for evaluating training programs. Training and de- velopment journal, 33, 1979. [Ku17] Kubica, Tommy et al.: Geführte Auswahl von IT-basierten Lehr-/Lern-Werkzeugen. In Proc. DeLFI 2017, in Druck, 2017 [Ma09] Mayer, Richard E. et al.: Clickers in college classrooms: Fostering learning with ques- tioning methods in large lecture classes. Contemporary Educational Psychology, 34/1, S. 51-57, 2009. [Se03] Seel, N.M. (2003). Psychologie des Lernens (2. Aufl.). München: Ernst Reinhardt (UTB). [WB13] Weber, Karin; Becker, Bernd: Formative Evaluation des mobilen Classroom-Response- Systems SMILE. In (Bremer, Claudia; Krömker, Detlef, Hrsg.): E-Learning zwischen Vision und Alltag, S. 277-289, 2013.