=Paper=
{{Paper
|id=Vol-2092/paper7
|storemode=property
|title=AMCS (Auditorium Mobile Classroom Service) – ein ARS mit Lernaufgaben, Push–Notifications und umfangreichen Evaluationsmöglichkeiten(AMCS (Auditorium Mobile Classroom Service) – an ARS with Learning Questions, Push Notifications, and Extensive Means of Evaluation)
|pdfUrl=https://ceur-ws.org/Vol-2092/paper7.pdf
|volume=Vol-2092
|authors=Iris Braun,Felix Kapp,Tenshi Hara,Tommy Kubica,Alexander Schill
|dblpUrl=https://dblp.org/rec/conf/delfi/BraunKHKS17
}}
==AMCS (Auditorium Mobile Classroom Service) – ein ARS mit Lernaufgaben, Push–Notifications und umfangreichen Evaluationsmöglichkeiten(AMCS (Auditorium Mobile Classroom Service) – an ARS with Learning Questions, Push Notifications, and Extensive Means of Evaluation)==
https://ceur-ws.org/Vol-2092/paper7.pdf
Carsten Ullrich, Martin Wessner (Eds.): Proceedings of DeLFI and GMW Workshops 2017
Chemnitz, Germany, September 5, 2017
AMCS (Auditorium Mobile Classroom Service) – an ARS
with Learning Questions, Push Notifications, and extensive
Means of Evaluation
Iris Braun, Felix Kapp, Tenshi Hara, Tommy Kubica, Alexander Schill
Abstract: How can students be motivated to actively engage learning contents? How can
teachers and students be encouraged to discuss contents of lectures and seminars, or to
exchange problems and ideas with respect to material? Audience Response Systems
(ARS) enable more interactive lectures. This paper provides a brief overview and
preliminary research results of Auditorium Mobile Classroom Service (AMCS), an ARS
developed at TU Dresden. AMCS’ functionality is based on an establish didactics concept.
Carsten Ullrich, Martin Wessner (Eds.): Proceedings of DeLFI and GMW Workshops 2017
Chemnitz, Germany, September 5, 2017
AMCS (Auditorium Mobile Classroom Service) – ein ARS
mit Lernaufgaben, Push-Notifications und umfangreichen
Evaluationsmöglichkeiten
Iris Braun1, Felix Kapp2, Tenshi Hara1, Tommy Kubica1, Alexander Schill1
Abstract: Wie bekommt man die Teilnehmenden einer Lehrveranstaltung dazu, sich aktiv mit den
Lerninhalten auseinanderzusetzen? Wie schafft man es, dass sich die Lehrenden und die Lernenden
in Vorlesungen und Seminaren über den Inhalt, Verständnisprobleme oder weiterführendes Interesse
zu einem Lehrthema austauschen? Audience Response Systeme (ARS) bieten vielfältige Möglich-
keiten, Lehrveranstaltungen interaktiver zu gestalten. Dieser Beitrag stellt das an der TU Dresden
entwickelte Audience Response System AMCS (Auditorium Mobile Classroom Service) mit seinen
auf didaktischen Konzepten basierenden Funktionalitäten vor und zeigt erste Ergebnisse der Be-
gleitforschung und Evaluation auf.
Keywords: AMCS, Audience Response System, Selbstreguliertes Lernen, Interaktive Vorlesung
1 Einleitung
Vorlesungen sind immer noch ein wichtiger Bestandteil der universitären Lehre. In ihnen
wird durch eine dozierende Lehrperson Expertenwissen vermittelt. Die Studierenden se-
hen sich dabei hohen Anforderungen ausgesetzt: sie müssen über 90 Minuten hinweg auf-
merksam sein, den vermittelten Inhalten folgen, diese analysieren, in den Kontext setzen
und potentielle Ablenkungen vom Lehrgeschehen ignorieren. Das Veranstaltungsformat
ist dabei in der Regel starr und lässt wenig Raum für Interaktionen zwischen Zuhörenden
und Dozierenden.
Dem gegenüber steht, dass Lernen, nach [Se03] ein aktiver, konstruktiver und höchst in-
dividueller Prozess ist. Dies scheint insbesondere in Großveranstaltungen nur schwer
möglich. Mangelnde Interaktion führt oftmals zu Monotonie. Studierende folgen einer
ganzen Vorlesung nicht auf einem konstanten Aufmerksamkeitsniveau (Llyod‘sche Auf-
merksamkeitskurve). Stattdessen unterliegen Fokus und Niveau der Aufmerksamkeit
Schwankungen, abhängig einerseits von den individuellen Erwartungen, den eigenen Zie-
len und der Motivation, andererseits von den Umgebungsbedingungen. Die Anwesenden
1 Technische Universität Dresden, Fakultät Informatik, Professur für Rechnernetze, 01062 Dresden,
{vorname}.{nachname}@tu-dresden.de
2 Technische Universität Dresden, Fachrichtung Psychologie, Professur für die Psychologie des Lehrens und
Lernens, 01062 Dresden, felix.kapp@tu-dresden.de
Iris Braun, Felix Kapp, Tenshi Hara, Tommy Kubica, Alexander Schill
schalten ab oder sind im Internet mit anderen Dingen beschäftigt. Wenn die eigene Moti-
vation und Aufmerksamkeit nicht erfolgreich reguliert werden kann, führt dies dazu, dass
Wissenslücken nicht geschlossen werden und Informationen, die für die Erreichung der
eigenen Ziele notwendig wären, nicht erfolgreich verarbeitet werden. Die Studierenden
schaffen es nicht, ein adäquates mentales Modell des Themas der Vorlesung aufzubauen
[Ka14] – sie lernen nicht. Und obwohl längst klar ist, dass mit Hilfe des Internets zahlrei-
che zusätzliche Informationsquellen zur Verfügung stehen, die den Lernraum über den
Vorlesungssaal hinweg erweitern, werden Smartphones, Notebooks und Tablets in Vorle-
sungen oftmals nicht gewinnbringend eingesetzt, sondern wirken eher ablenkend, da sie
Möglichkeiten bieten, sich mit anderen Dingen zu beschäftigen.
Aus der Perspektive der Lehrenden stellt sich in der Vorlesung immer wieder die Heraus-
forderung, die Lehrveranstaltung an die studentischen Bedürfnisse anzupassen. Dabei ste-
hen sie vor allem in Großveranstaltungen vor dem Problem, ein sehr heterogenes3 Publi-
kum zu haben, welches darüber hinaus auch sehr unterschiedliche Interessen in der Ver-
anstaltung verfolgt. Um auf die Studierenden einzugehen, benötigen sie Informationen
über das Vorwissen, die Interessen, die Motivation und allgemeine Lernstrategien ihrer
Studierenden. Die klassische Evaluation, welche in den meisten Lehrveranstaltungen
durchgeführt wird, hat zwar das Ziel, Ansätze für die Lösung dieser Probleme zu bieten,
kommt aber meist zu spät und bietet durch die subjektiven Einschätzungen der Studieren-
den auch nur eine Art von Daten. Auditorium Mobile Classroom Service (AMCS) ist
ein an der TU Dresden entwickeltes Tool, welches Lehrende und Lernende in der Vorbe-
reitung, Durchführung und Nachbereitung der Vorlesung unter Verwendung ihrer mobilen
Endgeräte unterstützt, um diese Herausforderungen zu bewältigen.
2 Auditorium Mobile Classroom Service - Walk Through
AMCS wurde durch Wissenschaftler der Fachrichtung Psychologie und der Fakultät In-
formatik der TU Dresden entwickelt. Ähnlich wie bei modernen Audience Response Sys-
temen (z. B. ARSnova oder SMILE, [WB13]) wird dabei die Beteiligung des Auditoriums
durch die eigenen mobilen Geräte (Smartphones, Tablets, Notebooks) ermöglicht. Die In-
novation bei AMCS besteht darin, dass dieser einmal etablierte Kommunikationskanal
zwischen Lehrperson und Studierenden genutzt wird, um die Studierenden gezielt bei der
Bewältigung der Anforderungen in einer Vorlesung zu unterstützen. Die Dozierenden
können über AMCS Umfragen und verschiedene Lernaufgaben in ihrer Veranstaltung
durchführen. Darüber hinaus können sie einzelnen Studierenden in Abhängigkeit ihrer in-
dividuellen Ziele und ihres Vorwissens adaptive Nachrichten während der Veranstaltung
auf ihre Geräte senden (automatisiert). Diese Features von AMCS erlauben es zum einen
1) Studierende technologiegestützt beim Selbstregulierten Lernen zu unterstützen, zum
anderen wird dadurch 2) der Lernraum der Vorlesung bewusst erweitert. So ist es möglich,
3 Zum Beispiel die Lehrveranstaltung „Rechnernetze“ an der TU Dresden: mindestens 7 Studiengänge, Zuhörer
und Zuhörerinnen im Altersbereich 18 bis 45, Erst- und Wiederholungshörer in Haupt- und Nebenfach.
AMCS – ein ARS und Evaluationstool der nächsten Generation
Studierenden weiterführende Links und Materialien zu senden und so die bereits perma-
nent vorhandene Nutzung des Internets innerhalb von Präsenzveranstaltungen in Richtung
themenrelevanter Materialien zu lenken. AMCS adressiert 3) ganz konkret die Umsetzung
eines Learning-Analytics-Ansatzes für universitäre Vorlesungen. Mit Hilfe des Tools ist
es nicht nur möglich, klassische Evaluationsfragebögen umzusetzen, sie unmittelbar aus-
zuwerten und mit den Studierenden zu diskutieren, sondern auch die selbstberichteten
Leistungszuwächse und Qualitätseinschätzungen der Studierenden Leistungsdaten aus
den in der Veranstaltung verwendeten Lernaufgaben gegenüberzustellen. Im Folgenden
werden die Funktionalitäten von AMCS dargestellt.
2.1 Vor Beginn einer Vorlesung
Vor dem Start einer Vorlesungsreihe wird der Lehrende innerhalb der AMCS-Webseite
durch das Anlegen einer Veranstaltung geführt. Durch die Abfrage von Parametern (Teil-
nehmerzahl, Zeitpunkt im Semester, Verfügbare Zeit, usw.) kann AMCS eine Vorauswahl
von geeigneten, sinnvollen Funktionen treffen. Dadurch werden Lehrende deutlich entlas-
tet, insbesondere da die Vorschläge bereits auf didaktische Sinnhaftigkeit geprüft wurden.
Näheres dazu im DeLFI-Beitrag [Ku17].
Zu den Funktionen von AMCS gehören:
Fragen in verschiedenen Formaten (Freitext, Multiple Choice, Single Choice, Li-
kert-Skala) und zu verschiedenen Zeitpunkten (vor, während, nach der Lehrver-
anstaltung),
Lernaufgaben (sowohl Multiple-Choice als auch Single-Choice) mit individuel-
lem Feedback,
Nachrichten mit unterschiedlichen Inhalten an ausgewählte Studierende,
Live-Bewertung hinsichtlich der Lautstärke und Geschwindigkeit und
die Möglichkeit, Fragen an die Dozierenden und die Kommilitonen zu stellen.
Innerhalb der Veranstaltungsreihe können die Dozierenden im Vorfeld jedes einzelnen
Termins Umfragen, Lernaufgaben und Nachrichten anlegen, entweder online über die
AMCS-Webseite oder gekoppelt an das Präsentationsprogramm mit der Lecturer-App
(derzeit verfügbar als PowerPoint-Plugin und Keynote-Begleitprogramm).
Bei der Entwicklung wurde dabei die Arbeitsweise der meisten Lehrenden berücksichtigt.
Dozierende strukturieren ihre Vorlesungen heutzutage größtenteils mit Hilfe von Soft-
ware-gestützten Präsentationen. Durch die Kopplung an die Präsentationssoftware werden
Lernaufgaben, Umfragen und Nachrichten direkt mit der Präsentation angelegt (Abb. 1).
Während der Vorlesung werden die angelegten Fragen, Lernaufgaben, Nachrichten und
Umfragen dann automatisch auf der jeweils gekoppelten Folie ausgeliefert. Sowohl beim
Anlegen als auch beim Abschicken wurde somit bewusst darauf geachtet, den zusätzlichen
Workload für Dozierende so gering wie möglich zu halten.
Hat der Lehrende vorbereitende Lernaufgaben und Kursfragen definiert, werden diese den
Studierenden schon vor der Veranstaltung angezeigt. Somit kann der Dozierende vorab
Iris Braun, Felix Kapp, Tenshi Hara, Tommy Kubica, Alexander Schill
einen Überblick über die Teilnehmer und deren Vorwissen erhalten. Außerdem kann auch
der Inhalt der vergangenen Vorlesungen noch einmal abgefragt und so durch die Studie-
renden rekapituliert werden.
Abb. 1: PowerPoint-Plugin AMCS Lecturer
(der Dozent legt auf Folie 1 der Vorlesung eine Freitext-Frage an)
2.2 Während der Vorlesung
Während der Vorlesung im Vorlesungssaal starten die Dozierenden ihr Präsentationspro-
gramm (z. B. PowerPoint) zusammen mit der AMCS Lecturer App. Dadurch werden die
Folienwechsel automatisch an den Server übermittelt, dieser löst die Darstellung der Fra-
gen, Nachrichten, Umfragen und Lernaufgaben aus. Sollte der Dozent keine Lecturer App
verwenden, kann er die Vorlesung auch über die AMCS-Webseite manuell steuern. Alle
Funktionalitäten von AMCS können mittels Smartphones bzw. anderen internetfähigen
Geräten genutzt werden. Sowohl die Umfragen und Lernaufgaben als auch die Nachrich-
ten sowie die jeweiligen Ergebnisdarstellungen für die Dozierenden werden in einer web-
basierten Anwendung oder in nativen Apps zur Verfügung gestellt. Auf die vier wichtigs-
ten Funktionalitäten wird im Folgenden näher eingegangen:
Abfrage von Interessen und persönlichen Zielen: Durch einige wenige Fragen werden
zu Beginn der Vorlesung die persönlichen Ziele erfasst. So kann nachfolgend durchaus
unterschiedlichen Zielstellungen Rechnung getragen werden. Die erhobene Information
dient als Grundlage für Nachrichten und Hinweise, die zu späteren Zeitpunkten an die
Studierenden geschickt werden, um ihnen bei der Regulation des eigenen Lernprozesses
zu helfen. Gleichzeitig regt sie diese kurze Befragung an, sich über ihre eigenen Ziele und
Interessen klar zu werden und sie ggf. zu präzisieren.
Lernaufgaben am Anfang, in der Mitte und am Ende der Vorlesung: Interaktive Lern-
aufgaben können den Lernprozess sowohl bei den notwendigen kognitiven als auch me-
takognitiven Prozessen unterstützen [Ka11, Ma09]. Zeitlich am Anfang, in der Mitte und
AMCS – ein ARS und Evaluationstool der nächsten Generation
am Ende der Vorlesung angesiedelt, unterstützen sie die Studierenden bei einer aktiven
Auseinandersetzung mit dem Inhalt (Beispiel-Lernaufgaben in Abb. 2). Im Gegensatz zu
bisherigen Clicker-Systemen, die den Dozierenden ein Meinungsbild der Studierenden
liefern, erhalten die Lernenden direktes individuelles Feedback.
Lernaufgaben fördern zeitnah zur Stoffvermittlung bei den Studierenden einen aktiven,
konstruktiven und höchst individuellen Wissenserwerbsprozess. Zu Beginn der Vorlesung
fördern sie das Aktivieren von Vorwissen, legen die Anforderungen offen und lenken die
Aufmerksamkeit auf relevante Inhalte. In der Mitte der Vorlesung kann der bisherige Stoff
wiederholt werden und die Studierenden erhalten ein erstes Feedback hinsichtlich ihres
Lernprozesses [Ka14]. Lernaufgaben am Ende der Veranstaltung dienen der Wissenskon-
solidierung und bieten die Möglichkeit sich kritisch zu überprüfen: In Abhängigkeit ihrer
Ziele können die Studierenden Konsequenzen für zukünftige Veranstaltungen hinsichtlich
Aufmerksamkeits- und Motivationsregulation sowie der angewendeten Lernstrategien
ziehen.
Abb. 2: Studierendenbefragung, Lernaufgaben, Prompts auf dem Smartphone und
einer Smartwatch in AMCS (Beispiele aus der Vorlesung „Serious Games“)
Prompts bzw. individuelle Nachrichten während der Vorlesung: Ziel der Prompts ist die
Unterstützung der Studierenden bei der Aufmerksamkeitsregulation und der Zielerrei-
chung in der Vorlesung (metakognitive Prompts). Die Prompts erfolgen in Form von Push-
Nachrichten. In Abhängigkeit von Hintergrund und individuellen Zielen werden strategi-
sche Hinweise während der Vorlesung gegeben. Darüber hinaus werden Nachrichten mit
dem Ziel versandt, Studierenden beim Schließen von Wissenslücken zu unterstützen (kog-
nitive Prompts). So bekommen Studierende, welche bei einer Lernaufgabe zu Beginn Feh-
ler gemacht haben, zu einem späteren Zeitpunkt Hinweise bei Folien mit Wiederholungen,
tiefergehenden Erklärungen, etc. Mit Hilfe von Nachrichten können auch Diskussionen
initiiert, in Ausnahmefällen sogar inszeniert werden (Scripted Discussions); Ziel des
Scriptings ist es, Anteile der Vorlesungszeit optimal für argumentativen Austausch zu nut-
zen, wenn Wortmeldungen nur zaghaft oder gar nicht zu Stande kämen.
Iris Braun, Felix Kapp, Tenshi Hara, Tommy Kubica, Alexander Schill
Auswertungen für die Dozierenden während der Veranstaltung: Lehrende können je-
derzeit auf die Live-Daten zugreifen, um ihre Präsentationen unmittelbar zu verbessern
oder auf einzelne Probleme direkt einzugehen. Da sie im Vortrag damit beschäftigt sind,
Inhalte zu vermitteln und Stoff zu erklären, sollte die Bereitstellung von Evaluationsrück-
meldungen auf die wirklich notwendigen Informationen reduziert werden. Insbesondere
während der Unterbrechungen, in der Studierende die Lernaufgaben beantworten (siehe
oben), können Lehrende über die Ergebnisse der Lernaufgaben prüfen, ob die Lernenden
das aktuelle Thema verstanden haben. Wenn Sie die Ergebnisse der Lernaufgaben thema-
tisieren und direkt mit den Studierenden diskutieren wollen, können Sie die Auswertungs-
ansicht in Form von Diagrammen auch direkt anzeigen (siehe Abb.3).
Abb. 3: Live-Auswertungsansicht für den Dozierenden
AMCS – ein ARS und Evaluationstool der nächsten Generation
Abb. 4: Evaluation Center – Aufbereitung von Umfragen und Lernleistungen (erhoben durch die
Lernaufgaben) für einzelne Subgruppen – über Filter können Bedingungen (bspw. unterschiedliche
Ziele) ausgewählt werden, Ergebnisse werden dann nur für Substichprobe angezeigt
2.3 Nach der Lehrveranstaltung
Im Anschluss an die Lehrveranstaltung haben die Dozierenden die Möglichkeit mit Hilfe
von AMCS ihre eigene Veranstaltung zu evaluieren. AMCS verfolgt eine konkrete Um-
setzung des Learning-Analytics-Ansatzes für universitäre Vorlesungen mit 50 bis 500
Teilnehmenden. Es können nicht nur klassische Evaluationsfragebögen umgesetzt und un-
mittelbar ausgewertet (und mit den Studierenden diskutiert) werden. Sondern die selbst-
berichteten Leistungszuwächse und Qualitätseinschätzungen der Studierenden können so-
fort den Leistungsdaten aus den in der Veranstaltung verwendeten Lernaufgaben gegen-
übergestellt werden. Im „Evaluationscenter“ (Abb. 4) können die Lehrenden darüber hin-
aus Analysen für bestimmte Subgruppen des Auditoriums durchführen. Bspw. kann man
untersuchen inwiefern Studierende aus unterschiedlichen Studiengängen auch unter-
schiedlich abschneiden und die Lehrveranstaltung unterschiedlich bewerten. Eine Bewer-
tung der Leistungsentwicklung über das Semester hinweg ist möglich.
3 Begleitforschung und Evaluation von AMCS
Im Zuge der Entwicklung von AMCS wurden sowohl zahlreiche Evaluationsuntersuchun-
Iris Braun, Felix Kapp, Tenshi Hara, Tommy Kubica, Alexander Schill
gen in realen Vorlesungen als auch Experimente zu den zu Grunde liegenden Mechanis-
men in idealisierten Laborumgebungen durchgeführt. In Anlehnung an die unterschiedli-
chen Wirkungsebenen von Verbesserungen im Bildungsbereich [Ki79] wurde dabei als
erstes auf Reaktionsebene erfasst, inwiefern die Studierenden in den unterschiedlichen Pi-
lotvorlesungen, in denen AMCS eingesetzt wurde, das Tool und die Verwendung von
AMCS einschätzen. In insgesamt sieben Lehrveranstaltungen (3x Psychologie, 2x Infor-
matik, 1x Physik, 1x Wirtschaftswissenschaften) wurde dabei bei den Teilnehmenden er-
fragt, inwiefern sie die Lernaufgaben, die Umfragen, die Nachrichten und die Evaluati-
onsmöglichkeiten als lernförderlich bzw. hilfreich einschätzen. Der Einsatz von AMCS
wurde insgesamt als positiv bewertet. Die Studierenden gaben an, dass das Tool und die
Umfragen die Interaktivität erhöhten. Die Lernaufgaben wurden als unterstützend wahr-
genommen. Der Einsatz von Nachrichten wurden in den Veranstaltungen, in denen sie
zum Einsatz kamen und bewertet wurden, unterschiedlich eingeschätzt. Während einige
Studierende angaben, dass diese Art von Unterstützung hilfreich sein könnte, bezweifelten
andere einen Mehrwert.
Um auch Aussagen auf der nächsten Ebene (Effekte auf Ebene der Lernprozesse und Ver-
halten in der Lehrveranstaltung) treffen zu können, wird AMCS auch experimentell unter
kontrollierten Bedingungen untersucht. Dafür werden Versuchsteilnehmende gebeten,
sich eine aufgezeichnete Vorlesung im Labor anzuschauen. Dabei werden sie durch die
Verwendung von AMCS unterstützt oder nicht. Es wurden drei experimentelle Studien
durchgeführt, welche die Effekte von Lernaufgaben, Nachrichten und der Unterstützung
des Zielsetzungsprozesses zu Beginn der Veranstaltung adressierten. In Übereinstimmung
mit den Ergebnissen auf der Reaktionsebene konnte dabei aufgezeigt werden, dass die
Lernaufgaben in Verbindung mit Nachrichten unterstützende Wirkung entfalten können.
Beim Einsatz der Nachrichten kommt es hingegen darauf an, diese adaptiv und passend
zu den individuellen Lernzielen der Studierenden anzulegen. Zukünftige Untersuchungen
sollen konkrete Erfolgsfaktoren für den Einsatz der einzelnen Features ermitteln und zu
Grunde liegende kognitive, motivationale und metakognitive Prozesse identifizieren.
4 Zusammenfassung und Ausblick
Mit AMCS wird derzeit ein Tool entwickelt, welches Lehrende und Studierende vor, wäh-
rend und nach Lehrveranstaltung bei der Gestaltung des Lernprozesses unterstützt. Durch
die Kooperation von Lernpsychologen mit Informatikern ist dabei ein konzept- und um-
setzungsstarker Prototyp entstanden, welcher sowohl in der Praxis evaluiert als auch wis-
senschaftlich in Experimenten untersucht wird. AMCS zeichnet sich zusätzlich zu den
klassischen ARS Funktionen durch Lernaufgaben, Prompts/Push-Notifications und um-
fangreiche Evaluationsmöglichkeiten aus. Teil der inhaltlichen Weiterentwicklung ist eine
Diskussion der einzelnen Features und eine Untersuchung der Erfolgsfaktoren für den Ein-
satz von ARS. Das Ziel des Projektes ist es, AMCS unter einer noch zu bestimmenden
Open-Source-Lizenz allgemein verfügbar zu machen. Der Funktionsumfang soll auf Mo-
dule verteilt werden, welche auf einer gemeinsamen Datenbasis voneinander unabhängig
AMCS – ein ARS und Evaluationstool der nächsten Generation
eingesetzt werden können. Damit soll eine funktionale Überfrachtung des Systems und
damit eine Überforderung der Nutzer vermieden werden. Nichtsdestotrotz ist geplant, dass
diese Module auch gemeinschaftlich verwendet werden können (Single Sign-On). AMCS
ist erreichbar unter https://amcs.website/.
Literaturverzeichnis
[Ka11] Kapp, Felix et al.: Interaktive Lernaufgaben als Erfolgsfaktor für E-Learning. Zeitschrift
für E-Learning, 6/1, S.21-32, 2011.
[Ka14] Kapp, Felix et al.: Metacognitive Support in University Lectures Provided via Mobile
Devices - How to Help Students to Regulate Their Learning Process during a 90-minute
Class. In Proc. CSEDU 2014, S. 194-199, 2014.
[Ki79] Kirkpatrick, Donald L.: Techniques for evaluating training programs. Training and de-
velopment journal, 33, 1979.
[Ku17] Kubica, Tommy et al.: Geführte Auswahl von IT-basierten Lehr-/Lern-Werkzeugen. In
Proc. DeLFI 2017, in Druck, 2017
[Ma09] Mayer, Richard E. et al.: Clickers in college classrooms: Fostering learning with ques-
tioning methods in large lecture classes. Contemporary Educational Psychology, 34/1,
S. 51-57, 2009.
[Se03] Seel, N.M. (2003). Psychologie des Lernens (2. Aufl.). München: Ernst Reinhardt
(UTB).
[WB13] Weber, Karin; Becker, Bernd: Formative Evaluation des mobilen Classroom-Response-
Systems SMILE. In (Bremer, Claudia; Krömker, Detlef, Hrsg.): E-Learning zwischen
Vision und Alltag, S. 277-289, 2013.