Carsten Ullrich, Martin Wessner (Eds.): Proceedings of DeLFI and GMW Workshops 2017 Chemnitz, Germany, September 5, 2017 Please Vote Now! – A Field Report on the Audience Response System PINGO Dennis Kundisch, Jürgen Neumann, Darius Schlangenotto Abstract: Active learning allows lecturers to let students interactively participate in class. Audience response systems (ARS) are one way to realize active learning as they enable lecturers to simultaneously ask every student subject-related questions. In this article, we present our experiences with the web-based ARS PINGO, which has been developed and hosted at Paderborn University. Using PINGO as an example for ARS, we (1) present possible use cases and analyze actual user behavior, (2) describe the characteristics of the underlying software architecture, and (3) discuss challenges regarding the establishment of a long-term operation for a successful e-learning project. Carsten Ullrich, Martin Wessner (Eds.): Proceedings of DeLFI and GMW Workshops 2017 Chemnitz, Germany, September 5, 2017 Bitte stimmen Sie jetzt ab! – Ein Erfahrungsbericht über das Audience Response System PINGO Dennis Kundisch1, Jürgen Neumann2, Darius Schlangenotto3 Abstract: Handlungsorientierte Formen der Didaktik erlauben es Dozenten die Lernenden zu aktiver und selbstständiger Mitarbeit anzuregen. Solch handlungsorientierte Formen der Didaktik lassen sich u. a. durch elektronische Audience Response Systeme (ARS) realisieren, die es Dozen- ten ermöglichen während einer Präsenzveranstaltung Studierende hinsichtlich einer themenbezo- genen Problemstellung zu befragen. In diesem Beitrag werden die Erfahrungen mit dem an der Universität Paderborn entwickelten und betriebenen webbasierten ARS PINGO diskutiert. Am Beispiel von PINGO werden (1) Einsatzszenarien und die tatsächliche Nutzung durch Dozenten vorgestellt, (2) Besonderheiten der Softwarearchitektur eines solchen ARS hervorgehoben sowie (3) die Herausforderungen der Verstetigung eines erfolgreichen eLearning-Projekts fokussiert. Keywords: Audience Response System, PINGO, Lehr-/Lerndesign, Erfahrungsbericht 1 Motivation In vielen Fachdisziplinen werden die Inhalte auch heute noch vorwiegend über den Weg der klassischen Frontalvorlesung vermittelt. In stark nachgefragten Studienfächern, führt dies häufig zu sehr hohen Teilnehmerzahlen und den Studierenden bleibt oft nur die Rolle passiver Rezipienten, die sich den Vortrag des Dozenten4 anhören und sich die dargebotenen Inhalte auf unterschiedlichen Wegen, nach der Vorlesung, individuell erschließen. Diese Form des Lernens ist, angesichts mittlerweile gut fundierter Erkennt- nisse der Lehr-/Lernforschung, nicht optimal [Gl96]. Handlungsorientierte Formen der Didaktik erlauben es Dozenten die Lernenden zu aktiver und selbstständiger Mitarbeit anzuregen [Ha98]. Solch handlungsorientierte Formen der Didaktik lassen sich u. a. durch elektronische Audience Response Systeme (ARS)5 realisieren, die es Dozenten ermöglichen während einer Präsenzveranstaltung Studierende hinsichtlich einer themen- bezogenen Problemstellung zu befragen. 1 Universität Paderborn, Warburger Straße 100, 33098 Paderborn, Dennis.Kundisch@wiwi.upb.de 2 Universität Paderborn, Warburger Straße 100, 33098 Paderborn, Juergen.Neumann@wiwi.upb.de 3 Universität Paderborn, Warburger Straße 100, 33098 Paderborn, Darius.Schlangenotto@wiwi.upb.de 4 Es sind stets Personen männlichen und weiblichen Geschlechts gleichermaßen gemeint; aus Gründen der einfacheren Lesbarkeit wird im Folgenden nur die männliche Form verwendet. 5 Auch als Live Feedback System, Audience Response System oder Personal Response System bezeichnet [Ku13]. Ein Überblick über die Historie von ARS findet sich in [JS02]. Dennis Kundisch et al. Ein ARS, welches sich mit mehr als 12.000 registrierten Dozenten durch eine hohe Marktdurchdringung auszeichnet, ist das kostenlos angebotene, webbasierte ARS PIN- GO. Das System wird seit 2011 an der Universität Paderborn entwickelt, unter https://pingo.upb.de als gehosteter Service sowie unter https://github.com/PingoUPB als Open Source Version bereitgestellt und kontinuierlich hinsichtlich verschiedener didak- tischer Einsatzszenarien evaluiert (z. B. [Zo16], [Be14], [Be12]). PINGO ermöglicht die Umsetzung unterschiedlicher Lehr-/Lerndesigns und zeichnet sich durch eine intuitive Bedienbarkeit aus. Technisch wurde das System für den Einsatz in Großveranstaltungen ausgelegt, um Lehrenden die Möglichkeit zu geben auch Veranstaltungen mit mehr als 1.000 Zuhörern interaktiver zu gestalten. In diesem Beitrag werden ausgewählte Erfah- rungen der vergangenen sechs Jahre aus didaktischer, technischer und organisatorischer Sicht zusammengefasst. Damit wird das Ziel verfolgt, eLearning-Verantwortlichen und Webentwicklern nutzenstiftende Anregungen bei der Durchführung von ähnlichen Pro- jekten zur Verfügung zu stellen. 2 ARS und Lehr-/Lerndesigns Im (Hoch-)Schulkontext dienen ARS insbesondere dazu Vorlesungen und Übungen interaktiver zu gestalten, um Studierende aus ihrer häufig eher passiven Rolle herauszu- holen und diese aktiv in die Veranstaltung einzubeziehen. ARS erlauben hierbei die Umsetzung unterschiedlichster Lehr-/Lerndesigns [Ku13] und können z. B. zur Klausur- vorbereitung (insb. Multiple-Choice-Klausuren), Wissens-/Meinungsabfrage, Motivation neuer Inhalte und zum Sammeln von Veranstaltungsfeedback eingesetzt werden. Dar- über hinaus lassen sich die speziell für ARS entwickelten und fundiert evaluierten Lehr- /Lerndesigns Peer Instruction [Ma97] und Class-Wide Discussions [Du96] realisieren. Bei Peer Instruction stellt der Vortragende nach einem kurzen Impulsreferat eine Mul- tiple-Choice-Frage. Bei weniger als 80 % korrekten Antworten, vertieft der Dozent ent- weder das Impulsreferat (< 30 % richtige Antworten) oder lässt die Teilnehmer mit ihren Nachbarn diskutieren (Peer Discussion bei > 30 % und < 80 % richtiger Antworten). Anschließend wir die Frage erneut zur Abstimmung gestellt und die neuen Umfrageer- gebnisse ein weiteres Mal ausgewertet. In der Literatur wird eine positive Korrelation zwischen dem Einsatz von Peer Instruction und positiven Rückmeldungen in studenti- schen Evaluationen, unabhängig von der Gruppengröße, postuliert [LGP17]. Darüber hinaus legen diverse Studien nahe, dass der Einsatz von Peer Instruction positive Aus- wirkungen auf die Leistungen in Abschlussklausuren hat (z. B. [SPS13]). Bei Class- Wide Discussions werden die Umfrageergebnisse zu einer gestellten Frage im gesamten Plenum unter Moderation durch den Vortragenden diskutiert [Du96]. Im Vergleich zu Peer Instruction wird hier also nicht nur mit den unmittelbaren Nachbarn diskutiert, sondern die gesamte Zuhörergruppe einbezogen. Bitte stimmen Sie jetzt ab! 3 ARS PINGO 3.1 Funktionalität Mit PINGO lassen sich u. a. die in Kapitel 2 genannten Lehr-/Lerndesigns umsetzen. Neben Single- und Multiple-Choice-Fragen, die v. a. bei Peer Instruction und Class- Wide Discussions Verwendung finden, bietet PINGO weitere Flexibilität durch zusätzli- che Fragetypen. So können auch Freitextfragen und Fragen mit einer numerischen Ein- gabe (bspw. Schätzfragen) an das Publikum gestellt werden. Vortragende können Fragen vorab im System vorbereiten (inkl. LaTeX-Formelunterstützung) oder ad-hoc an das Plenum senden. Das System bietet zudem die Möglichkeit vorbereitete Fragen in ande- ren Formaten (z. B. XML für Moodle oder QTI für Ilias) zu im- oder exportieren. Abbildung 1 gibt einen Überblick über ein typisches Nutzungsszenario eines webbasier- ten ARS wie PINGO. Dozenten stellen eine Frage an das Plenum (Abb. 1, Schritt 1). Studierende antworten in einem vorgegebenen Zeitfenster auf die Frage (Schritt 2). An- schließend erfolgt die Auswertung der Ergebnisse und die Diskussion im Plenum (Schritt 3). Die bspw. an eine Peer Discussion anschließende Wiederholungsfrage wird ebenfalls durch PINGO unterstützt. Dabei werden die Ergebnisse der Wiederholung im Vergleich zu den ursprünglichen Ergebnissen angezeigt und es ist ebenfalls möglich zu betrachten, wie viele Teilnehmer von einer bestimmten Antwortmöglichkeit zu einer anderen gewechselt sind. Um eine sinnhafte Integration von PINGO in unterschiedlichs- te Veranstaltungen zu ermöglichen, stellen wir vielfältige didaktische Materialien (z. B. http://go.upb.de/pingoDidaktik oder https://youtu.be/KK22QMb0MFA) zur Verfügung. Abb. 1: Nutzungsszenario eines webbasierten ARS Neben den klassischen Umfragefunktionalitäten bietet PINGO diverse Funktionalitäten zur Kollaboration zwischen den Dozenten. So können Dozenten ihre Fragen öffentlich anderen Nutzern zur Verfügung stellen und Fragen kommentieren. In PINGO werden zudem mehrere Fragen innerhalb einer Veranstaltung, oft über mehrere Termine, gestellt und die zugehörigen Ergebnisse in dieser Veranstaltung gespeichert. Im System ist es Dennis Kundisch et al. deshalb möglich, eine solche Veranstaltung mit mehreren Dozenten zu teilen, sodass jeder Dozent Fragen stellen und Ergebnisse einsehen kann. Darüber hinaus erlaubt die Zusatzapplikation PINGO Remote (für Windows und Mac), PINGO ohne die Verwen- dung eines Webbrowsers und dem damit verbundenen Hin- und Herwechseln zwischen Präsentation und Browser zu steuern. So können Fragen durch ein kleines, über der Prä- sentation (bspw. PowerPoint oder PDF) liegendes Fenster gestartet werden. Derzeit wird zudem an einer vollständigen PowerPoint Integration gearbeitet. Im Vergleich zu diversen anderen ARS zeichnet sich PINGO durch die Möglichkeit zur Vorbereitung und Wiederverwendung von Fragen, den Einsatz mittels beliebigen inter- netfähigen Endgeräten und eine hohe Nutzeraktivität aus [Ve14]. Das System bietet jedoch keine Möglichkeit in Echtzeit die Vortragsweise des Lehrenden zu bewerten [Ve14] oder mittels Learning Analytics den eigenen Lernfortschritt zu analysieren. 3.2 Softwarearchitektur & Betrieb Webbasierte ARS wie PINGO benötigen eine angepasste Softwarearchitektur, die es erlaubt, zeitgleich stattfindende Abstimmungen mit hunderten von Teilnehmern an un- terschiedlichsten Standorten weltweit durchzuführen. Abbildung 2 zeigt die Serveranfra- gen, welche im Rahmen eines Nutzungsszenarios entstehen. Derzeit finden in Spit- zenlastzeiten hunderte Umfragen mit tausenden von Teilnehmern parallel statt. Diese Leistungsdaten erfordern die Bereitstellung eines skalierbaren Systems, welches eine Vielzahl paralleler Serveranfragen verarbeiten kann. Abb. 2: Nutzungsszenario & Softwarearchitektur Die Softwarearchitektur von PINGO besteht im Kern aus einer mit dem Web- Framework Ruby on Rails entwickelten Webapplikation, welche über einen NGINX Webserver zur Verfügung gestellt wird (für Details, siehe [WN13]). Als Datenbankser- ver nutzt PINGO die NoSQL-Datenbank MongoDB (für Details, siehe [Ba16]). Derzeit wird die Gesamtarchitektur über den deutschen Hosting-Anbieter maxcluster in einem Rechenzentrum in Frankfurt bereitgestellt. Die Webapplikation und der Datenbankserver werden hierbei auf separaten Servern betrieben, um so Leistungsengpässe zu vermeiden und das Potential der NoSQL-Datenbanktechnologie vollumfänglich auszuschöpfen. Bitte stimmen Sie jetzt ab! 3.3 Nutzung Seit der Entwicklung im Jahr 2011 wurden mit PINGO von den mehr als 12.000 re- gistrierten Dozenten mehr als 170.000 Umfragen durchgeführt und mehr als drei Millio- nen Antworten wurden über das System abgegeben. Pro Monat stimmen derzeit mehr als 100.000 Personen ab und uns erreichen monatlich mehr als 50 technische oder didakti- sche Hinweise per Email oder Telefon. PINGO wird nach wie vor vorranging an Hoch- schulen eingesetzt (89 % aller Nutzer). Die Zahl der Nutzer, die PINGO im Schul- (5 %) oder Unternehmensumfeld (6 %) einsetzen, steigt jedoch kontinuierlich. 4 Projekterfahrungen 4.1 Nutzerverhalten Die weite Verbreitung von PINGO ist aus unserer Sicht auf zwei wesentliche Faktoren zurückzuführen. Zum einen verfügt PINGO über ein niederschwelliges Design und einen Funktionsumfang, der direkt auf die Umsetzung von einigen wenigen ARS-basierten Lehr-/Lerndesigns abgestimmt wurde. Wir haben bewusst darauf verzichtet, zahlreiche weitere Interaktionsmöglichkeiten (bspw. Zwischenfragen des Publikums, Live- Feedback zum Vortragstempo etc.) in PINGO zu integrieren. Zum anderen hat sich die Softwarearchitektur in der Praxis bewährt, sodass wir in der Lage sind, allen Nutzern ein hoch-performantes System zur Verfügung zu stellen, welches 24/7 zur Verfügung steht. Im Schul- und (Hoch-)Schulkontext wird PINGO oftmals im Rahmen der Lehre einge- setzt, um Zuhörer aktiv in Veranstaltungen einzubeziehen und diese interaktiver zu ge- stalten. Im Unternehmenskontext nutzen Vortragende PINGO insbesondere, um Ab- stimmungen im Rahmen von Workshops und größeren Plenumsveranstaltungen durch- zuführen. Umfrageersteller nutzen hierbei vorrangig Single-Choice- (46 % aller im Sys- tem hinterlegten Fragen) oder Multiple-Choice-Fragen (40 % aller Fragen). Der Anteil an wiederholten Umfragen beträgt 13 %. Dies legt den Schluss nahe, dass Peer Instruc- tion (und vergleichbare umfassendere Lehr-/Lerndesigns) nur ein Einsatzszenario unter vielen anderen darstellt. Darüber hinaus nutzen Vortragende die Kollaborationsmöglichkeiten von PINGO, um gemeinschaftlich Veranstaltungen vorzubereiten. So werden 10 % aller Fragen und 8 % aller Veranstaltungen für eine Zusammenarbeit freigegeben, 13 % aller geteilten Fragen weisen mindestens einen Kommentar auf. Es zeigt sich jedoch auch, dass Fragen nur sehr selten (3 % aller im System angelegten Fragen) öffentlich allen anderen Nutzern zur Verfügung gestellt werden. Eine zentrale Herausforderung bei der Verwendung eines ARS wie PINGO besteht aus unserer Sicht nach wie vor in der Formulierung geeigneter Fragen, insbesondere wenn es darum geht Niveau-gerecht, nicht-trivial, aber trotzdem trennscharf das Verständnis von Dennis Kundisch et al. Konzepten und nicht nur Wissen abzufragen. So berichten uns Dozenten vielfach, dass der Einsatz von Votinglösungen in Veranstaltungen zwar sehr positiv von Zuhörern angenommen wird, jedoch hohe Anforderungen an die (Um-) Gestaltung der eigenen Lehrveranstaltung stellt. Die teilweise mit Standard-Lehrbüchern ausgelieferten Fragen- kataloge (sog. „test banks“) stellen dabei teilweise einen guten Startpunkt dar (und las- sen sich i.d.R. auch problemlos nach PINGO importieren). Zumindest in unserer eigenen Domäne ist trotzdem jeweils noch viel Eigenleistung nötig. Es wäre wünschenswert, wenn sich mittelfristig evaluierte themen- und fachspezifische Fragenkataloge für ARS etablieren ließen, welche kontinuierlich weiterentwickelt werden. Dies würde die Effizi- enz des Einsatzes von ARS im Lehrkontext aus unserer Sicht deutlich erhöhen. Plattfor- men wie PINGO könnten solche Kataloge zentral bereitstellen und die Weiterentwick- lung über Kommentar- und Diskussionsmöglichkeiten unterstützen. 4.2 Bewertung der eingesetzten Technologien Rückblickend erwies sich insbesondere die Wahl von Ruby on Rails als Web- Framework aufgrund der flexiblen Integrierbarkeit mit anderen Softwarekomponenten und der Verfügbarkeit diverser Bibliotheken, in Form von sogenannter gems, als äußerst vorteilhaft. Im Vergleich zur anfänglichen Architektur (siehe [Ku12]), wurde 2016 das Websocket-System angepasst. Das ursprüngliche socket.io, welches beispielsweise dazu diente die verbleibende Abstimmzeit bei allen Teilnehmern synchron anzuzeigen, wurde durch Faye ersetzt. Mit den steigenden Nutzerzahlen und der sich dadurch erhöhenden Zahl an parallel zu verarbeitenden Serveranfragen, zeigte sich socket.io wenig robust. Faye erwies sich in dem Anwendungskontext als weit robuster und ist in der Lage eine Vielzahl paralleler Anfragen fehlerfrei zu verarbeiten. Daneben erwies sich der Einsatz der NoSQL-Datenbank MongoDB aufgrund ihrer Ska- lierbarkeit als äußerst vorteilhaft. Obwohl während besonderer Lastzeiten zwischen dem Webserver und dem Datenbankserver 10 MB/s an Daten ausgetauscht werden, verblei- ben die Antwortzeiten des MongoDB Datenbankservers unter einer Millisekunde. In einer Simulation mit einem exakten Replikat der Infrastruktur, gelang es uns zudem nicht eine Leistungsgrenze zu identifizieren [Ba16]. So verblieb auch bei einer fünffach höheren Maximallast (50 MB/s) die Antwortzeit bei unter einer Millisekunde. Die eingesetzte Softwarearchitektur bedingt, dass es bisher zu keinerlei serverseitigen Systemengpässen kam. Nutzerberichte über einen „nicht funktionierenden PINGO- Service“ ließen sich bislang ausnahmslos auf eine nicht adäquate WLAN-Ausstattung vor Ort (insb. Anzahl der Access Points in großen Hörsälen) zurückführen. Viele Hoch- schulen haben in den vergangenen Jahren jedoch massiv in die WLAN-Ausstattung investiert, um verschiedenste E-Learning Angebote auch in großen Hörsälen für alle Hörer nutzbar zu machen. Gleichwohl empfehlen wir jedem unserer Nutzer, vor dem Einsatz von PINGO in Großveranstaltungen, mit dem IT-Service Kontakt aufzunehmen, um zu prüfen, inwiefern die WLAN-Ausstattung die Nutzung von PINGO erlaubt. Bitte stimmen Sie jetzt ab! Die Softwarearchitektur bedingt jedoch auch, dass die Einarbeitungszeit auf unserer Seite für neue Mitglieder im PINGO-Entwickler-Team vergleichsweise hoch ist. So stellt Ruby on Rails ein Webframework dar mit dem funktionale Programmierkonstrukte umgesetzt werden und MongoDB basiert auf einem nicht-relationalen Datenbankkon- zept. Trotz umfangreicher Vorkenntnisse in der objektorientierten Programmierung und relationaler Datenbankmodelle, gilt es für neue Teammitglieder die fundamental anderen Grundkonzepte von Ruby on Rails und MongoDB zeitaufwändig zu erlernen. In der Einarbeitungsphase zeigt sich zudem, dass weniger (allgemeine) Vorkenntnisse dabei oftmals zweckdienlicher sind. Hochschulen, welche sich dazu entschieden haben die Open Source-Version von PINGO selbst zu hosten, berichten uns darüber hinaus von Schwierigkeiten bei der Einrichtung und Weiterentwicklung der Software, da die genutz- te Architektur hohe Anforderungen an den Betrieb und die Weiterentwicklung stellen und die benötigten Kompetenzen oftmals nicht zur Verfügung stehen. 4.3 Verstetigung Eine große Herausforderung für erfolgreiche E-Learning-Systeme wie PINGO besteht aus unserer Sicht darin, diese nach einer (geförderten) Projektphase zu verstetigen. Bis- lang erfolgen der Betrieb und die Weiterentwicklung nach Auslaufen der Projektförde- rung aus lehrstuhleigenen Mitteln. Aufgrund der hohen Anforderungen an ein webba- siertes ARS (z. B. 24/7-Verfügbarkeit) und der weiten Verbreitung von PINGO, stellen Nutzer vielfältige Anfragen und neue Anforderungen. Die Anfragen möchten wir ideal- erweise mit einem fachlich fundierten Nutzersupport mit kurzer Reaktionszeit begegnen. Viele der Weiterentwicklungswünsche – beispielsweise fragten in den vergangenen Monaten mehr als 30 Leute an, ob PINGO nicht auch Fragensequenzen unterstützen könne und ob es die Möglichkeit gäbe, PINGO in PowerPoint zu integrieren – würden wir gerne aufgreifen. Die Aufgabe eines Lehrstuhls ist jedoch i. d. R. nicht einen 24/7- Support sowie eine Auftragsentwicklungsabteilung zu unterhalten – und nicht für jeden Featurewunsch kann ein eigenes „Forschungsprojekt“ erfolgreich beantragt werden. In Gesprächen mit anderen Projektverantwortlichen wurde uns zudem klar, dass das Prob- lem der Verstetigung zentral ist, für viele erfolgreiche universitäre Projekte und Prototy- pen. Mindestens zwei Handlungsbereiche drängen sich diesbezüglich auf: Zum einen sollten Projektverantwortliche selbst bereits frühzeitig geeignete Kooperationspartner (innerhalb der Universität bspw. das Rechenzentrum und das Lernzentrum) in das Pro- jekt mit einbeziehen, die den Dauerbetrieb bei Erfolg zu einem späteren Zeitpunkt grundsätzlich sicherstellen könnten. Zum anderen gilt es Förderstrukturen zu etablieren, die eine Verstetigung deutlich besser unterstützen. Literaturverzeichnis [Ba16] Bach, C. et al.: Dokumentenorientierte NoSQL-Datenbanken in skalierbaren Weban- wendungen. In HMD Praxis der Wirtschaftsinformatik 53, S. 486–498, 2016. Dennis Kundisch et al. [Be12] Beutner, M. et al.: PINGO-Umsetzung von E-Learning in der Hochschule in Adaption und Weiterentwicklung des Peer Instruction Ansatzes-Didaktische und organisatori- sche Reflexion der Studierendenaktivierung in Lehrveranstaltungen. In Kölner Zeit- schrift für Wirtschaft und Pädagogik. KWP 53, S. 3–52, 2012. [Be14] Beutner, M. et al.: Evaluation von Lerndesigns mit einem webbasierten Classroom Response System in der universitären Lehre. In Proceedings der 12. e-Learning Fach- tagung Informatik (DelFI 2014), S. 121-126, 2014. [Du96] Dufresne, R. J. et al.: Classtalk. A classroom communication system for active learn- ing. In Journal of Computing in Higher Education 7, S. 3–47, 1996. [Gl96] Glasersfeld, E. v.: Radikaler Konstruktivismus: Ideen, Ergebnisse, Probleme. Suhr- kamp, Frankfurt am Main, 1996. [Ha98] Hake, R. R.: Interactive-engagement versus traditional methods. A six-thousand- student survey of mechanics test data for introductory physics courses. In American Journal of Physics 66, S. 64–74, 1998. [JS02] Judson, E.; Sawada, D.: Learning from past and present. Electronic response systems in college lecture halls. In Journal of Computers in Mathematics and Science Teaching 21, S. 167–182, 2002. [Ku13] Kundisch, D. et al.: Classroom Response Systems. In Informatik-Spektrum 36, S. 389– 393, 2013. [LGP17] Liao, S. N.; Griswold, W. G.; Porter, L.: Impact of Class Size on Student Evaluations for Traditional and Peer Instruction Classrooms. In Caspersen, Education (Hg.) 2017 – Proceedings of the 2017 ACM, S. 375–380, 2017. [Ma97] Mazur, E.: Peer instruction: Getting students to think in class: AIP Conference Pro- ceedings. AIP, S. 981–988, 1997. [PBS13] Porter, L.; Bailey Lee, C.; Simon, B.: Halving fail rates using peer instruction. In (McCauley, R. Hrsg.): SIGCSE’13. Proceedings of the 44th ACM Technical Symposi- um on Computer Science Education, S. 177, 2013. [SPS13] Simon, B.; Parris, J.; Spacco, J.: How we teach impacts student learning. In (McCauley, R. Hrsg.): SIGCSE’13. Proceedings of the 44th ACM Technical Symposi- um on Computer Science Education, S. 41, 2013. [Ve14] Vetterick, J. et al.: Classroom Response Systems in the Wild. Technical and Non- Technical Observations. In International Journal of Interactive Mobile Technologies 8, S.21–25, 2014. [WN13] Whittaker, M.; Neumann, J.: Develop in the fast lane with Ruby/Rails. In Software Developer‘s Journal, S. 10–14, 2013. [Zo16] Zoyke, A. et al.: Webbasierte Classroom Response Systeme in der Hochschullehre – Eine designbasierte Fallstudie zur Unterstützung von Lehr-/Lernprozessen aus Studie- rendensicht. In Das Hochschulwesen, 2016.