In this study we aimed to examine which learning aides are used by students attending the lecture "Introduction to Experimental Physics", how efficient they are in regard to test scores and how students did rate them. The courses instructional design as well as the ICT-based and traditional learning aides have evolved over time. In our survey we want to contribute to the evidence-based advancement of the course design. Results show that learning using online experiments, slides, examples of test items and study groups lead to better exam results. This partly contradicts the student's subjective assessment of the learning aides.
1
Die Vorlesung „Einführung in die Experimentalphysik“ ist an der Universität Stuttgart eine Pflichtveranstaltung für die meisten Ingenieursstudenten. Etwa 1500 Studierende nehmen jedes Wintersemester an ihr teil. Die Bestehensquote ist beim ersten Versuch niedrig: etwa zwei Drittel müssen die Klausur mindestens einmal wiederholen, was allerdings beliebig oft möglich ist. Um die Studierenden möglichst gut zu unterstützen, bietet der Dozent über die E-Learning-Plattform ILIAS verschiedene Lernmaterialien an. Teilweise wiederholen und verdeutlichen diese nur den Inhalt der Vorlesung (Folien, Vorlesungsaufzeichnung) oder fassen die Inhalte der Vorlesung anders zusammen (das Lernmodul Physik-Info mit integrierter Formelsammlung); es werden aber auch interaktive Lernmaterialien zur Verfügung gestellt (Online-Experimente im Rahmen von Online-Übungen). Des Weiteren gibt es die Möglichkeit, in selbstorganisierten Lerngruppen oder im studienbegleitenden moderierten MINT-Kurs zu arbeiten, in welchem mit den Folien der Vorlesung und Altklausuren gearbeitet wurde. Daneben machten die Studierenden ihre eigenen Aufschriebe. Die Bearbeitung der angebotenen bzw. verfügbaren Lernmaterialien ist freiwillig.
Diese Kombination von traditionellen und netzbasierten Lehrmaterialien ist historisch gewachsen und folgt keinem bewussten Lehrkonzept. Gleichwohl macht die Erstellung der Lehrmaterialien einen großen Aufwand. Lohnt sich dieser für den Dozenten? 1 Universität Stuttgart, Technische Informations- und Kommunikationsdienste, Allmandring 30a, 70550 Stuttgart, elena.rinklef@tik.uni-stuttgart.de 2 Universität Stuttgart, Technische Informations- und Kommunikationsdienste, Allmandring 30a, 70550 Stuttgart, jan.vanvinkenroye@tik.uni-stuttgart.de Dieser Frage gingen wir in einer Befragung der Studierenden nach. Die Ergebnisse sollen den Dozenten dabei unterstützen, das Lernmittelangebot umzugestalten und zu überarbeiten. Im folgenden Aufsatz untersuchen wir, welche Lernmaterialien wie intensiv und mit welchem Lernerfolg genutzt worden sind, und wie die Studierenden die Lernmaterialien einschätzen. Die Nutzung wird hierbei sowohl erfragt wie auch mit Daten aus dem LMS in Verbindung gebracht. Auch die Effektivität wird ‚doppelt’ gemessen, als subjektiver Lernerfolg durch die Befragung sowie mit Daten aus der Klausur.
F1: Welche Lernangebote werden genutzt? F2: Welche Lernangebote sind effektiv, d.h. verbessern das Klausurergebnis? F3: Wie schätzen die Studierenden die Lernangebote ein, z.B. in Hinsicht auf Lernerfolg und Motivation? Im Zuge von evidenzbasiertem E-Learning sind diese Fragen von besonderer Bedeutung. Informationen darüber, was tatsächlich genutzt wird, was effektiv ist und was geschätzt wird, sind wichtige Rückmeldungen für den Dozenten und können helfen, das Design des Experimentalphysik-Kurses zu verbessern. Darüber hinaus können so auch generelle Hinweise bezüglich Präferenzmustern und Nützlichkeit bestimmter Lernmittel gewonnen werden. 2
Clark argumentierte, dass das Vermittlungsmedium wenig bis nichts zum Ergebnis geplanter Lehre beitrage [Be04]. Es gibt allerdings auch viele Studien, die sich mit den Vorteilen eines breiten Lernangebots befassen, z.B. [SGH16], [Me13]. Des Weiteren sind heutzutage Kurse, die gar keine Informations- und Kommunikationstechnologien (IKT) verwenden, selten [Di17]. Dennoch stellten Means et al. fest: „From a practical standpoint, however, a major reason for using blended learning approaches is to increase the amount of time that students spend engaging with the instructional materials. […] The positive findings with respect to blended learning approaches documented in the meta-analysis provide justification for the investment in the development of blended courses” [Me13].
Die subjektive Einschätzung von Lernmaterialien durch Studierende wird von vielen Faktoren beeinflusst. Wichtig sind kurs- und studierendenspezifische Merkmale (wie etwa Zielerreichung bzw. Lernerfolg, Expertise der Lehrperson oder die Qualität der Lernplattform), die Art des IKT-Einsatzes (unterstützend versus transformierend) sowie Alter, bereits vorhandene Computerkenntnisse und Einstellungen gegenüber Integriertem Lernen zu Kursbeginn [Di17], [De15]. Ein zentraler Aspekt des Lernens ist, wie die Studierenden diesen Prozess erfahren [GE09]. Eine positive Erfahrung könnte auch die Einstellung gegenüber dem Lernen beeinflussen und so mittelbar auch auf den Lernprozess einwirken [Ló11]. Inwiefern bestimmte Lernangebote als nützlich erlebt werden oder motivieren ist also von Bedeutung. Interaktives Lernen gibt Studierenden die Möglichkeit, den gelernten Stoff in einer sicheren Umgebung, wie etwa einer Simulation, anzuwenden. Es gibt Hinweise, dass dies die Zufriedenheit der Lernenden steigert [RT16]. Subjektive Einschätzung des Lernerfolgs und Performanz korrelieren unter Umständen nur schwach miteinander [MW82]. 3
Um einen Einblick in das Lernverhalten der Studierenden und die Nutzung und Bewertung der Lernangebote zu erhalten, wurden die Mitglieder des Kurses „Einführung in die Experimentalphysik“ in einer Online-Umfrage angehalten, zu jeder der acht Lernangebote Stellung zu nehmen. Die Teilnahme an der Umfrage war freiwillig. Um die Studierenden zur Beantwortung der Fragen zu bewegen, bekamen sie als Anreiz die Möglichkeit, ihr Klausurergebnis einzusehen, wenn sie sich an der Umfrage beteiligten, und nicht erst Wochen später zu erfahren. Der Erhebungszeitraum erstreckte sich vom 21. Februar bis zum 6. März 2017: die am 15. Februar geschriebene Klausur war da gerade fertig korrigiert. 903 der 1266 Studierenden erklärten sich bereit, an der Umfrage teilzunehmen und 830 von ihnen schlossen die Umfrage ab3. Die Ausschöpfungsquote in Bezug auf die Grundgesamtheit war 65,56%. Auf Grund dieser Ausfälle muss geprüft werden, inwiefern sich das Sample von der Grundgesamtheit, den Klausurteilnehmer4, unterscheidet. Hier kann allerdings nur die Verzerrung in Bezug auf Klausurergebnis und Studiengang überprüft werden; andere Kennzahlen wurden auf dem Klausurbogen nicht abgefragt. Die durchschnittlich erreichte Punktzahl in der Klausur waren 28,35 Punkte, während der Schnitt der Umfrageteilnehmer bei 29,14 Punkten lag. Dieser Unterschied ist zu 95%iger Wahrscheinlichkeit auf Zufallsschwankungen zurückzuführen. In Bezug auf die Studiengänge5 zeigt sich, dass die Luft- und Raumfahrttechniker signifikant überrepräsentiert sind (30% in der Klausur, 36% in der Umfrage). Bei allen anderen Studiengängen können die Anteilsunterschiede als zufällig betrachtet werden.
Im Folgenden werden nur einige der Fragebogenitems ausgewertet. Die Nutzung der verschiedenen Lernangebote wird über die folgende Frage operationalisiert: „Ich habe die [..., z.B. Online-Experimenten] ...
gar nicht genutzt 3 Dies entspricht einer Abbruchquote von 8,08%. 4 Im Folgenden wird, wo nötig, das generische Maskulimum für potentiell gemischtgeschlechtliche Gruppen verwendet. 5 Die Klausur unterscheidet hier zwischen „Luft- und Raumfahrttechnik“, „Erneuerbare Energien“, „Maschinenbau“, „Fahrzeug- und Motorentechnik“, „Technikmanagement“ und „Chemie“. mir kurz angesehen teilweise durchgearbeitet komplett durchgearbeitet.“ Es werden auch Items zu ausgewertet6.
Auch die Klausurergebnisse (zur Messung von Performanz) sowie Daten aus dem LMSSystem (zur Bestimmung des tatsächlichen Verhaltens) stehen zur Verfügung und können auf die Antworten im Fragebogen bezogen werden. 4
Das freiwillige Lernmittelangebot wurde von einem Großteil der Studierenden genutzt. Nur 7,11% gaben an, keines der acht Lernangebote „intensiv“ oder „komplett durchgearbeitet“ zu haben. Werden Lerngruppen (Eigeninitiative der Studierenden) und MINT-Kurs (optionales Unterstützungsangebot der Universität) ausgeschlossen steigt dieser Anteil nur geringfügig, auf 8,31%. Die Studierenden zeigten also Lernbereitschaft, obwohl die Klausur beliebig oft wiederholt werden konnte.
Abb. 1: Nutzung der Lernangebote 6 Der Fragentext steht jeweils in der Abbildung. Am weitesten verbreitet war das Lernen mit Altklausuren. 73,86% der Studierenden gaben an, diese „teilweise“ oder „komplett“ bearbeitet zu haben. Von den anderen durch die Universität zur Verfügung gestellten Materialien waren Online-Experimente (57,09%) und Folien (56,01%) am populärsten. MINT-Kurs oder Lerngruppen wurden hingegen vergleichsweise selten genutzt (vgl. Abb. 1). 10,60% der Studierenden nahmen sowohl am MINT-Kurs als auch an Lerngruppen teil; 16,39% der Studierenden nur an Lerngruppen und 15,78% nur am MINT-Kurs.
Das Lernen mit einigen der möglichen Lernangebote wirkte sich auch auf das Klausurergebnis aus. Als Nutzer gelten hier die Studierenden, die ein Lernmittel teilweise oder vollständig durchgearbeitet haben. Diese Unterscheidung wird gestützt durch die Kombination der Umfragedaten mit Nutzungsdaten der Online-Experimente aus dem LMS. Hier zeigt sich, dass die „Nicht-Genutzt-Habenden“ im Schnitt 0,38 und die „Kurz-Anschauenden“ 1,02 der 18 Online-Experimente angeklickt (d.h., nicht unbedingt bearbeitet) haben. Bei „teilweise“ waren es 5,54 und bei „komplett durchgearbeitet“ 9,31. Auf Grund der hohen Streuung in diesen beiden Gruppen und der Tatsache, dass die Antwort „komplett“ nicht notwendigerweise die Bearbeitung aller Experimente widerspiegelt—im Schnitt ist es nur die Hälfte—erschien es sinnvoll, sie zu „Nutzern“ zusammenzufassen.
Im Durchschnitt erreichte ein Student, der keines der Lernangebote verwendete, eine Punktzahl von 25,28. Den stärksten Einfluss auf die Performanz der Studierenden hatte das Lernen mit Altklausuren: Ceteris paribus erreichten Studierende, die mit ihnen lernten, 2,79 Punkte mehr. Auch für das Lernen mit Online-Experimenten, in Lerngruppen, im MINT-Kurs oder mit Folien wurde ein signifikant positiver Effekt auf das erreichte Klausurergebnis geschätzt, wenn jeweils auf das Lernen mit allen anderen Lernmitteln kontrolliert wird (vgl. Tab. 1).
(Konstante) Nutzung von Online-Experimenten Nutzung der Vorlesungsaufzeichnung Nutzung von Physik-Info Nutzung der Folien Nutzung der eigenen Aufschriebe Nutzung von Altklausuren Nutzung des MINT-Kurses Nutzung von Lerngruppen N korrigiertes R2 Signifikanz des Gesamtmodells B 25,28 1,56 -0,45 -0,26 0,96 -0,24 2,79 1,01 1,51 811 0,13 ***
SE 0,43 0,39 0,41 0,43 0,42 0,41 0,45 0,44 0,44
Sig. *** *** n.s. n.s. ** n.s. *** ** *** 7OLS-Regression. Unstandardisierte Regressionskoeffizienten werden berichtet. Abhängige Variable ist die Es ist zu beachten, dass selten nur ein Lernmaterial verwendet wurde. Die Studierenden kombinierten im Schnitt 2,86 verschiedene Lernmaterialien. Teilnehmer des MINTKurses und der Lerngruppen verwendeten durchschnittlich mehr Lernmittel als allein Lernende. Die Verwendung mehrerer Lernmaterialien wirkt sich auch auf das Klausurergebnis aus. Je mehr Materialien ein Student verwendete, desto besser schnitt er durchschnittlich ab (Pearson’s r = 0,25**).
Die Studierenden nehmen in Bezug auf subjektiven Lernerfolg vor allem auch die nicht von der Universität angebotenen Lernmittel als nützlich wahr (eigene Aufschriebe und Lerngruppen). Der Skalenmittelpunkt liegt bei 3,5. Die meisten Lernangebote wurden also neutral bis leicht negativ bewertet.
Abb. 2: Bewertung der verschiedenen Lernangebote in Bezug auf Motivationssteigerung und subjektiven Lernerfolg8 Interessant ist hierbei auch der Vergleich zwischen subjektivem Lernerfolg und Effektivität der Lernmaterialien (s. Abb. 2). In der multivariaten Analyse wird ein signifikant positiver Effekt auf das Klausurergebnis geschätzt, je stärker Altklausuren, erreichte Punktzahl, zwischen 0 und 50. Unabhängige Variablen sind jeweils dichotom, 1 = Material jeweils „teilweise“ und „komplett durchgearbeitet“. Signifikanzniveaus: * = 0.1, ** = 0.05, *** = 0.01, n.s. = nicht signifikant. 8Durchschnittliche Bewertung und 95%iges Konfidenzintervall. Skala geht von 1 „stimme überhaupt nicht zu“ bis 6 „stimme voll und ganz zu“. Es wurden nur Studierende befragt, die das Material „kurz angesehen“, „teilweise“ oder „komplett durchgearbeitet“ haben. Online-Experimente, Lerngruppen, MINT-Kurs oder Folien genutzt werden (vgl. Tab. 1). Als subjektiv nützlich werden aber Altklausuren, MINT-Kurs, Lerngruppen und eigene Aufschriebe betrachtet. Das heißt:
Der Nutzen von Online-Experimenten und Folien in der Klausurvorbereitung wird potentiell unterschätzt.
Der Nutzen von eigenen Aufschrieben in der Klausurvorbereitung wird potentiell überschätzt.
Neben der „objektiven“ Bewertung der Lernangebote über den erzielten Lernerfolg ist auch die subjektive Beurteilung durch die Studierenden von Interesse. Dass die Angebote motivieren, sich mit dem Stoff auseinanderzusetzen, ist gerade deswegen wichtig, weil die Angebote freiwillig sind. Werden sie als unangenehm empfunden, könnte es gut sein, dass sie auch nicht genutzt werden. Ob dies tatsächlich so ist, muss allerdings noch in einer qualitativen Befragung der Studierenden untersucht werden. Die Studierenden erführen die größte Motivationssteigerung beim Lernen mit anderen, d.h. dem MINT-Kurs und den Lerngruppen. Die Online-Experimente dagegen wurden in Bezug auf Motivation leicht negativ bewertet, wobei aber alle anderen von der Universität angebotenen Lernmittel noch weniger Spaß machten (vgl. Abb. 2). 5
In dieser Arbeit wurde der Frage nachgegangen, welche Lernangebote durch Studierenden gern wahrgenommen wurden und wie sich diese auf Lernerfolg sowie Motivation und Spaß auswirkten. Zu diesem Zweck wurden die Studierenden der „Einführung in die Experimentalphysik“ an der Universität Stuttgart online befragt. 830 der 1266 Studierenden schlossen die Umfrage ab. Auch die Klausurergebnisse sowie Nutzungsdaten aus dem LMS wurden hinzugezogen.
Neben der Präsenzvorlesung gibt es weitere historisch gewachsene und freiwillige Lernangebote, von denen einige über IKT zur Verfügung gestellt werden: die OnlineExperimente, die Vorlesungsaufzeichnungen, die Formelsammlung Physik-Info sowie Folien. Die Studierenden nahmen das Lernangebot an und nur 7,11% verwendeten keines der acht Angebote. Die Nutzung von Altklausuren, Online-Experimenten und Folien war besonders weit verbreitet. Die subjektive Einschätzung, welche Lernangebote effektiv sind, unterscheidet sich teilweise vom Einfluss auf das Klausurergebnis, der in einer multivariaten Regression geschätzt wird. Die Studierenden empfanden den MINTKurs und Lerngruppen als am meisten motivierend.
Bei der Interpretation der Ergebnisse gilt es zu beachten, dass diese sich nur auf die spezifische Umsetzung der Lernangebote in der Vorlesung „Einführung in die Experimentalphysik“ an der Universität Stuttgart beziehen. Inwiefern die Studierenden an z.B. anders gestalteten Online-Experimenten mehr Spaß hätten, konnte im Rahmen dieser Studie nicht untersucht werden. Dies ist aber ein wichtiger Gesichtspunkt, da sich kursspezifische Merkmale auf die Bewertung von Lernangeboten auswirken [Di17] und es wahrscheinlich ist, dass dies auch auf die spezifische Umsetzung von einzelnen Lernangeboten zutrifft.
Auch die Effektivität von Online-Experimenten und Altklausuren könnte dadurch zu erklären sein, dass diese am meisten den Klausuren ähneln; dass es sich also eher um teaching to the test handelt. Der Frage, inwiefern Lernangebote erfolgreich sind, weil sie den Klausurinhalt und nicht notwendigerweise den Vorlesungsstoff transportieren, wird in weiterer Forschung nachgegangen werden, wobei detaillierte Informationen aus LMS und Klausur berücksichtigt werden können. Ein zukünftiger Forschungsgegenstand bleiben auch qualitative Erhebungen zu den Lernstrategien der Studenten. Literaturverzeichnis [Be04] [De15] [Di17] [GE09] [Ló11] [Me13] [MW82] [RT16]
Bernard, R.M.; Abrami, P.C.; Lou, Y.; Borokhovski, E.; Wade, A.; Wozney, L.; Wallet, P.A; Fiset, M.: How Does Distance Education Compare With Classroom Instruction? A Meta-Analysis of the Empirical Literature. Review of Educational Research 74 (3), S. 379–439, 2004.
Delaney, D.; McManus, L.; Ng, C.: First Year Accounting Students’ Perceptions of Blended Learning. Business Education & Accreditation 7 (2), S. 9–23, 2015.
Diep, A.; Zhu, C.; Struyven, K.; Blieck, Y.: Who or what contributes to student satisfaction in different blended learning modalities? British Journal of Educational Technology 48 (2), S. 473–489, 2017.
Ginns, P.; Ellis, R.A.: Evaluating the quality of e-learning at the degree level in the student experience of blended learning. British Journal of Educational Technology 40 (4), S. 652–663, 2009.
López-Pérez, M.V.; Pérez-López, M.C.; Rodríguez-Ariza, L.: Blended learning in higher education: Students’ perceptions and their relation to outcomes. Computers & Education 56 (3), S. 818–826, 2011.
Means, B.; Toyama, Y.; Murphy, R; Baki, M.: The Effectiveness of Online and Blended Learning: A Meta-Analysis of the Empirical Literature. Teachers College Record 115/13, S. 1–47, 2013.
Mabe, P.A.; West, S.G.: Validity of Self-Evaluation of Ability: A Review and MetaAnalysis. Journal of Applied Psychology 67 (3), S. 280–296, 1982.
Rienties, B.; Toetenel, L.: The impact of learning design on student behaviour, satisfaction and performance: A cross-institutional comparison across 151 modules.
Computers in Human Behavior 60/16, S. 333–341, 2016.