=Paper=
{{Paper
|id=Vol-2358/paper-10
|storemode=property
|title=Lernzieldefinitionen für Software Engineering – The Good, the Bad and the Ugly (Definitions of Learning Outcomes for Software Engineering – The Good, the Bad and the Ugly)
|pdfUrl=https://ceur-ws.org/Vol-2358/paper-10.pdf
|volume=Vol-2358
|authors=Axel Böttcher,Veronika Thurner,Olga Nikoliai
|dblpUrl=https://dblp.org/rec/conf/seuh/BottcherTN19
}}
==Lernzieldefinitionen für Software Engineering – The Good, the Bad and the Ugly (Definitions of Learning Outcomes for Software Engineering – The Good, the Bad and the Ugly) ==
Lernzieldefinitionen für Software Engineering — the Good, the Bad and the Ugly Axel Böttcher, Veronika Thurner, Olga Nikoliai Fakultät für Informatik und Mathematik, Hochschule München. @hm.edu Zusammenfassung Abstract Spätestens seit der Bologna-Reform sind wir als Leh- At least since the Bologna reform, we the lecturers are rende immer wieder dazu angehalten, Modulbeschrei- expected to compose or refine module descriptions bungen zu verfassen oder zu überarbeiten und in die- which comprise the definition of competence oriented sen kompetenzorientierte Lernziele zu definieren. learning objectives. Um die Qualitätssicherung von Lernzieldefinitionen To support the quality assurance of definitions of zu unterstützen hatten wir zunächst die Absicht, ein learning objectives, our first intention was to develop Softwarewerkzeug zur automatisierten Qualitätsprü- a software tool that automatically quality checks def- fung von Lernzieldefinitionen zu realisieren. Dabei initions of learning objectives. However, we quickly haben wir schnell festgestellt, dass vor einer Automa- realized that prior to an automization, a host of still tisierung noch viele offene Fragen auf konzeptueller open questions has to be clarified on a conceptual Ebene zu klären sind, hinsichtlich Kriterien und Indi- level, with regard to criteria and indicators for the katoren für die Qualität von Lernzieldefinitionen. Mit quality of learning objectives. This work is intended dieser Arbeit wollen wir eine Diskussion der Erkennt- to initiate a discussion of our findings. nisse anstoßen, die wir bei der Untersuchung dieser Starting from the observation that our curricula are Fragen gewonnenen haben. viewed from the different perspectives of lecturers, Ausgehend von der Beobachtung, dass unsere Cur- learners, accreditation organizations and employers, ricula aus den verschiedenen Perspektiven von Leh- we specify quality criteria for competence oriented renden, Lernenden, Akkreditierungsagenturen sowie learning objectives as a first step. Arbeitgebern betrachtet werden, formulieren wir zu- As a second step, we systematically analyzed the nächst Qualitätskriterien für kompetenzorientierte descriptions of software related modules. Based on Lernzielbeschreibungen. these empirical results, we identify indicators for posi- Auf Basis dieser Kriterien haben wir systematisch tive (good) and less positive (ugly to bad) definitions Beschreibungen für Software-bezogene Module analy- of learning objectives. Subsequently, we generalize siert. Anhand von diesen empirischen Befunden iden- these into more abstract criteria, name the respective tifizieren wir Indikatoren für positive (good) und we- underlying principle and appraise their relevance for niger positive (ugly bis bad) Lernzielbeschreibungen. the quality of a definition of learning objectives. Diese abstrahieren wir anschließend zu allgemeine- Well formulated definitions of learning objectives ren Kriterien, benennen das jeweils zugrundeliegende describe the intended learning outcome in a compe- Prinzip und gewichten diese Kriterien sodann nach tence oriented way, i. e., as a combination of content ihrer Bedeutung für die Qualität einer Lernziedefiniti- and action, which is expressed as an observable be- on. haviour and in a student centered way. As well, good Gute Lernzieldefinitionen beschreiben das ge- learning objectives are easy to understand, unambigu- wünschte Lernergebnis kompetenzorientiert, d. h. als ous and to the point. eine Kombination aus Inhalt und Handlungskompo- A first empirical analysis of existing module de- nente, die in Form von beobachtbarem Verhalten in scriptions indicates that there is still lots of room for Studierenden-zentrierter Form formuliert ist. Sie sind improvements in this area. dabei in ihrer Bedeutung verständlich, eindeutig und auf den Punkt. Eine erste empirische Analyse von bestehenden Mo- dulbeschreibungen zeigt, dass diesbezüglich noch viel- fältiges Verbesserungspotenzial vorhanden ist. V. Thurner, O. Radfelder, K. Vosseberg (Hrsg.): SEUH 2019 112 Lernzieldefinitionen für Software Engineering - The Good, the Bad and the Ugly Axel Böttcher, Veronika Thurner and Olga Nikoliai, HS München 1 Motivation dern wir von unseren Studierenden, dass sie Fähigkei- Spätestens seit der Bologna-Reform steht fest, dass für ten und Fertigkeiten entwickeln, die zwar auf Fakten- nahezu alle an europäischen Hochschulen durchge- wissen basieren, aber in ihrer Handlungsdimension führten Lehrveranstaltungen als Grundlage eine Mo- weit über das reine Wiedergeben dieses Faktenwis- dulbeschreibung zu erstellen ist. In dieser ist unter sens hinaus gehen. Nur wenn die Studierenden die anderem zu definieren, welche Lernergebnisse dieses faktischen Inhalte zielgerichtet und problemlösungs- Modul anstrebt, d. h. in den Studierenden entwickeln orientiert einsetzen und dabei die Qualität der ver- soll. Diese Lernergebnisse sind auf kompetenzorien- wendeten Vorgehensweise ebenso wie der erzielten tierte Weise zu beschreiben. Ergebnisse treffend beurteilen können, sind sie auf die Anforderungen des Arbeitsmarktes angemessen vor- Gemäß der Definition von Weinert (Weinert, 2001, bereitet. Entsprechend müssen kompetenzorientierte S. 27) verstehen wir unter Kompetenzen „die bei In- Lernzieldefinitionen die geforderten Fähigkeiten und dividuen verfügbaren oder durch sie erlernbaren ko- Fertigkeiten auf handlungsorientierte Weise so for- gnitiven Fähigkeiten und Fertigkeiten, um bestimmte mulieren, dass die unterschiedlichen Expertise-Grade Probleme zu lösen, sowie die damit verbundenen mo- darin erkennbar werden. tivationalen, volitionalen und sozialen Bereitschaften und Fähigkeiten, um die Problemlösungen in varia- Des Weiteren wurde mit dem Grundgedanken des blen Situationen erfolgreich und verantwortungsvoll Constructive Alignment (Biggs u. Tang, 2011) die nutzen zu können“. Kompetenzen drücken also ein Sinnhaftigkeit kompetenzorientierter Lernzieldefini- Handlungspotenzial eines Individuums in einer be- tionen untermauert, sowohl auf der psychologischen stimmten Situation aus, d. h. die Fähigkeit, bei Bedarf als auch auf der handwerklichen Ebene. Eine klare etwas Bestimmtes zu tun. Sie umfassen immer sowohl Zielvorstellung zu haben ist für uns als Lehrende die eine inhaltliche als auch eine prozessuale Komponen- Voraussetzung dafür, passende Lehr-Lern-Methoden te (UZH, 2008). Der Inhalt bestimmt, um was es dabei auszuwählen und einzusetzen, die möglichst syste- eigentlich geht, beschreibt somit den Gegenstand, auf matisch auf das Erreichen des gesetzten Lernzieles den sich die Kompetenz bezieht. Die Handlungskom- hinwirken. Analog dazu ist die Prüfung so zu gestal- ponente dagegen legt die Art der Tätigkeit fest, die auf ten, dass sie möglichst fokussiert das Erreichen der bzw. mit dem Inhalt durchzuführen ist, repräsentiert Lernziele überprüft. Beides setzt ein klares Verständ- also das Kompetenzniveau, d. h. den zu erreichenden nis der Lernziele voraus. Grad an Handlungsbefähigung. Halten wir also fest, dass die kompetenzorientier- te Lernzieldefinition notwendiger und sinnvoller Be- Auch in der Vor-Bologna-Ära wurde an deutschen standteil einer jeden Modulbeschreibung ist, die viel- Hochschulen das verfügbare Lehrangebot dokumen- fältigen Nutzen stiftet. Trotz der immensen Wichtig- tiert, ehemals in Form von gedruckten Vorlesungsver- keit kompetenzorientierter Lernzieldefinitionen sind zeichnissen. Ähnlich wie die heutigen Modulbeschrei- die real existierenden Modulbeschreibungen, die man bungen sollten auch jene Urversionen eine Vorstel- so findet, jedoch qualitativ sehr unterschiedlich – the lung davon vermitteln, was die angehenden Hörerin- Good, the Bad and the Ugly. nen und Hörer in der Vorlesung, bzw. dem Modul, erwartet. In der Regel fokussierten diese Beschreibun- Hier besteht also weiterhin Handlungsbedarf, denn gen einen Fachbegriff-reichen Titel, der im Idealfall nur qualitativ gute Lernzieldefinitionen führen auch noch konkretisiert wurde durch eine Liste von zu be- zu dem erhofften Nutzen. handelnden Inhalten, jedoch meist ohne ergänzende Handlungskomponente. 2 Stand der Praxis Um die Bologna-Vorgaben zu erfüllen mussten die- Ein Lernziel beschreibt das am Ende eines Lernpro- se rudimentären Inhaltsangaben der historischen Mo- zesses erwünschte Ergebnis derart, dass nachprüfbar dulbeschreibungen zu kompetenzorientierten Lern- ist, ob dieses erwünschte Ergebnis auch tatsächlich zieldefinitionen ausgebaut werden. Dieser Prozess erreicht wurde (Terhart, 2005, S. 111f). Lernziele be- war mit diversen Stolpersteinen unterschiedlicher Art schreiben also möglichst exakt die angestrebten Lern- durchsetzt, rangierend von psychologischen („Wozu ergebnisse (Arnold u. a., 1999, S. 79). soll DAS denn gut sein?“) bis hin zu handwerklichen Darüber, ob ein definiertes Lernziel ein Versprechen („Kompetenz ist halt, wenn ich den Inhalt kann, das ist darstellt oder nicht, herrscht in der Praxis eine gewis- doch klar!“). Die ersten Ergebnisse dieser Bemühun- se Uneinigkeit. Häufig sind Lernziele so formuliert, als gen wirkten gelegentlich eher wie das Resultat einer würde keinerlei Zweifel daran bestehen, dass sie auch ungeliebten, aber verpflichtenden Fingerübung, blie- erreicht werden, wie beispielsweise „Sie als Teilneh- ben dabei in ihrem Nutzen jedoch wenig erhellend. mende durchdringen das Prüfungsrecht aus Sicht des Mittlerweile hat sich die Erkenntnis etabliert, dass Prüfers und der Studierenden. Sie wenden es in der in Zeiten der universellen Verfügbarkeit von Fakten- Prüfungssituation sicher an“ (DiZ, 2018). wissen über das Internet der Erwerb dieses Faktenwis- De facto machen jedoch die meisten Lehrenden sens für sich alleine als Lernziel einer akademischen und auch viele Lernende früher oder später die Er- Ausbildung keinesfalls ausreichend ist. Vielmehr for- fahrung, dass eben nicht alle Teilnehmenden auch V. Thurner, O. Radfelder, K. Vosseberg (Hrsg.): SEUH 2019 113 Lernzieldefinitionen für Software Engineering - The Good, the Bad and the Ugly Axel Böttcher, Veronika Thurner and Olga Nikoliai, HS München die gewünschten Ziele in vollem Umfang erreichen. dert wird ein Nachweis für die kontinuierliche Über- Entsprechend sind in der Praxis die angestrebten Lern- prüfung und Weiterentwicklung der Qualifikations- ziele also nicht zwangsweise deckungsgleich mit den ziele. Des Weiteren hinterfragen die Akkreditierungs- tatsächlich erreichten Lernergebnissen (Bischoff u. a., agenturen, inwieweit das jeweilige Curriculum dazu 2017). In einer Handreichung der HRK zur Formu- geeignet erscheint, die definierten Qualifikationsziele lierung von Lernzielen schlägt (Gröblinghoff, 2013) auch tatsächlich zu erreichen. daher vor, der Zielformulierung gedanklich das Präfix Einzelne Fragmente in den Handreichungen der Ak- „Bei Abschluss des Lernprozesses wird der erfolgreiche kreditierungsagenturen weisen darauf hin, dass auch Student in der Lage sein, ...“ voranzustellen. hier nach wie vor eine gewisse Dozierenden-zentrierte Lernziele beschreiben das Handlungspotenzial, das Sichtweise besteht, die impliziert, dass Kompetenzen Studierende durch die erfolgreiche Teilnahme an einer von den Lehrenden vermittelt werden können und Lehrveranstaltung entwickeln (sollen). Dieses Hand- nicht von den Lernenden selbst entwickelt werden lungspotenzial wird durch Verben ausgedrückt (Biggs müssen. Typische Negativbeispiele sind Formulierun- u. Tang, 2011, Kap. 7), die unterschiedliche Exper- gen wie „Welche Qualifikationsziele werden vermit- tisegrade differenzieren. Üblicherweise orientieren telt?“ (ACQUIN, 2014) bzw. „Die Studierenden wer- sich die Definitionen kompetenzorientierter Lernzie- den in die Lage versetzt...“ (AQAS, 2016), welche den le dabei an etablierten Lernzieltaxonomien aus der Eindruck erwecken, als könnten Studierende quasi Literatur. Weit verbreitet ist die sechsstufige Taxono- von außen befähigt werden. mie von Bloom (Bloom u. a., 1956), die mittlerweile häufig in der Überarbeitung von Anderson und Krath- 3 Ziel wohl verwendet wird (Anderson u. a., 2001). Diese Wie bereits dargelegt betrachten wir Modulbeschrei- unterscheidet die kognitiven Ebenen Erinnern, Verste- bungen mit kompetenzorientierten Lernzieldefinitio- hen, Anwenden, Analysieren, Evaluieren und Kreieren. nen als eine wesentliche Informationsquelle, die ins- Neben diesen sechsstufigen Taxonomien sind auch besondere für Studierende und Lehrende, aber auch dreistufige Modelle in Gebrauch. Beispielsweise dif- für Arbeitgeberinnen und Arbeitgeber sowie für Ak- ferenzieren (Schneider, 2002; Hauer, 2011) die drei kreditierungsagenturen von zentraler Bedeutung sind. Ebenen Reproduktion, Anwendung und Übertragung, Entsprechend sehen wir speziell die Lernzieldefinitio- was (Metzger u. Nüesch, 2004; UZH, 2008) zu Wie- nen als zentrales Instrument für die Gestaltung unsere dergeben, Wissen und Anwenden sowie Probleme bear- Lehre sowie für die systematische Reflexion über die- beiten ausgestalten. Um die Überprüfbarkeit des Errei- se. Wir wollen also weg vom rein pflichterfüllenden, chens der Lernziele zu gewährleisten, wird empfohlen, schematischen Definieren und statt dessen hin zu sinn- ausschließlich solche Verben zu verwenden, die eine vollem, Klarheit stiftenden Inhalt. beobachtbare Handlung beschreiben (Kennedy, 2008; Unser initiales Ansinnen war, ein Softwarewerkzeug Hollender, 2010). zur automatisierten Qualitätsprüfung von Modulbe- Viele Hochschulen stellen Leitfäden für die Erstel- schreibungen zu realisieren, das bei der Erstellung lung von Modulbeschreibungen bereit. Diese legen bzw. Weiterentwicklung von Modulbeschreibungen in der Regel fest, welches Stufenmodell den Lernziel- deren Qualitätssicherung unterstützt, analog zu ei- definitionen zugrunde liegen soll und welche Verben ner Unit Test Stage. Nach ersten Experimenten mit jeweils für die Formulierung von Lernzielen auf den Systemen zur Sprachanalyse oder Ähnlichem wurde verschiedenen kognitiven Taxonomiestufen genutzt schnell sichtbar, dass vor der automatisierten Quali- werden sollen (FH Furtwangen, 2013; Uni Würzburg, tätsprüfung zunächst eine Fülle noch offener Fragen 2013; Cursio u. Jahn, 2015; TUM, 2016; Bischoff u. a., auf konzeptueller Ebene zu klären ist, um Qualitäts- 2017). Teilweise enthalten diese Leitfäden auch de- kriterien einerseits und typische Fehlermuster ande- tailliert begründete Negativbeispiele. Einige dieser rerseits zu konkretisieren. Leitfäden wirken ebenso fundiert wie pragmatisch Dafür sind zunächst die Personengruppen zu identi- auf den Punkt gebracht, bieten also den Modulver- fizieren, welche die Lernzieldefinitionen primär nut- antwortlichen eine sehr gute Ausgangsbasis. Dennoch zen, und deren spezifische Anforderungen an die Lern- ist die Existenz eines hervorragenden Leitfadens zur zieldefinitionen zu klären. Aus diesen Anforderun- Erstellung von kompetenzorientierten Modulbeschrei- gen ergeben sich Qualitätskriterien, die eine konkrete bungen an einer Institution kein Garant dafür, dass Lernzieldefinition erfüllen muss, damit sie diesen An- die an dieser Institution existierenden Modulbeschrei- forderungen gerecht wird. Darauf aufbauend lassen bungen auch tatsächlich alle diese wohl durchdachten sich Indikatoren entwickeln, die darauf hinweisen, ob Vorgaben erfüllen. und ggf. inwieweit diese Qualitätskriterien erfüllt oder Akkreditierungsagenturen verlangen in ihren Richt- verletzt sind. D. h. es ist zu klären, was genau eine linien üblicherweise die Beschreibung von Inhalten Lernzieldefinition good, bad oder ugly macht. und Qualifikationszielen, ohne dabei jedoch nähere Die dabei gewonnenen Erkenntnisse zu Qualitäts- Vorgaben zu deren Formulierung bzw. Detailgrad fest- kriterien und -indikatoren für kompetenzorientierte zulegen, siehe z. B. (ACQUIN, 2014). Ebenfalls gefor- Lernzieldefinitionen teilen wir in dieser Arbeit, um V. Thurner, O. Radfelder, K. Vosseberg (Hrsg.): SEUH 2019 114 Lernzieldefinitionen für Software Engineering - The Good, the Bad and the Ugly Axel Böttcher, Veronika Thurner and Olga Nikoliai, HS München sie für andere nutzbar zu machen – auch jenseits der Ebenfalls hochrelevant sind kompetenzorientierte Automatisierung. Das Verständnis dieser Aspekte ist Lernzieldefinitionen, um bei der Gestaltung ei- die Grundlage für eine systematische Qualitätssiche- nes Curriculums die Stringenz des Aufbaus eines rung von Modulbeschreibungen. Diese ist aufgrund Studienganges sicherzustellen. Dabei muss insbe- der hohen Stückzahl von Modulen in einem Studien- sondere eine aus Sicht des iterativ-inkrementellen gang typischerweise ein sehr aufwändiges Unterfan- Kompetenzerwerbs sinnhafte Reihenfolge der Mo- gen – aber dennoch erforderlich, nicht nur kurz vor dule gewährleistet sein, welche einen sukzessiven der (Re-)Akkreditierung. Je klarer die Vorstellung dar- Kompetenzzuwachs choreographiert und gleich- über ist, was eine gute Lernzieldefinition ausmacht, zeitig Lücken und Redundanzen vermeidet. umso schneller und treffsicherer geht die Qualitätssi- cherung von der Hand. Mit dieser Arbeit leisten wir • Arbeitgeberinnen und Arbeitgeber nutzen die kom- somit einen Beitrag zur Verbesserung der Qualität von petenzorientierten Lernzieldefinitionen zuneh- kompetenzorientierten Lernzieldefinitionen. mend, um diese mit dem von ihnen benötigten Fernziel wäre dann die darauf basierende Entwick- Kompetenzprofil abzugleichen. Angesichts der Fül- lung von Templates mit Best Practices und die Ausar- le der heute verfügbaren Studienangebote einer- beitung von Leitfäden zur Definition kompetenzori- seits und der Diversität von Aufgabenstellungen entierter Lernziele, was jedoch den Rahmen dieser auf dem Arbeitsmarkt andererseits ist gerade in Arbeit sprengen würde. der IT-Branche die Suche nach einem „Informa- tiker (m/w/d)“ zunehmend unüblich. Statt des- 4 Anforderungen an sen geht der Trend dahin, Kompetenzprofile von Studienverläufen mit Anforderungsprofilen von kompetenzorientierte Job-Beschreibungen abzugleichen und so den Aus- Lernzielbeschreibungen wahlprozess explizit fähigkeitsorientiert zu gestal- Die in den Modulbeschreibungen dokumentierten ten. Lernzieldefinitionen sind für verschiedene Personen- gruppen von Bedeutung: • Nicht zuletzt blicken die Akkreditierungsagentu- ren im Rahmen der Qualitätssicherung von Stu- • Aus Sicht der Studierenden definiert die Modulbe- diengängen ebenfalls auf die Lernzieldefinitionen. schreibung die Prüfungsanforderungen und bie- Sie evaluieren auf dieser Basis sowohl die Strin- tet damit eine wichtige Orientierungshilfe für die genz des Aufbaus des Studienganges als auch die Gestaltung der studentischen Selbstlernzeit. Im Bedarfsgerechtigkeit der damit zu erlangenden Hinblick auf eine Mobilitätsentscheidung hilft sie Kompetenzen mit Blick auf die Erfordernisse von bei der Auswahl von äquivalenten und damit an- Gesellschaft und Arbeitsmarkt. erkennungsfähigen Angeboten im Ausland. Und Gleichzeitig stellen sie sicher, dass die oben ge- nicht zuletzt vermittelt eine handlungsorientier- nannten Bedürfnisse der jeweiligen Interessen- te Beschreibung der Lernziele einen Einblick in gruppen durch die verfügbaren Lernzieldefinitio- das zu erwartende Tätigkeitsfeld des angestrebten nen auf angemessene Weise erfüllt werden. Berufsbildes und dient damit als Entscheidungs- grundlage für eine fundierte Auswahl des „richti- Jede dieser Personengruppen blickt aus ihrer in- gen“ Studiengangs. dividuellen Perspektive auf die Lernzieldefinitionen. Daraus ergeben sich entsprechend unterschiedliche • Für die Lehrenden ist die kompetenzorientierte Ausprägungen von Anforderungen. Lernzieldefinition elementares Handwerkszeug Gemäß der heute immer noch weit verbreitet ge- bei der Ausgestaltung einer Veranstaltung, in- nutzten Definition von (Mager, 1972, S. 19) ist ein klusive des Leistungsnachweises, im Sinne des Lernziel „eine zweckmäßige Zielbeschreibung (. . . ), Constructive Alignment. Darüber hinaus bietet mit der es gelingt, die Unterrichtsabsichten dem Leser der Erstellungsprozess einer kompetenzorientier- mitzuteilen. Eine gute Zielbeschreibung schließt dar- ten Lernzieldefinition umfassendes Potenzial zur über hinaus eine möglichst große Anzahl möglicher Selbstreflexion: Was lehre ich hier eigentlich? Und Missdeutungen aus“. warum? Wofür ist das später wichtig? Aus dieser Definition heraus ergeben sich unmittel- Auch Lehrenden, die neu in ein Modul einstei- bare Hinweise auf Qualitätskriterien. Zunächst soll gen, dient eine kompetenzorientierte Lernzielde- die Zielbeschreibung „zweckmäßig“ sein, also einer- finition als Orientierung bei der eigenen Ausge- seits die benötigten Informationen bereit stellen, oh- staltung der Veranstaltung und der zugehörigen ne andererseits unnötigen Aufwand beim Erstellen Prüfungen. Vorsitzende von Prüfungskommissio- bzw. Verarbeiten zu generieren. Des Weiteren teilt die nen wiederum nutzen die Lernzieldefinition als Lernzieldefinition das Ziel bzw. die Unterrichtsabsicht Entscheidungsgrundlage für die Anerkennung von mit. Sie fokussiert also das zu erreichende Ergebnis Vorerfahrungen bzw. andernorts erbrachten Stu- und nicht den Weg dahin, also nicht die Schritte des dienleistungen. Lernprozesses. Darüber hinaus schließt eine gute Lern- V. Thurner, O. Radfelder, K. Vosseberg (Hrsg.): SEUH 2019 115 Lernzieldefinitionen für Software Engineering - The Good, the Bad and the Ugly Axel Böttcher, Veronika Thurner and Olga Nikoliai, HS München zieldefinition Missdeutungen aus. Sie ist also inhaltlich stoß gegen ein Positiv-Kriterium die Lernzieldefinition eindeutig sowie verständlich formuliert. auf semantische oder auf syntaktische Weise hässlich Daraus leiten wir die folgenden Qualitätskriterien wird. Als semantisch hässlich betrachten wir die Ver- ab: letzung von Kriterien, welche die Eindeutigkeit (also • Effizient / auf den Punkt die Sicherheit vor Missdeutung) fokussieren bzw. die • Ergebnisorientiert (nicht prozessorientiert) Ergebnisorientierung der Lernzieldefinition gewähr- • Eindeutig leisten. Diese Kriterien sehen wir als besonders rele- • Verständlich vant an. Wird in einer konkreten Lernzieldefinition Dabei ist zu beachten, dass Verständlichkeit indivi- eines oder mehrere dieser Kriterien verletzt, fällt diese duell sehr unterschiedlich wahrgenommen wird. Ins- Lernzieldefinition in die Äquivalenzklasse the Bad. besondere haben Studierende bzw. Studieninteressier- Im Gegensatz dazu klassifizieren wir die Verletzung te, die noch über wenig bis gar kein Domänenwissen von Kriterien, welche primär das Qualitätskriterium verfügen, hier völlig andere Bedarfe und eine andere Effizienz adressieren, als syntaktisch hässlich. Syntak- Wahrnehmung als Personen, die in dieser Domäne als tisch hässliche Lernzieldefinitionen sind zwar in ihrer Experten gelten. inhaltlichen Aussage prinzipiell klar definiert, aber so ungünstig in Sprache verpackt, dass diese inhaltliche 5 Vorgehensweise Aussagekraft nur mit entsprechender Mühe (und in Basierend auf diesem Grundverständnis der Anforde- der Folge mit einer gewissen „Unfallgefahr“) erkenn- rungen der verschiedenen Personengruppen an Lern- bar ist. Derartige Lernzieldefinitionen sind Repräsen- zieldefinitionen sowie der abgeleiteten Qualitätskrite- tanten von the Ugly. rien sind im nächsten Schritt Indikatoren zu identifi- Am Übergang zwischen the Bad and the Ugly liegen zieren, die darauf hinweisen, ob eine konkrete Lern- Lernzieldefinitionen, die gegen das Qualitätskriteri- zieldefinition im Sinne dieser Anforderungen und Qua- um Verständlichkeit verstoßen. Wenn eine bestimmte litätskriterien good, bad oder ugly ist. Person eine Lernzieldefinition nicht versteht, ist das aus Sicht dieser Person ähnlich schlimm, als wenn die 5.1 Prozess Lernzieldefinition semantisch uneindeutig ist – auch Zentraler Bestandteil einer kompetenzorientierten wenn anderen Personen die Bedeutung dieser Lernziel- Lernzieldefinition ist neben der Inhaltskomponen- definition klar ist. Dieses Kriterium ist insbesondere te auch das intendierte Handlungspotenzial. Dieses mit Blick auf die Personengruppe der Studierenden wird in der Regel ausgedrückt über Verben. In un- bzw. Studieninteressierten von großer Bedeutung. Die- serem ersten Ansatz der Analyse von Lernzieldefini- se sind in der Regel zu dem Zeitpunkt, zu dem sie tionen haben wir daher diese Verben automatisiert sich mit einer bestimmten Modulbeschreibung aus- aus den ersten von uns gesammelten Lernzieldefinitio- einander setzen, mit den in diesem Modul adressier- nen extrahiert mit Hilfe des Stanford Part-of-Speech- ten Inhalten noch nicht vertraut, da diese im Verlauf Tagger (Toutanova u. a., 2003), welcher in der Web- des Moduls ja erst gelernt werden sollen. Um die seite wortarten.info für die Deutsche Sprache inte- Verständlichkeit einer Lernzieldefinition sicherzustel- griert ist. Diese automatisierte Analyse hat zwar zu len müssen bei der Erstellung die unterschiedlichen ersten empirisch begründeten Erkenntnissen geführt, Expertise-Ebenen und fachlichen Hintergründe der aber schnell klar gemacht, dass ergänzend zu den verschiedenen Zielgruppen entsprechend berücksich- Verben noch weitere Indikatoren zu betrachten sind. tig werden. Um diese Indikatoren zu identifizieren haben wir eine Vielzahl von Modulbeschreibungen gesammelt, 5.2 Datenbasis deren Lernzieldefinitionen analysiert und diese dann Als Databasis für unsere Analysen haben wir von 39 als good oder bad im Sinne der oben genannten Qua- deutschen Hochschulen für angewandte Wissenschaf- litätskriterien klassifiziert. Dabei haben wir für kon- ten sowie von fünf deutschen Universitäten Modulbe- krete Beispiele herauspräpariert, was genau an diesen schreibungen gesammelt, aus dem fachlichen Umfeld Lernzieldefinitionen jeweils gut oder schlecht ist. Die von Softwareentwicklung bzw. Software Engineering so auf der konkreten Ebene identifizierten Indikatoren in Informatik-nahen Studiengängen. Betrachtet wur- haben wir anschließend hochabstrahiert zu Kriterien den dabei diejenigen Hochschulen für angewandte und das jeweils zugrunde liegende Prinzip benannt, Wissenschaften bzw. Universitäten, die in den Ranglis- sowohl für positive als auch für negative Beispiele. ten des Hochschulrankings der Wirtschaftswoche von Abschließend haben wir diese abstrahierten Krite- 2018 sowie dem CHE-Ranking auf den oberen Plätzen rien nach ihrer Relevanz gewichtet bzw. sortiert. Ins- aufgelistet sind, denen also eine hohe Qualität in der besondere für die Negativ-Kriterien ergab sich daraus Lehre attestiert wurde. Ebenfalls betrachtet wurden eine Abstufung zwischen the Bad und the Ugly (siehe alle Hochschulen aus dem UAS7-Verbund, die sich Abbildung 1). selbst als „dem höchsten Qualitätsstandard in [der] Bei dieser Gewichtung der abstrahierten Kriterien Lehre [...] verpflichtet“ (www.uas7.de) sehen. Ergän- unterscheiden wir insbesondere, ob bei einem Ver- zend wurden die Hochschulen und Universitäten in V. Thurner, O. Radfelder, K. Vosseberg (Hrsg.): SEUH 2019 116 Lernzieldefinitionen für Software Engineering - The Good, the Bad and the Ugly Axel Böttcher, Veronika Thurner and Olga Nikoliai, HS München Abbildung 1: Verletzung von Qualitätskriterien und deren Folgen unserer unmittelbaren geographischen Nachbarschaft aus unterscheiden. Entsprechend vermuten wir mit betrachtet. eine Korrelation zwischen der jeweiligen Akkredi- Im nächsten Schritt wurden an den so ausgewähl- tierungsagentur und der Form sowie ggf. Qualität ten Institutionen die Informatik-nahen Studiengän- der Lernzieldefinitionen in den Modulbeschrei- ge im Bachelor-Bereich identifiziert, mit Fokus auf bungen. „Informatik“, „Allgemeine Informatik“, „Angewandte Informatik“ und „Praktische Informatik“. Innerhalb • Lernzieldefinitionen, Inhalte und Lehrformen dieser Studiengänge konzentrierten wir uns dann auf Diese Daten lagen im eigentlichen Fokus unserer all diejenigen Module, die „Softwareentwicklung“ und Untersuchung. Um bei unserer Analyse eine ent- „Software Engineering“ adressieren, also auch „(Ob- sprechende Präzision zu gewährleisten und Miss- jektorientierte) Programmierung“, „Softwaretechnik“, deutungen zu vermeiden wurde explizit dokumen- „Programmiermethodik“, „Techniken der Programm- tiert, wie die einzelnen Institutionen innerhalb ih- entwicklung“ sowie Modulen zu konkreten Program- rer Modulbeschreibungen die jeweiligen Rubriken miersprachen. Ebenfalls berücksichtigt wurden Mo- für Lehr-Lernziele, Inhalte und Lehrform genau dule wie „Projekt“ bzw. „Projektarbeit“, wenn diese bezeichnen und inwieweit diese Rubriken syntak- erkennbaren Bezug zu Softwareentwicklung bzw. Soft- tisch voneinander abgegrenzt sind. ware Engineering aufwiesen. Insgesamt wurden auf diese Weise rund 250 Mo- 6 The Good dulbeschreibungen von Hochschulen für angewandte Abbildung 2 vermittelt eine sortierte Übersicht über Wissenschaften sowie rund 25 Modulbeschreibungen die Kriterien für gute bzw. schlechte Lernzieldefinitio- von Universitäten ausgewählt. Für jedes dieser Modu- nen, also für the Good, the Bad and the Ugly. Zunächst le wurden die folgenden Daten gesammelt: betrachten wir die positiven Beispiele und damit die- • Organisatorische Rahmendaten jenigen Kriterien, deren Erfüllung eine Lernzieldefini- Betrachtet wurden dabei grundlegende Informa- tion als eine Instanz von the Good qualifizieren. tionen zur organisatorischen Einbettung des Mo- Inhalt und Handlungskomponente duls, wie beispielsweise Hochschule, Studiengang, Jede gute Lernzieldefinition kombiniert einen Inhalt Lehrveranstaltung, Modul, Fakultät/Fachbereich, mit einer Handlungskomponente. Diese beschreibt, URL, ECTS, SWS, Arbeitsaufwand und Prüfungs- welche Art von Tätigkeit auf bzw. mit diesem Inhalt form. Obwohl diese Daten selbst nicht direkt im durchzuführen ist. In der Regel wird diese Handlungs- Mittelpunkt unserer Untersuchung standen waren komponente über ein Verb ausgedrückt. sie hilfreich, um eine grundlegende Vorstellung Ein Beispiel für eine Lernzieldefinition, die Inhalt der jeweiligen Module zu entwickeln und sie in und Handlungskomponente kombiniert, wäre „Die ihren fachlichen und organisatorischen Kontext Studierenden (...) können einfache Funktionalitäten einzuordnen. in Klassen kapseln, Objekte erzeugen und Methoden • Akkreditierungsdaten aufrufen. Darüber hinaus sind sie in der Lage, korrek- Hier wurde erfasst, ob der Studiengang, in dem ten, lesbaren und wartbaren Code zu erzeugen“ (HS das Modul verortet ist, bereits akkreditiert wur- Fulda, 2018). de und falls ja, wann und von welcher Akkredi- Studierendenzentrierung tierungsagentur die Akkreditierung erteilt wur- Lernziele beschreiben das Handlungspotenzial, das de. Diese Daten sind für unsere Untersuchung Studierende durch die erfolgreiche Teilnahme an ei- insofern relevant, als Modulbeschreibungen in der ner Lehrveranstaltung entwickeln (sollen). Die mit Regel im Rahmen von Akkreditierungsverfahren diesem Handlungspotenzial verbundenen Kompeten- qualitätsgesichert werden. Des Weiteren zeigt die zen werden dabei nicht von außen in die Studieren- Selbsterfahrung, dass unterschiedliche Akkreditie- den „eingefüllt“, sondern aktiv von den Studierenden rungsagenturen sich in ihren Vorgaben und Prä- erworben. Die in der Lernzieldefinition verwendeten ferenzen hinsichtlich kompetenzorientierter Lern- Verben entsprechen dieser Sichtweise, beschreiben zieldefinitionen in Modulbeschreibungen durch- also das von den Studierenden zu erlernende Ver- V. Thurner, O. Radfelder, K. Vosseberg (Hrsg.): SEUH 2019 117 Lernzieldefinitionen für Software Engineering - The Good, the Bad and the Ugly Axel Böttcher, Veronika Thurner and Olga Nikoliai, HS München Inhalt und Handlungskomponente Studierendenzentrierung Beobachtbares Verhalten Klare Zuordnung zu Kompetenzebenen 😃 Spezifikation der Klassifikatoren good Zielgruppengerechte Sprache Zielgerichtete Formulierung ugly 😖 Phrasen Nominalstil Sinnfreie Füllverben Syntaktisch komplexe Formulierungen bad Unterspezifikation von Klassifikatoren 😦 Semantisch falsche Verwendung von Verben Uneindeutige Kompetenzebene Nicht-beobachtbares Verhalten Prozessorientierung Dozierendenzentrierung Fehlende Handlungskomponente Vermischung von Inhalt und Lernzielen Abbildung 2: Kriterien für die Bewertung von Lernzieldefinitionen – von bad über ugly nach good halten, wie im obigen Beispiel der HS Fulda. (Eine ein wohldefinierte Taxonomie von Kompetenzebenen Dozierenden-zentrierte Formulierung würde dagegen zugrunde, wie beispielsweise (Bloom u. a., 1956), (An- beschreiben, was die Lehrperson „vermitteln“ will, al- derson u. a., 2001), (Schneider, 2002), (Metzger u. so das Lehrziel der Lehrperson und nicht das Lernziel Nüesch, 2004) oder (Hauer, 2011). der Studierenden.) Einige Hochschulen legen in ihren Leitfäden zur Ergebnisorientierung Formulierung von Modulbeschreibungen fest, welche Ein Lernziel definiert, welche Fähigkeiten die Studie- Taxonomie für Kompetenzebenen verwendet werden renden im Laufe des Lernprozesses entwickelt haben soll. Teilweise werden auch die zu nutzenden Verben sollen, also die als Ergebnis gewünschten Kompeten- vorgegeben. Zu beachten ist, dass die gleichen Ver- zen, wie im obigen Beispiel der HS Fulda. Sie be- ben bei verschiedenen Taxonomien mit unterschiedli- schreiben dagegen nicht die einzelnen Schritte, die im chen Kompetenzebenen korrespondieren. Beispiels- Zuge des Lernprozesses zu durchlaufen sind, um diese weise liegt Beurteilen in der sechsstufigen Taxono- Kompetenzen aufzubauen. mie von (Bloom u. a., 1956) auf Ebene 6: Evaluieren, Beobachtbares Verhalten während in der ebenfalls sechsstufigen Überarbeitung von (Anderson u. a., 2001) Evaluieren auf Ebene 5 Gemäß der aktuell in Deutschland gängigen Lehr- liegt. Im dreistufigen Modell von (Metzger u. Nüesch, Lernpraxis muss spätestens am Ende einer Modul- 2004) wiederum korrespondiert Beurteilen mit der Durchführung überprüft werden, inwieweit die einzel- dritten Ebene Probleme bearbeiten. nen Studierenden die Lernziele erreicht haben. Damit klar wird, wann ein Lernziel als erreicht gilt, ist die Der erste Satz der nachfolgenden Lernzieldefinition Handlungskomponente in Form von beobachtbarem „Die Studierenden kennen weitergehende Konzepte Verhalten zu beschreiben. der nebenläufigen und verteilten Programmierung. Die Lernzieldefinition „Nach erfolgreicher Beendi- Sie können beurteilen, wann und wie ein Algorithmus gung der Veranstaltung sind die Studierenden in der sich erfolgreich parallelisieren lässt (...)“ (FH Münster, Lage, verschiedene Vorgehensmodelle mit ihren Stär- 2018) adressiert beispielsweise die Kompetenzebene ken und Schwächen zu beschreiben“ (HS Kempten, 1: Erinnern nach der Lernzieltaxonomie von (Ander- 2018) der Hochschule Kempten definiert, welches be- son u. a., 2001), während der zweite Satz auf der obachtbare Verhalten die Studierenden zeigen müssen, Kompetenzebene 5: Evaluieren angesiedelt ist. damit das Lernziel als erreicht gilt. Dadurch wird das Spezifikation der Klassifikatoren Erreichen des Lernziels überprüfbar. Insbesondere auf den höheren Kompetenzebenen im Klare Zuordnung zu Kompetenzebenen Sinne der oben genannten Taxonomien finden sich Die Handlungskomponente eines Lernziels legt die Art immer wieder Formulierungen wie „an einfachen Auf- der Tätigkeit fest, die auf bzw. mit dem Inhalt durch- gabenstellungen bzw. Beispielen“. Die Erfahrung zeigt, zuführen ist. Sie repräsentiert also das Kompetenzni- dass es hochgradig von der bereits vorhandenen Ex- veau, d. h. den zu erreichenden Grad an handlungsbe- pertise abhängt, ob eine Person eine Aufgabenstellung fähigender Expertise. Guten Lernzieldefinitionen liegt bzw. ein Beispiel als „einfach“ empfindet oder nicht. V. Thurner, O. Radfelder, K. Vosseberg (Hrsg.): SEUH 2019 118 Lernzieldefinitionen für Software Engineering - The Good, the Bad and the Ugly Axel Böttcher, Veronika Thurner and Olga Nikoliai, HS München Tabelle 1: Korrespondierende Paare von Kriterien für good vs. bad / ugly und deren Relevanz Relevanz The Good The Ugly and the Bad Relevanz ++++ Inhalt und Handlungskomponente Vermischung von Inhalt und Lernzielen –––– Fehlende Handlungskomponente –––– +++ Studierendenzentrierung Dozierendenzentrierung ––– +++ Beobachtbares Verhalten Prozessorientierung ––– Nicht-beobachtbares Verhalten ––– ++ Klare Zuordnung zu Kompetenzebenen Uneindeutige Kompetenzebene –– Semantisch falsche Verwendung von Verben – – ++ Spezifikation der Klassifikatoren Unterspezifikation von Klassifikatoren –– ++ Zielgruppengerechte Sprache Syntaktisch komplexe Formulierungen –– + Zielgerichtete Formulierung Sinnfreie Füllverben – Nominalstil – Phrasen – Um die Lernzieldefinition eindeutig zu gestalten und katoren das schnell und klar erkennbar ist. Wir stellen Missdeutungen möglichst auszuschließen ist die Be- dabei eine Menge von Mustern (Anti-Patterns) zusam- deutung derartiger Klassifikatoren klar zu beschrei- men, die wir aus den Formulierungen der untersuch- ben. ten Modulbeschreibungen heraus abstrahiert haben Ein Beispiel für eine Lernzieldefinition mit klar spe- und die wir als ungünstig für die Definition kompeten- zifiziertem Klassifikator wäre: „Die Studierenden ent- zorientierter Lernziele betrachten. Diese Formulierun- wickeln für ein einfaches Problem aus einer gegebe- gen müssen nicht per se immer negativ sein. Es lohnt nen Anforderungsspezifikation heraus einen Entwurf, sich jedoch, in jedem Einzelfall nachzudenken, ob ihre der sowohl die Gesamtstruktur der Lösung als auch Verwendung für den Zweck der kompetenzorientier- die einzelnen Algorithmen vorgibt. (...) Ein „einfaches ten Lernzieldefinition zielführend ist – im Sinne des Problem“ ist dabei eine Aufgabenstellung, die mit max. Kapitels „Giftschrank der Wörter“ aus (Rechenberg, 10 Klassen objektorientiert zu lösen ist“ (HS München, 2006). 2018). Anders als bei den positiven Beispielen aus Ab- Zielgruppengerechte Sprache schnitt 6 geben wir zu den Negativbeispielen keine Damit die Zielgruppe eine Lernzieldefinition korrekt Quellen an, denn wir wollen mit unserer Arbeit kein interpretieren kann ist es wichtig, diese in eine Spra- Fingerpointing schüren, sondern zu Reflexion anre- che zu kleiden, die für die Zielgruppe auch verständ- gen. Aus dem gleichen Grund haben wir darauf ge- lich ist. Mit Blick auf die Studierenden ist hier beson- achtet, als Beispiele jeweils so kurze Fragmente aus ders wichtig, dass Fachbegriffe nur moderat verwen- den zugrunde liegenden Lernzieldefinitionen heraus- det und deren Bedeutung ggf. knapp erläutert wird. zuschneiden, dass diese nicht mehr eindeutig durch Ebenfalls hilfreich ist es, Sätze kurz zu halten und eine einfache Internet-Suche zu identifizieren sind. In möglichst einfache Formulierungen zu verwenden. seltenen Fällen haben wir den vorgefundenen Wort- Zielgerichtete Formulierung laut auch marginal abgewandelt, damit eine Suche ins Leere läuft. Eine Lernzieldefinition empfinden wir dann als ziel- gerichtet, wenn die erforderlichen Informationen so Zu beachten ist ferner, dass die Zuordnung einer ausführlich wie nötig, aber so knapp wie möglich dar- Formulierung zu einem Kriterium nicht immer ein- gestellt werden. Die erforderliche Information muss deutig ist; d. h., manche Formulierungen qualifizieren also vollständig und angemessen detailliert sein, ohne sich für mehrere Arten von Hässlichkeit. Ergänzend dabei unnötig breit getreten oder mit Phrasen aufge- zur sortierten Übersicht über die Kriterien für gute bauscht zu werden. Zu beachten ist, dass das Empfin- bzw. schlechte Lernzieldefinitionen in Abbildung 2 den, welcher Umfang bzw. Detaillierungsgrad ange- stellt Tabelle 1 diese Kriterien einander gegenüber, als messen ist, ein Stück weit Geschmackssache ist. jeweils korrespondierende Paare für die positive bzw. negative Ausprägung des gleichen Anliegens. 7 What makes the Bad bad and the Ugly ugly? 7.1 Semantisch hässlich – the Bad Nach diesen positiven Beispielen widmen wir uns im Wir beginnen die Diskussion des Verbesserungspoten- Folgenden der Analyse von negativen Beispielen. Wir zials für Lernzieldefinitionen mit denjenigen Kriterien, untersuchen also, welche Kriterien dazu führen, dass die besonders gravierend sind, d. h. in besonderem eine Lernzieldefinition semantisch oder syntaktisch Maße dazu beitragen, dass eine Lernzieldefinition zu hässlich, also bad oder ugly ist, und an welchen Indi- the Bad zählt. V. Thurner, O. Radfelder, K. Vosseberg (Hrsg.): SEUH 2019 119 Lernzieldefinitionen für Software Engineering - The Good, the Bad and the Ugly Axel Böttcher, Veronika Thurner and Olga Nikoliai, HS München Vermischung von Inhalt und Lernzielen Fehlende Handlungskomponente Ein kompetenzorientiertes Lernziel kombiniert jeweils Jedes kompetenzorientierte Lernziel beinhaltet eine einen Inhalt mit einer Handlungskomponente. Es Handlungskomponente. Diese wird über ein Verb aus- drückt also ein Handlungspotenzial aus, das die ler- gedrückt, wie beispielsweise „beurteilen“ oder „er- nende Person nach erfolgreichem Lernprozess auf bzw. stellen“ – oder zumindest die Nominalisierung von mit dem Inhalt durchführen können soll. Verben, wie beispielsweise „Kenntnis“ oder „Anwen- dung“. Die Struktur der meisten untersuchten Modulbe- schreibungen weist definierte, voneinander getrennte Zu beobachten ist, dass einige Lernzieldefinitionen Rubriken für Inhalte und für Lernziele aus. Ideal wäre keine kompetenzbeschreibende Handlungskomponen- es, wenn die Rubrik „Inhalt“ einen schnellen Über- te beinhalten, weder als Verb noch als Nominalisie- blick über die im Modul adressierten Themengebiete rung eines Verbs. Statt dessen werden entweder reine vermitteln würde, während die angestrebten Kompe- Inhalte aufgelistet oder aber Hilfsverben verwendet, tenzen (als Kombination von Inhalt und Handlungs- die lediglich den Lernprozess an sich beschreiben, je- komponente) in der Rubrik „Lernziele“ angegeben doch nicht das angestrebte Handlungspotenzial aus- werden. drücken. Dadurch wird nicht deutlich, welche Form von Zu beobachten ist jedoch, dass diverse Modulbe- Handlungspotenzial auf und mit dem jeweiligen Inhalt schreibungen diese Rubriken nicht trennscharf nut- als Lernergebnis erwartet wird. Die zu erreichende zen, sondern vielmehr reine Inhalte in die Rubrik für Kompetenz bleibt damit völlig unklar – sind lediglich Lernziele bzw. Kompetenzen schreiben. Umgekehrt Definitionen wiederzugeben oder ist ein fachliches werden gelegentlich auch die zu entwickelnden Kom- Artefakt zu entwickeln, das den etablierten Qualitäts- petenzen in der Rubrik für die Inhalte dokumentiert. kriterien der Zunft genügt? Durch diese strukturelle Unsauberkeit werden die Beispiele für Lernzieldefinitionen, in welchen die Modulbeschreibungen vergleichsweise schlecht lesbar. angestrebte Handlungsebene komplett offen bleibt, Insbesondere wird es für die Zielgruppen der Modul- sind: beschreibung ungleich schwieriger, zweifelsfrei die in • „(...) lernen die Studierenden weitergehende Me- diesem Modul adressierten Kompetenzen zu identifi- thoden ... [gefolgt von einer Auflistung von Tech- zieren – insbesondere dann, wenn die Lernziele nicht nologien]“ in der Rubrik „Lernziele“ aufgelistet sind, sondern ver- • „Daneben erwerben sie Kompetenz in ... [gefolgt steckt unter einer anderen Überschrift. Aber auch die von einer Aufzählung reiner Inhalte]“ Einbettung einzelner Lernziele zwischen umfangrei- • „Steigerung der (...) Fähigkeiten in (...)“ chen inhaltlichen Erläuterungen macht die Lernziele schwer erkennbar, selbst wenn sie letztlich doch in Dozierendenzentrierung der passenden Rubrik aufgeführt sind. Des Weiteren Dozierendenzentrierte Formulierungen beschreiben, liegt der Verdacht nahe, dass die Urheber derartiger was die Dozierenden zu lehren gedenken, häufig mit Modulbeschreibungen nicht angemessen präzise für einem starken Fokus auf reine Inhalte. Das Handlungs- sich selbst geklärt haben, wie nun eigentlich Inhalte potenzial und damit die Kompetenz, die die Studieren- und Lernziele zueinander in Beziehung stehen und den durch Teilnahme an der Lehr-Lernveranstaltung welche Kompetenzen die Studierenden überhaupt in entwickeln können, wird dagegen nicht definiert. diesem Modul entwickeln sollen. Entsprechend beschreiben derartige Formulierungen Lehrziele und nicht Lernziele. Beispiele für derartige, zwischen die Lernziele ein- gestreute inhaltliche Erläuterungen sind: Letztere bleiben dabei völlig unklar. Insbesondere wird das von den Studierenden erwartete Handlungs- • „Softwareentwicklung wird als iterativer und in- potenzial und damit die Kompetenzebene bei diesen krementeller Prozess (...) verstanden“ Formulierungen nicht deutlich. Des Weiteren weisen • „Die Entwicklung von Softwaresystemen (...) [ist] dozierendenzentrierte Formulierungen den Studieren- in der Praxis immer fächerübergreifend“ den in ihrem Lernprozess eine passive Rolle zu, die • „Software Engineering umfasst (...)“ einer modernen Lehr-Lernsituation nicht angemessen Einige dieser ausschließlich inhaltlichen Erläuterun- ist. Derartige Modulbeschreibungen lesen sich dann gen muten an wie eine motivatorische Begründung eher wie Drohungen, nicht wie Versprechen. der Relevanz der behandelten Inhalte. Diese ist ja Beispielsweise behandeln die folgenden Formulie- durchaus eine relevante Information, sollte aber an rungen die Studierenden wie passive Objekte des Lehr- einer dafür geeigneteren Stelle stehen, beispielsweise prozesses: in der Studiengangsbeschreibung oder eben in der • „die Studierenden werden in die Lage ver- Rubrik mit den Inhalten. setzt...“ (AQAS, 2016) Des Weiteren finden sich nach wie vor diverse Mo- • „die Studierenden werden befähigt zu ...“ dulbeschreibungen, die zwar Inhalte auflisten, aber • „Weiterhin erfahren [die Studierenden] eine Ein- keinerlei Lernziele definieren. führung in ...“ V. Thurner, O. Radfelder, K. Vosseberg (Hrsg.): SEUH 2019 120 Lernzieldefinitionen für Software Engineering - The Good, the Bad and the Ugly Axel Böttcher, Veronika Thurner and Olga Nikoliai, HS München Im Extremfall kommt eine Lehrzielbeschreibung Um die Erwartungshaltung an die Lernenden klar ganz ohne Bezug zu Studierenden aus: zu definieren ist es daher sinnvoll, Lernziele so zu for- • „Die Lehrveranstaltung führt ein in ...“. mulieren, dass sie auf möglichst differenzierte Weise • „Das Modul vermittelt ...“ ein von außen beobachtbares Verhalten bzw. Ergebnis • „Außerdem wird ... behandelt“ beschreiben. Von diesem aus kann dann auf die Exis- • „In der Veranstaltung wird ... vorgestellt“ tenz der geforderten Kompetenz geschlossen werden. • „Die Programmierkenntnisse in Java werden er- Nicht alle Verben beschreiben ein Verhalten, das weitert um ...“ tatsächlich beobachtbar ist. Insbesondere trifft dies Typische Indikatoren für dozierendenzentrierte For- auf die Bezeichner der kognitiven Ebenen der Taxo- mulierungen sind also Verben wie „vermitteln“, „be- nomie von Anderson und Krathwohl (Anderson u. a., handeln“ oder „befähigen“, sowie deren Nominalisie- 2001) zu: Erinnern, Verstehen, Anwenden, Analysieren, rung, also beispielsweise „die Vermittlung von“. Evaluieren und Kreieren sind für sich genommen keine von außen wahrnehmbaren Verhaltensweisen. Prozessorientierung Um beispielsweise beobachten zu können, ob Stu- Einige Modulbeschreibungen dokumentieren als Lern- dierende einen Sachverhalt verstanden haben, ist ei- ziele weniger die gewünschten Lernergebnisse als den ne konkrete Aufgabenbeschreibung erforderlich, an Prozess bzw. die Lernsituation, der verfolgt bzw. die deren Bearbeitungsprozess bzw. erzieltem Ergebnis aufgebaut wird, um diese Lernergebnisse zu erreichen. sich der Grad des Verständnisses ablesen lässt. Geeig- Derartige Formulierungen sind aus zweierlei Grün- nete Formulierungen bzw. Verben für ein Verhalten, den nicht ideal. Zum einen bleibt die zu erlernende an dem Verstehen beobachtet werden kann, sind bei- Handlungskomponente in der Regel weit gehend un- spielsweise „... mit eigenen Worten beschreiben“ oder klar. Zum anderen ist es prinzipiell denkbar, dass es „veranschaulichen“. verschiedene mögliche Wege zum gleichen Ziel gibt. Uneindeutige Kompetenzebene Eine prozessorientierte Modulbeschreibung schränkt Nicht alle Verben spezifizieren die angestrebte damit unnötig ein auf den einen vorgegebenen Lern- Expertise-Ebene so genau, dass zweifelsfrei klar ist pfad. was die Lernenden nach dem Lernprozess wirklich Typische Indikatoren für prozessorientierte Formu- leisten können sollen. Auch wenn Lernzieldefinitionen lierungen sind Wörter, die eine zeitliche Reihenfol- basierend auf einer der bekannten Lernzieltaxonomi- ge einzelner Schritte bzw. eine Abfolge von Themen en formuliert werden, lassen sich nicht alle denkbaren implizieren, ohne dabei die Handlungskomponente Verben eindeutig einer kognitiven Ebene zuordnen. genauer auszuweisen, wie beispielsweise „ausgehend Dies könnte mit ein Grund dafür sein, warum sehr von“. häufig die Ebenenbezeichner selbst verwendet wer- • „Ausgehend von [Artefakt] steht dabei die Phase den, um Lernziele zu beschreiben – denn diese Ebe- ... im Mittelpunkt.“ nenbezeichner sind ja per Definitionem den Ebenen • „Einsatz [bestimmter Verfahren] ausgehend vom eindeutig zugeordnet. Sie beschreiben jedoch, wie [Artefakt]“ oben dargestellt, kein beobachtbares Verhalten. Auf Ebenfalls häufig vertreten sind listenartige Aufzäh- diese Weise definierte Lernziele sind somit nicht über- lungen der durchzuführenden Arbeitsschritte (meist prüfbar. als Nominalisierung) bzw. der zu verwendenden Werk- Typische Formulierungen, bei denen die von einem zeuge, sowie eine zwischen die Lernziele gemischte Lernziel adressierte Expertiseebene der Handlungs- Beschreibung der Lernsituation. komponente völlig offen bleibt, sind: • „Nutzung von [Verfahren]“ • „Fähigkeit zur [Paradigma-Adjektiv] Programmie- • „Einsatz von [Werkzeug]“ rung“ • „... werden in Gruppen von [n] Studierenden be- • „beherrschen“ arbeitet ...“ • „sinnvoll einsetzen“ Nicht-beobachtbares Verhalten • „lernen [Konzept oder Verfahren] kennen“ Nach den Konventionen unseres aktuellen Bildungs- Semantisch falsche Verwendung von Verben systemes ist im Verlaufe eines Bildungsprozesses im- Einige der analysierten Modulbeschreibungen bein- mer wieder auf geeignete Weise zu überprüfen, in- halten Lernzieldefinitionen, die Verben auf eine Weise wieweit die Lernenden die gesetzten Lernziele auch verwenden, dass diese Verben auf den ersten Blick erreicht, also die geforderten Kompetenzen entwickelt semantische Assoziationen wecken mit einer bestimm- haben. Ob eine Person über bestimmte Fähigkeiten ten Kompetenzebene, jedoch eigentlich einer ganz und Fertigkeiten verfügt kann von außen betrachtet anderen Kompetenzebene zugehören. ausschließlich am beobachtbaren Verhalten dieser Per- Dadurch wird die Lernzieldefinition schwer lesbar. son fest gemacht werden, oder an den beobachtbaren Es steigt das Risiko von Missdeutungen. Ergebnissen dieses Verhaltens. Geprüft wird also, ob Zu Formulierungen, die entsprechend risikobehaftet eine Person bei bestimmten Aufgaben ein den Aufga- sind, zählen beispielsweise ben angemessenes Verhalten zeigt. • „verstehen [etwas] sinnvoll einzusetzen“ V. Thurner, O. Radfelder, K. Vosseberg (Hrsg.): SEUH 2019 121 Lernzieldefinitionen für Software Engineering - The Good, the Bad and the Ugly Axel Böttcher, Veronika Thurner and Olga Nikoliai, HS München • „erkennen ... die Anwendbarkeit [von Konzepten • Schlechte Strukturierung für eine Problemstellung]“ • Vermischung von reinem Inhalt, Lernzieldefinitio- Das erste Beispiel wirkt auf den ersten Blick so, nen und Beschreibung des Lernprozesses an sich als würde Ebene 2, Verstehen, der Taxonomien von bis zur Unkenntlichkeit Bloom (Bloom u. a., 1956) oder Anderson und Kra- • Zu geringer oder zu großer Umfang (d. h. unter- thwohl (Anderson u. a., 2001) adressiert. De facto spezifiziert vs. überdetailliert) geht es bei genauerem Hinsehen jedoch darum, et- Sinnfreie Füllverben was „einzusetzen“ und damit mindestens um Ebene Als sinnfreie Füllverben in Lernzieldefinitionen bezeich- 3, Anwenden. Im zweiten Beispiel fallen zunächst die nen wir Verben, die keine Handlungskomponente mit Begriffe „erkennen“ und „Anwendbarkeit“ ins Auge, Bezug zu Inhalt ausdrücken. Häufig treten diese sinn- die auf die Ebenen 1, Erinnern oder 3, Anwenden hin- freien Füllverben in Kombination mit Nominalstil auf. weisen. De facto geht es jedoch darum, zu identifi- D. h. die eigentlich im Fokus stehende Handlungs- zieren, welches der gelernten Konzepte am besten kompetenz wird in ein substantiviertes Verb verpackt. für die Lösung der Problemstellung geeignet ist, und Beispiele sind: dieses dann auszuwählen. Diese Kompetenz entsprä- • „verfügen die Studierenden über ein grundlegen- che jedoch Evaluieren, also Ebene 5 der Taxonomie des Verständnis“ von Anderson und Krathwohl, bzw. Ebene 6 in der • „beherrschen Grundkenntnisse“ Taxonomie von Bloom. • „erlernen [den] Tooleinsatz“ Unterspezifikation von Klassifikatoren für Inhalt Nominalstil Einige Lernzieldefinitionen klassifizieren die Inhalts- Von Nominalstil sprechen wir, wenn die Handlungs- komponente, meist durch Verwendung von Adjektiven, komponente nicht über ein Verb, sondern über dessen die den Inhalt genauer beschreiben. Diese Klassifikato- Substantivierung ausgedrückt wird. Häufig tritt dieses ren sind jedoch nur dann wirklich hilfreich, wenn ihre Phänomen in Kombination mit sinnfreien Füllverben Bedeutung ohne Interpretationsspielraum festgelegt oder Phrasen auf. Übermäßig verwendeter Nominal- ist. Beispielsweise hängt es von der bereits verfügba- stil macht einen Text (und damit auch eine Lernziel- ren Expertise ab, ob eine Person einen Algorithmus definition) meist schwerer verständlich. oder ein Problem als „einfach“ empfindet oder nicht. Typische Beispiele sind, ergänzend zu den bereits Meist wird die Bedeutung derartiger Klassifikatoren bei Sinnfreie Füllverben genannten: jedoch offen gelassen. • „Vermittlung von Grundkenntnissen“ Typische Beispiele sind: • „Umsetzung von Algorithmen“ • „grundlegende Konzepte“ • „Strukturierung von Daten“ • „kleinere Problemstellungen“ • „Einsatz von Werkzeugen“ • „eine einfache Anwendung“ Phrasen 7.2 Syntaktisch hässlich – the Ugly Ein identifiziertes Qualitätskriterium für Lernzieldefi- Die bisher betrachteten Kriterien weisen auf seman- nitionen ist die Effizienz, also ob eine Lernzieldefini- tische Schwierigkeiten hin, insbesondere auf Unklar- tion die relevante Information auf den Punkt bringt. heiten bzw. Unterspezifikation und damit auf hohen Kontraproduktiv dafür sind Phrasen, also wohltönen- Interpretationsspielraum. Sie bergen somit ein Risiko de, aber inhaltlich nichtssagende Textfragmente, da auf Missdeutungen. sie die Lernzieldefinitionen unnötig aufblähen. Im Folgenden diskutieren wir syntaktische Kriterien, Typische Repräsentanten für Phrasen in Lernzielde- die dazu führen, dass Lernzielformulierungen schwer finitionen sind: lesbar und damit ugly werden. • „Die Studierenden werden befähigt ...“ Syntaktisch komplexe Formulierungen • „Die Studierenden sollen ... verstanden haben“ Lernzieldefinitionen sollen insbesondere auch für Stu- • „Die Studierenden sind in der Lage ...“ dierende oder Studieninteressierte verständlich sein, • „Weiterhin erwerben [die Studierenden] Kenntnis- also eine Personengruppe, welche mit den in den Lern- se und Fertigkeiten im Bereich ...“ zielen thematisierten Inhalten zunächst nicht oder nur • „... soll ... Gelegenheit bieten ...“ wenig vertraut ist. Entsprechend ist darauf zu achten, eine möglichst einfache, klar verständliche Sprache 8 Zusammenfassung und Ausblick zu wählen. Diese wird nicht nur den Studierenden Basierend auf der Analyse der Lernzieldefinitionen besser gerecht, sondern ist ggf. auch für die anderen aus rund 275 deutschsprachigen Modulbeschreibun- Zielgruppen klarer und effizienter verständlich. gen aus dem fachlichen Umfeld von Programmierung Beispiele für typische Fallstricke in den Formulie- und Softwaretechnik haben wir Qualitätskriterien für rungen sind: Lernzieldefinitionen definiert. Auf dieser Grundlage • Hoher Anteil an Fremdwörtern und Fachsprache, haben wir sowohl Best Practices als auch Anti-Patterns wenn es „normalverständlich“ auch gehen würde identifiziert. Letztere haben wir differenziert nach se- • Stark verschachtelte Sätze mantischen und syntaktischen Hässlichkeiten. Diese V. Thurner, O. Radfelder, K. Vosseberg (Hrsg.): SEUH 2019 122 Lernzieldefinitionen für Software Engineering - The Good, the Bad and the Ugly Axel Böttcher, Veronika Thurner and Olga Nikoliai, HS München beeinträchtigen die Qualität von Lernzieldefinitionen [AQAS 2016] Agentur für Qualitätssicherung durch unterschiedlich stark. Entsprechend klassifizieren wir Akkreditierung von Studiengängen (AQAS e.V.): je nach Erfüllung von Best Practices bzw. Anti-Patterns Qualität Transparenz Vergleichbarkeit Informa- einzelne Lernzieldefinitionen nach the Good, the Bad tionen zur Programmakkreditierung. 9. Auf- and the Ugly. lage. https://www.aqas.de/downloads/AQAS- Im Rahmen der genaueren Analyse der betrachte- Broschuere.pdf, 2016. – zuletzt aufgerufen am ten Lernzieldefinitionen wurde erkennbar, dass mit 4.11.2018 Blick auf verständliche, in ihrer Bedeutung eindeutige, kompetenzorientierte Lernzieldefinitionen durchaus [Arnold u. a. 1999] A RNOLD, R. ; K RÄMER -S TÜRZL, noch Verbesserungspotenzial vorhanden ist. Beispiels- A. ; S IEBERT, H.: Dozentenleitfaden. Planung und weise beinhalten rund 10% der Lernzieldefinitionen Unterrichtsvorbereitung in Fortbildung und Erwach- noch Verben wie „vermittelt“ oder „befähigt“, die auf senenbildung. Berlin : Cornelsen, 1999 eine dozierendenzentrierte Haltung hinweisen. Des [Biggs u. Tang 2011] B IGGS, J. ; TANG, C.: Teaching Weiteren weist ein großer Anteil der analysierten Mo- For Quality Learning At University. McGraw-Hill dulbeschreibungen in den Lernzieldefinitionen kein Education, 2011 (SRHE and Open University Press beobachtbares Verhalten aus. Damit sind diese nicht Imprint). – ISBN 9780335242757 überprüfbar. Gerade wegen der weit reichenden Bedeutung von [Bischoff u. a. 2017] B ISCHOFF, M. ; B OENTERT, A. ; Lernzieldefinitionen, sowohl für die Lehrenden als P ERNHORST, C.: Module entwickeln und beschreiben. Grundlage der Gestaltung der Lehre im Sinne des https://www.fh-muenster.de/hochschule/ Constructive Alignments, als auch für die Studieren- qualitaetsentwicklung/downloads/170914_ den zum Verständnis der Prüfungsanforderungen und Modulbeschreibung_Druckfassung.pdf, 2017. – der inhaltlichen Ausrichtung eines Faches, ist der An- zuletzt aufgerufen am 4.11.2018 spruch an die Qualität von Lernzieldefinitionen zuneh- mend steigend. Entsprechend besteht hier an vielen [Bloom u. a. 1956] B LOOM, B. S. ; E NGELHART, M. B. Stellen noch Handlungsbedarf – auch für unseren ei- ; F URST, E. J. ; H ILL, W. H. ; K RATHWOHL, D. R.: genen Wirkungsbereich. Taxonomy of educational objectives: The classificati- Zum Schluss bleibt festzustellen, dass eine automa- on of educational goals. New York : David McKay tisierte Qualitätssicherung von Lernzieldefinitionen Company, 1956 mit den derzeit verfügbaren technischen Mitteln noch sehr schwierig ist. Entsprechend wird bis auf Weiteres [Cursio u. Jahn 2015] C URSIO, M. ; JAHN, D.: Formu- eine manuelle Qualitätssicherung unabdingbar sein. lierung kompetenzorientierter Lernziele auf Module- Auch hier hilft ein klares Verständnis von Best Prac- bene. https://www.nat.fau.de/files/2015/12/ tices ebenso wie von Anti-Patterns, kritische Formu- 03-Leitfaden-Leitfaden-zur-Formulierung- lierungen schnell zu identifizieren und auf effiziente kompetenzorientierter-Lernziele-auf- Weise mögliche Verbesserungen anzugeben. Modulebene-NatFak-und-FBZHL.pdf, 2015. – zuletzt aufgerufen am 9.11.2018 Dank [DiZ 2018] D I Z: Lernzieldefinition des Kurses Das Autorenteam wurde gefördert durch das BMBF „Rechtsgrundlagen für die Lehre an Hochschulen“. Förderkennzeichen 01PL16025 (Projekt "Für die Zu- https://diz-bayern.de/programm/termine- kunft gerüstet"), im Programm "Qualitätspakt Lehre". und-buchung/details/4-diz-termin?xref= 161503:rechtsgrundlagen-fuer-die-lehre-an- Literatur hochschulen, 2018 [ACQUIN 2014] Akkreditierungsagentur AC- [FH Furtwangen 2013] Hochschule Furtwangen QUIN e. V.: Leitfaden für Verfahren der University, Prorektor für Lehre und Studium/ Programmakkreditierung. https://www. Stabsstelle Qualitätsmanagement: Modulbe- acquin.org/wp-content/uploads/2014/06/ schreibung und Formulierung von Lernergebnissen. LeitfadenProgrammakkreditierung.pdf, 2014. – http://findo.hs-furtwangen.de/pub/QM_ zuletzt aufgerufen am 4.11.2018 Board/HFU_Leitfaden_Modulbeschreibung.pdf, 2013. – zuletzt aufgerufen am 4.11.2018 [Anderson u. a. 2001] A NDERSON, Lorin W. ; K RA - THWOHL , David R. ; A IRASIAN , Peter W. ; C RUIKS - [FH Münster 2018] FH Münster: Modulbe- HANK , Kathleen A. ; M AYER , Richard E. ; P INTRICH , schreibung „Höhere Programmierkonzepte“. Paul R. ; R ATHS, James ; W ITTROCK, Merlin C.: A https://www.fh-muenster.de/eti/downloads/ Taxonomy for Learning, Teaching, and Assessing. A module/Modulhandbuch_Informatik_2012-06- Revision of Bloom’s Taxonomy of Educational Objecti- 20_Ueberarbeitet_2017.pdf, abgerufen am ves. 1. New York : Longman, 2001 27.11.2018, 2018 V. Thurner, O. Radfelder, K. Vosseberg (Hrsg.): SEUH 2019 123 Lernzieldefinitionen für Software Engineering - The Good, the Bad and the Ugly Axel Böttcher, Veronika Thurner and Olga Nikoliai, HS München [Gröblinghoff 2013] G RÖBLINGHOFF, F.: ne- [Toutanova u. a. 2003] T OUTANOVA, Kristina ; K LEIN, xus impulse für die Praxis Nr. 2: Lerner- Dan ; M ANNING, Christopher D. ; S INGER, Yoram: gebnisse praktisch formulieren. 1. Aufla- Feature-rich Part-of-speech Tagging with a Cyclic ge. https://www.hrk-nexus.de/fileadmin/ Dependency Network. In: Proceedings of the 2003 redaktion/hrk-nexus/07-Downloads/07-02- Conference of the North American Chapter of the Publikationen/Lernergebnisse_praktisch_ Association for Computational Linguistics on Human formulieren_01.pdf, 2013. – zuletzt aufgerufen Language Technology - Volume 1, 2003 (NAACL ’03), am 4.11.2018 S. 173–180 [Hauer 2011] H AUER, E.: Wird dumm geprüft, wird [TUM 2016] Technische Universität München: dumm gelernt – Plädoyer für den Einsatz anwen- Wegweiser zur Erstellung von Modulbeschrei- dungsorientierter Prüfungsaufgaben im Hochschul- bungen, Version 3. https://www.lehren. bereich. In: Magazin erwachsenenbildung.at (2011), tum.de/fileadmin/w00bmo/www/QM_Handbuch/ Nr. 12, S. 10.1–10.10 Dokumente/Wegweiser_Modulbeschreibungen_ Version3_Stand_Maerz_16.pdf, 2016. – zuletzt [Hollender 2010] H OLLENDER, D.: Formulierungs- aufgerufen am 4.11.2018 hilfen für Modulhandbücher – Handreichung zur Verstärkung der Kompetenzorientierung. [Uni Würzburg 2013] Julius-Maximiliansuniversität https://www.intern.tu-darmstadt.de/media/ Würzburg: Output-Orientierung und Kompe- dezernat_ii/ordnungen/Handreichung.pdf, tenzformulierung im Bologna-Prozess. https: 2010. – zuletzt aufgerufen am 13.11.2018 //www.uni-wuerzburg.de/fileadmin/39030000/ ZiLS/Material/Kompetenzorientierung/ [HS Fulda 2018] HS Fulda: Modulbeschreibung Kompetenzformulierung_15.10.2013.pdf, 2013. „Programmierung 1“. https://www.hs-fulda.de/ – zuletzt aufgerufen am 4.11.2018 fileadmin/user_upload/Unsere_Hochschule/ Hochschulrecht/Pruefungsordnungen_der_ [UZH 2008] Dossier Unididaktik – Lernziele for- Fachbereiche/Angewandte_Informatik/AI_BSc_ mulieren in Bachelor- und Masterstudiengän- AI_2017-06-21.pdf, abgerufen am 27.11.2018, gen. https://www.hrk-nexus.de/fileadmin/ 2018 redaktion/hrk-nexus/07-Downloads/07-03- Material/DU_Lernziele_11_08.pdf, 2008 [HS Kempten 2018] HS Kempten: Modulbeschrei- bung „Softwaretechnik 1“. https://www.hs- [Weinert 2001] W EINERT, F.E. (.: Leistungsmessung in kempten.de/fileadmin/fh-kempten/E_I/ Schulen. Weinheim : Beltz, 2001 inf_bsc/pdf/20180727_Modulhandbuch_IF_- _Beschlussvorlage.pdf, abgerufen am 27.11.2018, 2018 [HS München 2018] HS München: Modulbeschrei- bung „Softwareentwicklung 1 (IB)“. https://w3- o.cs.hm.edu:8000/public/module/226/, abgeru- fen am 27.11.2018, 2018 [Kennedy 2008] K ENNEDY, D.: Lernergebnisse (Lear- ning Outcomes) in der Praxis – Ein Leitfaden; Deut- sche Version: T. Mitchell, V. Gehmlich, M. Steimann. 2008 [Mager 1972] M AGER, R.: Lernziele und programmier- ter Unterricht. 35. Weinheim : Beltz, 1972 [Metzger u. Nüesch 2004] M ETZGER, C. ; N ÜESCH, C.: Fair prüfen: Ein Qualitätsleitfaden für Prüfende an Hochschulen. 2004 [Rechenberg 2006] R ECHENBERG, P.: Technisches Schreiben: (nicht nur) für Informatiker. Hanser, 2006. – ISBN 9783446406957 [Schneider 2002] S CHNEIDER, W.: Foliensatz “Einfüh- rung in die Wirtschaftspädagogik”. Wien, 2002 [Terhart 2005] T ERHART, E.: Lehr-Lern-Methoden. 4. Weinheim : Juventa, 2005 V. Thurner, O. Radfelder, K. Vosseberg (Hrsg.): SEUH 2019 124