Ansätze zur automatischen Generierung von Aufgaben zum Modellverstehen am Beispiel von UML-Sequenzdiagrammen RenéPonto paluno Universität Duisburg-Essen The Ruhr Institute for Software Technology
Gerlingstraße 16 45127 Essen Deutschland
TobiasSchüler paluno Universität Duisburg-Essen The Ruhr Institute for Software Technology
Gerlingstraße 16 45127 Essen Deutschland
MichaelStriewe michael.striewe@paluno.uni-due.de paluno Universität Duisburg-Essen The Ruhr Institute for Software Technology
Gerlingstraße 16 45127 Essen Deutschland
Ansätze zur automatischen Generierung von Aufgaben zum Modellverstehen am Beispiel von UML-Sequenzdiagrammen 13AEAA9AD3A1385ACCA1F1AB855CD068 GROBID - A machine learning software for extracting information from scholarly documents Modellierung Modellverstehen Aufgabengenerierung Übungsaufgaben

Um das Verstehen von Diagrammen und Modellen trainieren zu können, ist eine hinreichend große Menge verschiedener Aufgaben notwendig. Die manuelle Erstellung von großen Mengen ähnlicher Aufgaben ist jedoch zeitaufwändig und wenig attraktiv. Dieser Beitrag stellt als Alternative zwei prototypisch implementierte, erweiterbare Generatoren vor, mit denen UML-Diagramme und darauf basierende Aufgaben auf Basis einiger weniger, manueller Vorgaben automatisch erstellt werden können. Die beiden Prototypen zeigen am Beispiel von UML-Sequenzdiagrammen, dass die gewählten Konzepte technisch umsetzbar und in einer hinreichenden Breite einsetzbar sind.
Einleitung

In der Hochschullehre der Informatik spielt die Modellierung in vielfältiger Weise eine zentrale Rolle im Curriculum [Gl08]. Sowohl auf der Ebene abstrakter Modellkonzepte als auch auf der Ebener konkreter Modellierungssprachen werden in Einführungsveranstaltungen häufig Kompetenzen vermittelt, die wichtige Voraussetzungen für die erfolgreiche Teilnahme an fortgeschrittenen Lehrveranstaltungen sind [Co03] und die auch im nicht-akademischen Berufsleben von hoher Relevanz sind [Da06].

Die Lehre zur Modellierung in einem konkreten Anwendungsbereich muss sich dabei mit mindestens vier disjunkten Aspekten auseinandersetzen: (1) Das konzeptionelle Verständnis für das Subjekt der Modellierung; (2) die Kenntnis der Syntax und Semantik einer konkreten Modellierungssprache, mit der Diagramme erstellt werden können, die das Modell angemessen repräsentieren; (3) die praktische Erstellung eines syntaktisch korrekten Diagramms, das eine geeignete Sicht auf das Modell bietet und dessen Semantik das Subjekt der Modellierung korrekt wiedergibt und (4) die korrekte Interpretation eines gegebenen Diagramms, um Aussagen über das zugrundeliegende Modell und letztlich das modellierte Subjekt zu treffen. Insbesondere der dritte und der vierte Aspekt stehen in unmittelbarer Beziehung zu gängigen Kompetenzmodellen zur informatischen Modellierung und zum Systemverstehen (vgl. [Li13]). Bei genauerer Betrachtung der Aufgaben zeigt sich, dass die meisten von ihnen mutmaßlich nur eine kurze Bearbeitungszeit benötigen. Lediglich die allerletzte Aufgabe, in der Programmcode erstellt werden soll, dürfte eine deutlich längere Bearbeitungszeit erfordern. Allen Aufgaben ist zudem gemein, dass sie sich kaum für eine wiederholte Bearbeitung eignen, um den Lerneffekt zu steigern und gelernte Kompetenzen zu vertiefen. Sie unterscheiden sich damit deutlich von Modellierungsaufgaben, bei denen eine wiederholte

78René Ponto, Tobias Schüler, Michael Striewe Betrachtet man exemplarisch die Modellierung eines Algorithmus', der imperativ und objekt-orientiert implementiert werden soll, lassen sich die vier Aspekte wie folgt illustrieren: (1) Es muss das konzeptionelle Verständnis dafür geschaffen werden, dass Algorithmen in imperativen Programmiersprachen schrittweise entsprechend der Reihenfolge der Anweisungen im Programmcode ausgeführt werden, wobei Schleifen zu Wiederholungen und Fallunterscheidungen zu Auslassungen führen können. Ferner muss das konzeptionelle Verständnis dafür geschaffen werden, dass Objekte über Methodenaufrufe und deren Rückgaben miteinander kommunizieren und dass dadurch ein Aufruf-Stack entstehen kann, bei dem das oberste Element die Kontrolle hat und entweder weitere Aufrufe tätigen oder durch eine Rückgabe die Kontrolle wieder abgeben kann. (2) Man kann die Syntax und Semantik von UML-Sequenzdiagrammen nutzen, um den Ablauf eines Algortihmus auf der Ebene der Methodenaufrufe diagrammatisch zu beschreiben. Dazu müssen neben den Grundkonzepten (Objekte, Lebenslinie, synchrone und asynchrone Nachrichten) auch Fragmente bekannt sein, um Schleifen und Fallunterscheidungen zu modellieren. (3) Eine praktische Modellierungsaufgabe kann auf Basis dieser Kenntnisse einen Algorithmus in Form des Programmcodes oder einer hinreichend präzisen, textuellen Beschreibung vorgeben und die Erstellung eines UML-Sequenzdiagramms (ggf. unter Berücksichtigung bestimmter Aufrufparameter für den Algorithmus) erfordern. (4) Eine Aufgabe zum Modellverstehen kann ein UML-Sequenzdiagramm vorgeben und inhaltliche Fragen zum Ablauf des Algorithmus' oder zur mutmaßlichen Struktur des objekt-orientierten Programms stellen. Für alle vier Aspekte können geeignete Übungsaufgaben gestellt werden, die zu einem gewissen Grad auch automatisiert generiert oder bewertet werden können. Insbesondere der dritte Aspekt ist mit verschiedenen Ansätzen zur Generierung (z. B. [Sh16]) und insbesondere zur Bewertung (z. B. [ASI07, CLP18, Le06, Sc12, SG14, TSW08]) Gegenstand umfangreicher Forschungen. Die automatische Bewertung in den anderen drei Aspekten kann zudem zumindest teilweise mit Standardverfahren wie Multiple-Choice oder Lückentexten durchgeführt werden. Im Fokus des vorliegenden Beitrags steht daher die automatisierte Generierung von Aufgaben für den vierten Aspekt, also das Modellverstehen. Auch dazu gibt es bereits Ansätze, beispielsweise für Aufgaben zum Matching von Klassen-und Objektdiagrammen [KSV19]. Es können auch weitere Ansätze zur automatischen Erstellung von Lösungen für Modellierungsaufgaben [MB08] für diese Aufgabe genutzt werden. Dass das Modellverstehen kein einfacher Prozess ist und zahlreichen Einflussfaktoren unterliegt, wird durch zahlreiche Forschungen belegt ([HFL12, Fi17]) und untermauert damit die These, dass eine große Menge von Übungsaufgaben in diesem Bereich hilfreich sein kann. Im vorliegenden Beitrag wird der Aspekt der Aufgabengenerierung wie folgt näher beleuchtet: Abschnitt 2 differenziert die möglichen Aufgaben zum Modellverstehen genauer hinsichtlich ihrer Komplexität und Anforderungen an die automatische Aufgabengenerierung und Bewertung. Abschnitt 3 stellt ein Konzept zur template-basierten, automatischen Generierung von Aufgaben vor, welches bisher als Prototyp realisiert wurde. Abschnitt 4 geht auf die automatische Generierung von Diagrammen ein, die als Grundlage für Fragen zum Modellverstehen dienen können. Alle drei Abschnitte verwenden wie die Einleitung UML-Sequenzdiagramme als durchgehendes Beispiel, sind im Kern ihrer Betrachtung aber nicht auf diesen Diagrammtyp beschränkt. Abschnitt 5 zieht ein Fazit und schließt den Beitrag mit einem Ausblick auf weiteren Forschungsbedarf. 2 Aufgaben zum Modellverstehen Der Prozess des Modellverstehens kann auf mehrere, konsekutive Schritte heruntergebrochen werden. Zunächst einmal müssen relevante syntaktische Elemente in einem Diagramm überhaupt erkannt werden. Man kann annehmen, dass dieser Schritt vor allem eine Zeitfrage ist, die wesentlich von der Größe und Übersichtlichkeit des betrachteten Diagramms sowie der Erfahrung der betrachtenden Person abhängt. So kann es bei Anfängern schon zu Schwierigkeiten in diesem Schritt kommen, wenn beispielsweise überprüft werden soll, ob in einem UML-Sequenzdiagramm zwei Objekte A und B enthalten sind, die mindestens eine Nachricht austauschen. In einem zweiten Schritt können gefundene Elemente dann im Sinne der Diagrammsemantik interpretiert werden. Damit kann beispielsweise die Frage geklärt werden, welches Objekt in einem UML-Sequenzdiagramm den zeitlich gesehen letzten Methodenaufruf tätigt oder welche Nachricht innerhalb einer Schleife verschickt wird. Schließlich können in einem letzten Schritt diese Erkenntnisse auf das Modell und von dort auf das eigentliche Subjekt übertragen werden. Hier kann dann beispielsweise die Frage beantwortet werden, ob eine bestimmte Methode einer bestimmten Klasse rekursiv arbeitet oder ob basierend auf den Diagramminhalten Klasse A ausschließlich von Klasse B genutzt wird. Praktische Beispiele für entsprechende Übungsaufgaben aus der Hochschullehre sind im Internet verfügbar und über Suchmaschinen leicht auffindbar (z. B. [Mo, Ci] für Aufgaben zum Verständnis von UML-Sequenzdiagrammen). Tabelle 1 zeigt einige Beispiele für mögliche Aufgaben zu UML-Sequenzdiagrammen und kategorisiert diese nach dem Fragetyp. Tiefergehende Fragen zum Modellverständnis sind insbesondere durch die Kombination verschiedener Diagrammtypen möglich, indem beispielsweise fehlende Informationen in einem Diagramm durch Informationen aus dem anderen Diagramm vervollständigt werden sollen. Im vorliegenden Beitrag werden diese Fragentypen jedoch nicht weiter vertieft und es werden lediglich Fragen behandelt, die ausschließlich anhand von Sequenzdiagrammen bearbeitet werden können. Die betrachteten Konzepte sind dabei jedoch nicht auf Sequenzdiagramme beschränkt, sondern können auch auf andere Diagrammtypen übertragen werden.
4Abb. 1: Benutzeroberfläche des Diagrammgenerators mit einigen exemplarisch ausgewählten Einstellungen.
schon alleine deshalb interessant sein kann, weil es mehrere Wege geben kann, denselben Sachverhalt in einem Diagramm auszudrücken.Wenn eine wiederholte Bearbeitung derselben Aufgabe nicht sinnvoll ist, aber gleichzeitig trotzdem eine große Menge von Übungsmöglichkeiten bereitgestellt werden soll, die nicht in wenigen Minuten zu bearbeiten ist, dann ist dies nur über eine hinreichend große Menge von unterschiedlichen Aufgaben möglich. Die manuelle Erstellung solcher Aufgaben ist jedoch mühsam und bei der Vervielfältigung und Variation von Aufgaben in manueller "Massenproduktion" kann es leicht zu Flüchtigkeitsfehlern kommen. Es bietet sich daher an, Generierung von Aufgaben zum Modellverstehen 81 bei der Erstellung von Aufgaben auf Methoden der automatischen Aufgabengenerierung zurückzugreifen, um schnell eine große Menge gleichartiger Aufgaben zu erzeugen. Ein gängiger Ansatz zur automatischen Generierung von Aufgaben basiert auf Aufgabentemplates [Gi13]. Diese bestehen aus einem Aufgabenstamm, der den Aufgabentext sowie Platzhalter enthält. Für jeden dieser Platzhalter gibt es eine Menge von konkreten Werten, die für ihn in den Aufgabentext eingesetzt werden können. Die Platzhalter können dabei voneinander unabhängig oder abhängig sein. Bei unabhängigen Platzhaltern sind beliebige Kombinationen der konkreten Werte möglich. Bei abhängigen Platzhaltern gibt es dagegen nur eine Menge von Tupeln, die gültige Belegungen angeben und eine Teilmenge aller möglichen Kombinationen darstellen. Das Verfahren wurde ursprünglich nur für Multiple-Choice-Aufgaben entwickelt, aber es spricht aus technischer Sicht nichts dagegen, es auch für andere Aufgabentypen einzusetzen. Die ersten beiden Schritte sind deterministisch. Sie beginnen mit der manuellen Eingabe eines Diagramms und es schließt sich die manuelle Inspektion der generierten Werte an. Es bietet sich daher an, diesen Schritt für jedes eingegebene Diagramm nur einmalig und in einem separaten Editor-Werkzeug durchzuführen. Für den vierten Schritt kann die konkrete Erzeugung dann ebenfalls in diesem Werkzeug ablaufen, das dann eine größere Menge von Instanzen exportieren muss. Alternativ exportiert es lediglich eine Aufgabenbeschreibung zum Import in ein geeignetes Übungssystem, welches die Erzeugung von Instanzen auf Basis der ausgewählten Tupel dann selbständig durchführt. Eine prototypische Umsetzung dieses Konzepts wurde im Rahmen eines studentischen Projektes mit einem Java-basierten Editor und einem Export für das E-Assessment-System JACK [St16] realisiert. Der Editor liest UML-Modelle in Form von XMI-Dateien ein2 und analysiert anschließend die Anwendbarkeit mehrerer Templates auf das jeweilige Diagramm. Der Editor verfügt derzeit über insgesamt 34 Templates zu Aktivitätsdiagrammen,FragetypAufgabeKategorie "Syntax"Ja/NeinGibt es im Diagramm eine Nachricht von Objekt A zu Objekt B mit demInhalt C?Multiple Choice 3 Template-basierte Generierung von Aufgaben Welche der folgenden Elemente kommen im Diagramm vor?Single/MultipleWelche der im Diagramm markierten Stellen markiert die AktivierungChoiceeines Prozesses?Single ChoiceWie nennt man das im Diagramm markierte Element?Single/MultipleWelche der im Diagramm markierten Nachrichten ist synchron?ChoiceFreitextGeben Sie den Inhalt einer synchronen Nachricht aus dem Diagramm an.FreitextGibt es im Diagramm einen Fehler oder ein fehlendes Element? Falls ja,benennen Sie den Fehler.Kategorie "Diagramm"Multiple ChoiceWelche Objekte kommunizieren miteinander, indem sie mindestens eineNachricht an den jeweiligen Partner senden oder von ihm empfangen?Freitext oder SingleWelches Objekt ist der Empfänger/Sender der Nachricht X?ChoiceJa/NeinIst die Nachricht X die letzte in der zeitlichen Abfolge?Single ChoiceAn welcher Stelle in der zeitlichen Abfolge steht die Nachricht X?FreitextWie viele Nachrichten werden maximal/mindestens innerhalb des XY-Fragments verschickt?Kategorie "Modell"Single/MultipleWelches der im Folgenden angegebenen Klassendiagramme passt zumChoiceSequenzdiagramm?Single ChoiceIn welchem der beiden folgenden Diagramme ist der Kontrollfluss zentralerorganisiert?FreitextSchreiben Sie ein Stück Programmcode, welches das Programmverhaltenrealisiert, das im Diagramm gegeben ist.2.Sind alle Voraussetzungen erfüllt, kann mit der Sammlung möglicher Werte begonnenwerden. Im gewählten Beispiel müssen dazu alle benannten Objekte und alle Nach-richten durchlaufen werden. Für jede Kombination muss dann geprüft werden, ob dieFrage mit Ja oder Nein zu beantworten ist. Gegebenenfalls können als zusätzlicheDistraktoren in diesem Schritt auch weitere Werte eingefügt werden, die nicht demDiagramm entnommen sind.3.Nach diesen beiden Schritten kann die entstandene Aufgabe bei Bedarf manuell aufihre Sinnhaftigkeit überprüft werden, indem alle erzeugten Belegungen geprüft undeinzelne Tupel ggf. manuell ausgeschlossen werden.4.Anschließend werden alle verbleibenden Tupel dazu verwendet, um konkrete Instanzender Aufgabe zu erzeugen.
Tab. 1: Beispielaufgaben zum Modellverstehen im Kontext von UML-Sequenzdiagrammen.BearbeitungFür die Generierung von Fragen zum Modellverständnis können die Platzhalter in einem Generator allerdings nicht mit festen Werten hinterlegt werden, sondern es müssen Abfragen formuliert werden, mit denen die konkreten Werte aus einem gegebenen Diagramm herausgelesen werden können. Das Vorgehen kann anhand der ersten Frage aus Tabelle 1 wie folgt beschrieben werden, wobei die Frage bereits die Platzhalter A, B und C enthält:1.Zunächst muss überprüft werden, ob das verwendete Diagramm überhaupt die notwendigen Eigenschaften erfüllt, um die gewünschte Frage zu stellen. Im gewählten Beispiel ist es dazu notwendig zu überprüfen, ob das Diagramm mindestens zwei benannte Objekte enthält, zwischen denen mindestens eine benannte Nachricht verschickt wird. Die meisten Sequenzdiagramm dürften diese Eigenschaft erfüllen, aber es sind auch Beispiele denkbar, in denen es nur anonyme Objekte gibt, die möglicherweise sogar alle derselben Klasse angehören. Klassendiagrammen, Sequenzdiagrammen und Zustandsdiagrammen. Diese decken derzeit vor allem den Bereich "Syntax" und "Diagramm" ab und sollen in Zukunft noch weiter im Bereich "Modell" ausgebaut werden.Eine erste Erprobung der automatisch erzeugten Aufgaben erfolgt im derzeit laufenden Wintersemester 2019/2020. Dazu wurden zu je einem Diagramm jeden Typs zwei bis fünf Aufgaben automatisch erzeugt, so dass insgesamt 15 der 34 verfügbaren Templates zum Einsatz kommen. Die Aufgaben wurden den Studierenden ergänzend zum regulären Übungsbetrieb einer Lehrveranstaltung (Bachelor, 3. Fachsemester) zur Verfügung gestellt, in der die vier genannten Diagrammtypen zum Lehrstoff gehören. Die Studierenden wurden dabei gebeten, einen Erhebungsbogen auszufüllen, in dem sie die Aufgaben hinsichtlich verschiedener Aspekte auf Likert-Skalen bewerten sowie in einem Freitextfeld Kommentare angeben können.
Um das Problem der automatische Erzeugung von Diagrammlayouts auszuklammern, muss zusätzliche eine Bilddatei mit dem gewünschten Diagramm eingelesen werden. Diese wird jedoch nicht weiter analysiert, sondern lediglich für die Anzeige in der Aufgabe verwendet.
Assessment System For UML Class Diagram Using Notations Extraction NoraidaAli Haji; Shukur ;Zarina SufianIdris IJCSNS International Journal of Computer Science and Network Security 7 8 August 2007. 2007 PaoloCiancarini Exercises on basic UML behaviors Improving Diagram Assessment in Mooshak Helder;Correia JoséLeal JoséPaulo; Paiva Carlos Ras, Eric Roldán , Guerrero Technology Enhanced Assessment (TEA AnaElena
Cham, S.
 Springer International Publishing 2017. 2018 Modelling: a neglected feature in the software engineering curriculum AJCowling Proceedings 16th Conference on Software Engineering Education and Training 16th Conference on Software Engineering Education and Training
CSEE&T
 2003. 2003. March 2003 <author> <persName><forename type="first">Islay</forename><surname>Davies</surname></persName> </author> <imprint/> </monogr> </biblStruct> <biblStruct xml:id="b6"> <monogr> <title/> <author> <persName><forename type="first">Peter</forename><surname>Green</surname></persName> </author> <imprint/> </monogr> </biblStruct> <biblStruct xml:id="b7"> <analytic> <title level="a" type="main">How do practitioners use conceptual modeling in practice? Michael;Rosemann Marta;Indulska StanGallo Data & Knowledge Engineering 58 3 2006 Including the special issue : ER 2004 Comprehension of Procedural Visual Business Process Models KathrinFigl Business & Information Systems Engineering 59 1 Feb 2017 GenMyModel Repository Automatic Item Generation MarkJGierl 2013 Routledge Modellierung in der Lehre an Hochschulen: Thesen und Erfahrungen MartinGlinz Informatik-Spektrum 31 5 Oct 2008 <author> <persName><forename type="first">Constantin</forename><forename type="middle">;</forename><surname>Houy</surname></persName> </author> <author> <persName><forename type="first">Peter</forename><surname>Fettke</surname></persName> </author> <imprint/> </monogr> </biblStruct> <biblStruct xml:id="b13"> <monogr> <title level="m" type="main">Understanding Understandability of Conceptual Models -What Are We Actually Talking about? PeterLoos Atzeni, Paolo Cheung, David Conceptual Modeling Ram Sudha Hrsg 2012 Springer Berlin Heidelberg; Berlin, Heidelberg, S. Online Img2UML Repository: An Online Repository for UML Models Bilal;Karasneh Chaudron RVMichel EESSMOD@MoDELS 2013 <author> <persName><forename type="first">Violet</forename><surname>Kafa</surname></persName> </author> <imprint/> </monogr> </biblStruct> <biblStruct xml:id="b17"> <monogr> <title/> <author> <persName><forename type="first">Marcellus</forename><surname>Siegburg</surname></persName> </author> <imprint/> </monogr> </biblStruct> <biblStruct xml:id="b18"> <analytic> <title level="a" type="main">Exercise Task Generation for UML Class/Object Diagrams, via Alloy Model Instance Finding JanisVoigtlander SACLA 2019 CCIS 2019 1136 A Constraint-based Assessment Approach for Free-Form Design of Class Diagrams using UML Nguyen-ThinhLe Proceedings of the Workshop on Intelligent Tutoring Systems for Ill-Defined Domains. S. 92 the Workshop on Intelligent Tutoring Systems for Ill-Defined Domains. S. 92 2006 Competence model for informatics modelling and system comprehension BLinck LOhrndorf SSchubert PStechert JMagenheim WNelles JNeugebauer NSchaper IEEE Global Engineering Education Conference (EDUCON). S 2013. March 2013 Generating and Evaluating Object-Oriented Designs for Instructors and Novice Students Sally;Moritz GlennBlank Intelligent Tutoring Systems for Ill-Defined Domains: Assessment and Feedback in Ill-Defined Domains. S 2008 35 Modelling exercises Teaching UML Skills to Novice Programmers Using a Sample Solution Based Intelligent Tutoring System Joachim;Schramm Sven;Strickroth Nguyen-Thinh;Le NielsPinkwart Proceedings of the 25 th International Conference of the Florida Artificial Intelligence Research Society (FLAIRS). AAAI GMYoungblood PMccarthy the 25 th International Conference of the Florida Artificial Intelligence Research Society (FLAIRS). AAAI
Marco Island, FL, USA
 2012 Automated Assessment of UML Activity Diagrams Michael;Striewe MichaelGoedicke Proceedings of the 2014 conference on Innovation & technology in computer science education (ITiCSE 2014) the 2014 conference on Innovation & technology in computer science education (ITiCSE 2014) 2014 336 Generating DFA Construction Problems Automatically Varun;Shenoy Aparanji KUllas; Sripradha Kumar Viraj International Conference on Learning and Teaching in Computing and Engineering (LaTICE). S 2016 An architecture for modular grading and feedback generation for complex exercises MichaelStriewe Science of Computer Programming 129 2016 <author> <persName><forename type="first">Pete</forename><surname>Thomas</surname></persName> </author> <imprint/> </monogr> </biblStruct> <biblStruct xml:id="b28"> <analytic> <title level="a" type="main">Automatically assessing graph-based diagrams Neil;Smith KevinWaugh Learning, Media and Technology 33 3 2008