GATE -Ein System zur Verbesserung der Programmierausbildung und zur Unterstützung von TutorenOliverMülleroliver.mueller@tu-clausthal.deInstitut für Informatik Institut für InformatikTechnische Universität Clausthal Humboldt-Universität zu Berlin JuliusAlbert-Str. 4 Unter den Linden 6, -Zellerfeld38678, 10099Clausthal, BerlinSvenStrickrothInstitut für Informatik Institut für InformatikTechnische Universität Clausthal Humboldt-Universität zu Berlin JuliusAlbert-Str. 4 Unter den Linden 6, -Zellerfeld38678, 10099Clausthal, BerlinGATE -Ein System zur Verbesserung der Programmierausbildung und zur Unterstützung von Tutoren23ED575E6A515A9C0D7D876179E4391DGROBID - A machine learning software for extracting information from scholarly documents
Einleitung
Zur Verbesserung der Programmierausbildung und zur Unterstützung von Tutoren, insbesondere in Vorlesungen mit mehreren hundert Studierenden, wurde an der TU Clausthal das webbasierte, plattformunabhängige, GPLv3 lizensierte System GATE1 (Generic Assessment & Testing Environment) [Str09] entwickelt. Das System bietet die Möglichkeit Übungen zu organisieren und zu verwalten sowie Lösungen zu Übungsaufgaben in digitaler Form einzureichen und innerhalb des Systems zu korrigieren bzw. zu bewerten. Zusätzlich stellt es weitere spezielle Funktionen für Aufgaben aus den Bereichen Java-Programmierung und UML-Modellierung zur Verfügung.
Dieses Paper gibt zunächst einen kurzen Überblick über die wesentlichen Funktionen, die GATE Studierenden und Tutoren bietet, und geht anschließend auf die für das System durchgeführten Evaluationen ein, die bereits in ausführlicherer Form in [SOP11] bzw. [Sch+12] veröffentlicht wurden.
Funktionen des Systems GATE
Funktionen für Studierende
Studierende, die an einer Vorlesung teilnehmen, können sich mit GATE in Übungsgruppen eintragen, ihre aktuellen Punktestände einsehen und ihre Lösungen zu Übungsaufgaben ohne Medienbruch direkt in digitaler Form einreichen. Sind Testfälle freigegeben, können Studierende begrenzt oft automatisches Feedback für ihre Lösung anfordern und innerhalb des Bearbeitungszeitraumes eine modifizierte Lösung einreichen. Durch das Feedback soll die Qualität der studentischen Abgaben weiter verbessert werden.
Funktionen für Tutoren
Eingereichte Lösungen sind nach Abgabeschluss einer Aufgabe von den Tutoren einsehbar und können dann mit Hilfe des Systems korrigiert und bewertet werden. Über eine Freitext-Kommentarfunktion können Tutoren ausführlicheres Feedback zu ihren Bewertungen und Korrekturen bzw. zu den studentischen Lösungen geben. Das Feedback kann hierbei nicht nur an die jeweils betroffenen Studierenden, sondern auch an alle anderen Tutoren adressiert sein, die derselben Veranstaltung zugeteilt sind und jeweils eine andere Übungsgruppe betreuen. Hierdurch können sich die Tutoren untereinander z.B. über vermutete oder bestätigte Plagiate informieren oder eine weitere Korrektur durch einen anderen Tutor anfordern.
Um den insbesondere bei großen Vorlesungen anfallenden manuellen Korrektur-bzw. Bewertungsaufwand bezüglich eingereichter Lösungen zu reduzieren, stellt GATE den Tutoren Ergebnisse automatisch ausgeführter Tests sowie eine automatische Plagiatserkennung zur Verfügung. Für das System stehen drei Plagiat-Erkennungsalgorithmen zur Verfügung: der Plaggie-Algorithmus [ASR06], die Berechnung der Levenshtein-Distanz [Lev66] und die Berechnung der Normalized-Compression-Distance (NCD) [Li+04]. Für die Plagiatsprüfung lassen sich die Abgaben normalisieren. Es kann somit erreicht werden, das z.B. Kommentare im Quellcode oder Leerzeichen bei einem Prüfvorgang nicht beachtet werden.
Neueste Entwicklung
Zusammenfassung
Das System GATE ist also nicht nur ein reines Online Abgabesystem, das verwaltungs-bzw. organisationstechnische Aufgaben des Übungsbetriebs unterstützt. Es integriert darüber hinaus weitere Funktionen, um die Arbeit von Tutoren zu erleichtern bzw. Studierende bei der Erstellung ihrer Lösungen zu unterstützen. Bei diesen Funktionen handelt es sich u.a um Syntax-und Funktionstests für Java-Programmieraufgaben bzw. spezielle Tests für UML-Aufgaben, die sowohl Tutoren als auch begrenzt oft Studierenden zur Verfügung stehen, sowie um eine automatische Plagiatsprüfung, die nur von Tutoren genutzt werden kann.
3 Evaluation des Systems GATE Das System GATE wurde seit dieser Evaluation in den folgenden Veranstaltungen an der TU Clausthal eingesetzt, bei denen die jeweils in Klammern angegebenen Aufgabentypen behandelt wurden.
• "Grundlagen der Programmierung" für BWL-Studenten (Java-Programmieraufgaben, Textaufgaben, Aufgaben mit randomisierten Werten, UML-Aufgaben)
• "Programmierkurs" für Informatik-/Wirtschaftsinformatik-Studenten (Java-Programmieraufgaben)
• "Informatik I" (Textaufgaben, C-Programmieraufgaben (nur Abgabe und manuelle Bewertung/Korrektur))
Nach den positiven Ergebnissen bei Java-Programmieraufgaben wurde im Rahmen einer Studie mit 30 Personen, die über keine oder über nur wenige Programmier-bzw. Modellierungskenntnisse verfügen, untersucht, ob sich ähnliche Ergebnisse auch für UML-Aufgaben, speziell bei Klassen-und Aktivitätsdiagrammen, erreichen lassen. GATE wurde dazu um einen grafischen UML-Editor (basierend auf ArgoUML3 ) sowie spezielle Feedbackoptionen für UML-Aufgaben erweitert [Sch+12].
Die neueste Entwicklung für das System GATE sind randomisierte Aufgaben: In den Aufgabenstellungen können Variablen benutzt werden, die für jeden Studierenden mit individuellen Werten belegt werden. Studierende werden gebeten das Endergebnis in separate Textboxen sowie den Rechenweg in eine weitere Textbox einzugeben. Endergebnisse lassen sich hierbei vollständig automatisch überprüfen. Tutoren erhalten für die Bewertung sämtliche Variablen Belegungen und bekommen Lösungen für Zwischenergebnisse sowie Lösungen für Endergebnisse angezeigt, damit sie Fehler schnell finden und korrigieren können. Einige andere Systeme wie z.B. LON-CAPA 2 zeigen zwar End-nicht aber Zwischenergebnisse an. Ein weiterer Vorteil solcher Aufgaben ist, dass Studierende über Aufgaben diskutieren können, aber jeder die Aufgabe selber lösen muss. Da jeder Studierende bei diesem Aufgabentyp die gleiche Aufgabe, aber mit individuellen Werten erhält, traten Plagiate in den bisherigen Veranstaltungen, bei denen GATE eingesetzt wurde, bezüglich randomisierter Aufgaben nicht auf. Die Tabelle auf der folgenden Seite gibt für die angegebenen randomisierten Aufgaben die im Schnitt erreichten Punkte an. Die Daten wurden dabei aus dem System GATE entnommen. Die Aufgaben mussten im Rahmen der an der TU Clausthal stattfindenden Veranstaltung "Grundlagen der Programmierung" für BWL Studenten im WS 2011/2012 bzw. im SS 2013 gelöst werden. Bei der Veranstaltung im SS 2013 handelte es sich um einen kleinen Kurs, bei dem die Möglichkeit bestand einen Übungsschein auch ohne Vorlesung zu erlangen. Hierdurch erklärt sich auch die geringe Anzahl an Abgaben für die beiden angegebenen Aufgaben aus dem SS 2013. Zum besseren Verständnis erfolgt an dieser Stelle eine kurze Beschreibung der in der Tabelle aufgeführten Aufgabentypen. • Speicherkalkulation: Verfügbaren Speicherplatz von Speichermedien berechnen • Fließkommazahlen: Verschiedene Darstellungsformen von Fließkommazahlen bestimmen (Hexadezimaldarstellung, Dezimaldarstellung, Binärfolge) • Videokalkulation: Speicherbedarf eines Videos berechnen • Komplexe Datentypen: Speicherbedarf komplexer Datentypen berechnen
Bei der Evaluation konnte beobachtet werden, dass eine Qualitätssteigerung studentischer Lösungen durch das Konzept der studentischen Tests möglich ist. Dies spiegelte sich in der Tatsache wider, dass zum einen im Schnitt die Lösungen derjenigen Studierenden, die einen Syntaxtest durchführten, zu 90% syntaktisch korrekt waren, Lösungen von Studierenden, die keinen Syntaxtest nutzten, im Schnitt dagegen nur zu 65%. Die Differenz von 25% stellte sich dabei als statistisch signifikant heraus. Ein ähnliches Bild zeigte sich bezüglich der Funktionstests. Hierbei waren die Abgaben, die einem Funktionstest unterzogen wurden, durchschnittlich zu 52% korrekt und die Abgaben, für die kein Funktionstest durchgeführt wurde, im Schnitt nur zu 18%. Auch bei dieser Differenz von 34% konnte eine statistische Signifikanz festgestellt werden.
persönlich zu präsentieren. Für die Evaluation waren insbesondere die folgenden Fragestel-lungen in Bezug auf die zu bearbeitenden Java-Programmieraufgaben relevant.• Hilft GATE den Tutoren bei der Bewertung von eingesandten Lösungen sowie beider Erkennung von Plagiaten?• Wie werden die Tests von Studierenden genutzt?• Steigern die für die Studierenden verfügbaren Tests die Qualität der abgegebenenLösungen?3.1.1 Ergebnisse der Evaluation3.1 Evaluation zum Einsatz bei Java-ProgrammieraufgabenGATE wurde erstmalig an der TU Clausthal im Rahmen der Vorlesung "Grundlagen derProgrammierung" für BWL-Studenten 2009 eingesetzt und evaluiert [SOP11]. Den Studie-renden sollte in dieser Vorlesung Basiswissen zu Datentypen, UML und v.a. Programmierenvermittelt werden. Als Programmiersprache wurde Java verwendet. Für ein erfolgreichesAbsolvieren der Vorlesung wurden die Studierenden dazu aufgefordert, maximal in Zweier-gruppen regelmäßig und selbständig Aufgaben zu bearbeiten und schließlich einem Tutor
Die automatischen Plagiatsprüfungen erleichterten es den Tutoren, Plagiate unter den eingesandten Lösungen zu finden. Bei Programmieraufgaben wurde diesbezüglich der Plaggie-Algorithmus von den Tutoren als sehr nützlich empfunden (durchschnittliche Bewertung 4,3 auf einer Skala von 1 bis 5) die Levenshtein-Distanz und die NCD dagegen weniger (durchschnittliche Bewertung 2,8 Punkte auf einer Skala von 1 bis 5).Nach Angabe der Tutoren reduzieren die durch GATE zur Verfügung gestellten Funktionen den Korrektur-und Bewertungsaufwand. Hierbei verließen sich die Tutoren allerdings nicht alleine auf die durch das System zur Verfügung gestellten Hilfsmittel, sondern nahmen weiterhin Bewertungen mit Augenmaß vor. Dies lag vor allem auch an den Funktionstests, die mehrere studentische Lösungen als falsch negativ klassifizierten. Von 1031 Lösungen wurden durch die Funktionstests 759 Lösungen (73,6%) als nicht korrekt klassifiziert aber 201 Lösungen (26,5%) hiervon von den Tutoren trotzdem als korrekt bewertet, da nur kleinere Fehler vorhanden waren (z.B. Tippfehler, Package falsch gesetzt).
In der Studie wurde untersucht, ob es möglich ist, mit dem erweiterten System Modellierungsfähigkeiten besser zu erlernen als durch den Einsatz eines reinen UML-Tools ohne Feedback Funktionen bzw. in Kombination mit einem Tutor, der für Feedback zur Verfügung steht.3.2.1 Ergebnisse der StudieEine Befragung der Studienteilnehmer, die das erweiterte GATE-System nutzten, ergab, dass über das System ein guter Lerneffekt erzielt werden kann (Bewertung auf einer Skala von 0 bis 5 im Schnitt 4,4) und zudem die UML spezifischen Feedbackoptionen als sehr nützlich empfunden werden (Bewertung auf einer Skala von 0 bis 5 im Schnitt 4,3). Qualitativ waren die Lösungen, die über das erweiterte GATE-System erstellt wurden (im Schnitt 94,4 von 104 Punkten) besser als die Lösungen, die nur mit Hilfe von ArgoUML entstanden (im Schnitt 82,2 von 104 Punkten). Die Studienteilnehmer, denen ein Tutor für Feedback zur Verfügung stand, schnitten in diesem Zusammenhang am besten ab (im Schnitt 100,9 von 104 Punkten). Die Hypothese, dass durch den Einsatz des erweiterten GATE-Systems Modellierungsfähigkeiten statistisch signifikant besser erlernt werden können als durch die Verwendung eines UML Tools ohne Feedbackfunktion, konnte dabei nicht bestätigt werden. Ebenso ergab sich kein statistisch signifikanter Unterschied zur Qualität der Lösungen der Gruppe, die ihre Aufgaben mit Hilfe eines Tutors bearbeiteten. Das Paper stellt das webbasierte, plattformunabhängige System GATE vor. Bei diesem handelt es sich um ein Online Abgabesystem zur Verwaltung bzw. Organisation des Übungsbetriebs an Universitäten. Zur Reduzierung des Bewertungs-und Korrekturaufwands für Tutoren und zur Verbesserung der Qualität studentischer Lösungen zu Übungsaufgaben, sind darüber hinaus weitere Funktionen integriert. Neben einer automatischen Plagiatsprüfung, die ausschließlich von Tutoren genutzt werden kann, stehen sowohl Tutoren als auch Studierenden Syntax-und Funktionstests für Java-Programmieraufgaben und spezielle Tests für UML Aufgaben zur Verfügung. Eine Evaluation im Rahmen einer Programmiervorlesung an der TU Clausthal, bei der als Programmiersprache Java verwendet wurde, ergab, das der Einsatz von GATE sowohl für Studierende als auch für Tutoren einen Mehrwert bietet. Zum einen ließ sich eine Qualitätssteigerung der studentischen Lösungen durch den Einsatz der studentischen Tests erreichen und zum anderen konnten Plagiate durch die automatische Plagiatsprüfung leichter erkannt werden. Insgesamt ließ sich der Korrektur-bzw. Bewertungsaufwand für die Tutoren durch den Einsatz der Funktionen des Systems GATE reduzieren. Ein um einen graphischen UML Editor und spezielle Feedbackfunktionen erweitertes GATE-System wurde in einer weiteren Studie evaluiert. Die aufgestellte Hypothese (Mit dem erweiterten GATE-System lassen Modellierungsfähigkeiten besser erlernen, als mit einem UML Tool ohne Feedbackfunktionen) konnte hierbei nicht bestätigt werden. Dennoch wurde das erweiterte GATE-System von den Studienteilnehmern sehr positiv bewertet. Da GATE eine modulare Architektur besitzt, ist es denkbar weitere Tests zu integrieren, um systemseitiges Feedback zu weiteren Programmier-bzw. Modellierungssprachen erhalten zu können. Ebenso bietet es sich an die Plagiatsprüfung z.B. durch das Einbinden weiterer Plagiatsalgorithmen zu optimieren, um diesbezüglich noch bessere Ergebnisse zu erzielen. In Bezug auf die Plagiaterkennung wäre es zudem von Vorteil, wenn studentische Lösungen mit ähnlichen Lösungen aus dem Internet verglichen werden könnten.
4 Zusammenfassung und Ausblick
Link zum Quellcode: https://github.com/csware/sihttp://argouml.tigris.org/
Plaggie: GNU-licensed source code plagiarism detection engine for Java exercisesAleksiAhtiainenSamiSurakka Und Mikko Rahikainen10.1145/1315803.1315831Proceedings of the 6th Baltic Sea conference on Computing education research: Koli Calling 2006. Baltic Sea '06the 6th Baltic Sea conference on Computing education research: Koli Calling 2006. Baltic Sea '06Uppsala, SwedenACM2006Binary Codes Capable of Correcting Deletions, Insertions and ReversalsIVladimirLevenshteinSoviet Physics Doklady107071966The similarity metricMingLiUInformation Theory200450Teaching UML Skills to Novice Programmers Using a Sample Solution Based Intelligent Tutoring SystemJSchrammSStrickrothNTLeNPinkwartProceedings of the 25th International Conference of the Florida Artificial Intelligence Research Society (FLAIRS)GMHrsgPYoungbloodMccarthythe 25th International Conference of the Florida Artificial Intelligence Research Society (FLAIRS)Marco Island, FL, USAAAAI2012Das GATE-System: Qualitätssteigerung durch Selbsttests für Studenten bei der Onlineabgabe von Übungsaufgaben?SStrickrothHOlivierNPinkwartTagungsband der 9. e-Learning Fachtagung Informatik (DeLFI)VonHHrsgARohlandSKienleFriedrichGI Lecture Notes in Informatics P-188Bonn, GermanyGI2011Bd. P-188SStrickrothUnterstützungsverfahren für Tutoren bei der Online-Abgabe von Übungsaufgaben2009Clausthal University of Technology, Department of InformaticsBachelor Thesis