=Paper=
{{Paper
|id=Vol-1458/F14_CRC37_Stamer
|storemode=property
|title=Entwicklung einer Balanced-Scorecard zur
Nutzenbewertung eines Lehr-Lern-Portals für die
wissenschaftliche Weiterbildung
|pdfUrl=https://ceur-ws.org/Vol-1458/F14_CRC37_Stamer.pdf
|volume=Vol-1458
|dblpUrl=https://dblp.org/rec/conf/lwa/StamerSBT15
}}
==Entwicklung einer Balanced-Scorecard zur
Nutzenbewertung eines Lehr-Lern-Portals für die
wissenschaftliche Weiterbildung==
https://ceur-ws.org/Vol-1458/F14_CRC37_Stamer.pdf
Entwicklung einer Balanced-Scorecard zur
Nutzenbewertung eines Lehr-Lern-Portals für die
wissenschaftliche Weiterbildung
Dirk Stamer, Kurt Sandkuhl, Ulrike Borchardt, Felix Timm
Universität Rostock
Lehrstuhl für Wirtschaftsinformatik
Albert-Einstein-Str. 22
18059 Rostock
{dirk.stamer, kurt.sandkuhl, ulrike.borchardt, felix.timm}@uni-rostock.de
Abstract: Lehr-Lern-Portale können eingesetzt werden, um Lernende durch das
Bereitstellen von relevanten Informationen an einem zentralen Ort sinnvoll zu
unterstützen. Es stellt sich jedoch schnell die Frage, wie der intuitiv erwartete
Mehrwert bezüglich des Nutzens eines solchen Portals objektiv gemessen werden
kann? Ansätze zur Qualitätsbewertung von Software fokussieren sich häufig auf
einzelne Teilaspekte wie den wahrgenommenen Nutzen. Diese Arbeit präsentiert
als ganzheitlichen Ansatz zur Nutzenbewertung eines Lehr-Lern-Portals eine
angepasste Balanced-Scorecard am Beispiel des Portals „myKosmos“. Diese
Arbeit entstand im Rahmen des Projekts KOSMOS, das darauf abzielt, ein
Konzept für das Lebenslange Lernen an Hochschulen zu entwickeln, um
traditionellen und nicht-traditionellen Zielgruppen individuell angepasste
Studienmöglichkeiten auf universitärem Niveau anzubieten.
1 Einleitung
Die Universität Rostock hat sich zum Ziel gesetzt, ein Konzept für das Lebenslange
Lernen zu implementieren, in dessen Rahmen traditionellen und nicht-traditionellen
Zielgruppen maßgeschneiderte Studienmöglichkeiten auf universitärem Niveau
angeboten werden. Neue Studienformate ermöglichen die Aufnahme eines Studiums in
allen Lebensphasen. Sie bieten Anschlussmöglichkeiten an Ausbildung und
Berufstätigkeit. Im Rahmen des Projekts „KOSMOS1“ soll in den Fakultäten – die
eigenen Grenzen der Fachdisziplin überschreitend – Bildung für neue Zielgruppen
maßgeschneidert und nachfrageorientiert angeboten werden können.
1
http://www.kosmos.uni-rostock.de/
Copyright © 2015 by the paper’s authors. Copying permitted only for private and
academic purposes. In: R. Bergmann, S. Görg, G. Müller (Eds.): Proceedings of the
LWA 2015 Workshops: KDML, FGWM, IR, and FGDB. Trier, Germany, 7.-9. October
2015, published at http://ceur-ws.org
304
Die Umsetzung der oben genannten Ziele erfordert nicht nur neue Studienmodelle und
Studienformate, sondern muss auch die technischen und organisatorischen
Voraussetzungen und Hilfsmittel berücksichtigen, die für die Lernenden und Lehrenden
zur Verfügung stehen. Im Rahmen von „KOSMOS“ konzentrieren sich Arbeiten auf
diese mediale Infrastruktur, da neue Zielgruppen, Studienformate und Lernkulturen auch
neue Anforderungen an die unterstützenden IT-Systeme (z.B. sogenannte Learning
Management Systeme oder auch Lernsysteme) und die relevanten Inhalte bedeuten.
Dabei wurde das Portal „myKosmos“ für den Einsatz an der Universität Rostock
konzipiert und realisiert, das in verschiedenen Studienformaten und für unterschiedliche
Zielgruppen eingesetzt werden kann. Ein Portal bietet dem Anwender einen zentralen
Zugriff über eine einheitliche Benutzungsoberfläche auf integrierte Datenquellen und
Anwendungen an. Informationstechnische Portale bündeln im Allgemeinen den Zugang
zu unterschiedlichen Anwendungen und Informationsquellen unter einer Oberfläche, die
auf den aktuellen Benutzer ausgerichtet ist und vor ihm verbirgt, dass verschiedene
Anwendungen dahinter liegen [7].
Ziel ist es dabei, die Lernenden mit ihren unterschiedlichen Vorkenntnissen im
Lernprozess individualisierter zu begleiten und weitere elektronische
Unterstützungsmöglichkeiten anzubieten. Die Ausgestaltung der technischen
Realisierung sollte unter zwei Gesichtspunkten geschehen: zum einen liegt der Fokus auf
der bedarfsgerechten individuellen Informationsversorgung des Lernenden während der
unterschiedlichen Lernphasen und zum anderen auf der individuellen Anpassbarkeit der
Lernumgebung durch den Lernenden. Hier werden positive Effekte auf die Reduktion
des Phänomens der Informationsüberflutung erwartet [12]. Eine große Bedeutung hat
dabei, dass sowohl digital weniger erfahrene Menschen als auch „digital natives“ der
jüngeren Generationen mit ihren unterschiedlichen Bedürfnissen unterstützt werden
müssen. Die unterschiedliche Informations- und Medienkompetenz, die auch bei den
traditionellen Studierenden zu beobachten ist, wurde bei der Konzeption berücksichtigt.
Diese Arbeit präsentiert zum einen das Vorgehen zur Entwicklung einer Balanced-
Scorecard zur Bewertung der Effekte aus der Nutzung des oben beschriebenen Portals
und zum anderen die entwickelte Balanced-Scorecard selbst.
Die weitere Arbeit gliedert sich wie folgt: Kapitel 2 stellt gängige Verfahren zur
Bewertung von Software dar. Kapitel 3 beschreibt das methodische Vorgehen zur
Entwicklung der Balanced-Scorecard. Abschnitt 4 erläutert die Ergebnisse der Balanced-
Scorecard exemplarisch zur Messung des Nutzens für ein Lehr-Lernportal. Abschnitt 5
fasst die Ergebnisse der Arbeit zusammen und gibt einen Ausblick auf fortführende
Arbeiten in dem Gebiet.
2 Verfahren zur Bewertung von Software
In diesem Abschnitt werden gängige Verfahren zur Nutzen- und Qualitätsbewertung
präsentiert und hinsichtlich ihrer Eignung zur Bewertung eines Lehr-Lern-Portals
diskutiert und bewertet.
305
Eine der Herausforderungen auf dem Gebiet der Nutzen- und Qualitätsbewertung von
IT-Anwendungen und -Artefakten ist, dass zwar eine Vielzahl von Verfahren und
Metriken vorgeschlagen worden sind, aber keine Einigkeit darüber besteht, welche
Verfahren für eine ganzheitliche Betrachtung erforderlich bzw. für welchen
Einsatzzweck welche Verfahren relevant sind. Nutzen und Qualität sind eng mit
einander verbunden, da Nutzen als ein Aspekt von Qualität verstanden werden kann.
Garvin [6] unterscheidet beispielsweise u.a. die Produkt- und Nutzer-bezogene
Perspektive. Die Nutzer-bezogene Perspektive geht davon aus, dass sich Qualität
während der Verwendung des Produkts zeigt, d.h. „im Auge des Betrachters“ liegt [1].
Die Produkt-bezogene Perspektive sieht Qualität als präzise und messbare Variable, d.h.
Unterschiede in der Qualität spiegeln sich in unterschiedlichen Werten bestimmter
Attribute des Produkts wider[8]. Der Nutzen eines Produkts kann dabei eine dieser
messbaren Variablen sein. Trotz dieser Nähe werden in vielen Bewertungsansätzen
Nutzen und Qualität getrennt voneinander betrachtet.
Die bisher vorliegenden Ansätze lassen sich hinsichtlich ihres Schwerpunkts gliedern in
Ansätze zur wirtschaftlichen Nutzenbewertung, Ansätze zur Bewertung der technischen
Qualität und Ansätze für die Betrachtung der sozio-technischen Qualität. Zur
wirtschaftlichen Nutzenbewertung sind wiederum verschiedene Kategorien zu
unterscheiden, von denen hier jeweils ein typischer Vertreter genannt werden soll:
• Prozess-orientierte Ansätze, wie die IT Business Value Metrik von Mooney
et.al. Bei diesen Ansätzen wird die Prozessverbesserung gemessen, wobei die
zentralen Kriterien Durchlaufzeit, Ressourcenverbrauch und Fehleranzahl im
Prozess sind [14],
• Ansätze mit Fokus auf den wahrgenommenen Nutzen, wie das IS Success
Model von DeLone und McLean. Sie haben einen Katalog von Kriterien
entwickelt, der u.a. die Qualität des Systems und die Qualität der
bereitgestellten Informationen umfasst. Die Nutzer müssen aus ihrer
subjektiven Sicht bewerten, wie sie diese Kriterien einschätzen [5],
• Projekt-orientierte Ansätze, wie Information Economics von Parker und Benson
konzentrieren sich auf die Bewertung einzelner IT-Projekte. Zentrale Idee ist
vor Projektstart eine Einschätzung zu geben, ob das Projekt wirtschaftlich
sinnvoll ist. Der Ansatz hat Ähnlichkeit mit der klassischen Nutzwertanalyse
[15],
• Scorecard-basierte Ansätze, wie BTRIPLEE-Framework, streben die
Einbeziehung unterschiedlicher Perspektiven an, um somit ein besseres
Gesamtbild zu zeigen. Bei BTRIPLEE sind dies beispielsweise finanzielle und
prozessorientierte Aspekte [16].
Für die technische Perspektive sind vor allem Fragen der Nutzbarkeit (Usability) von
Anwendungen und Bedienoberflächen relevant. Die Usability eines Software-Produkts
wird durch sogenannte Evaluationsverfahren ermittelt. Zu unterscheiden sind
hauptsächlich analytische und empirische Verfahren. Ein Vertreter der analytischen
306
Evaluationsverfahren ist das „Cognitive Walkthrough“. Hierbei versetzt sich ein
Usability-Experte in die Rolle eines hypothetischen Benutzers und ermittelt anhand
definierter Schritte die Gebrauchstauglichkeit des Produkts. Als Nachteil dieser Methode
kann angesehen werden, dass nicht der zukünftige Nutzer, sondern ein unabhängiger
Experte die Untersuchung vornimmt. Der bekannteste Vertreter von empirischen
Evaluationsverfahren ist der „Usability-Test“. Hierbei führen die potentiellen Benutzer
die Untersuchung unter Anleitung durch. Der zukünftige Benutzer führt definierte
Arbeitsabläufe am System durch und ist angehalten alle seine Gedanken möglichst
spontan laut auszusprechen („Methode des Lauten Denkens“), dabei wird der Proband
intensiv beobachtet – dies kann technologisch durch Kameras, Messungen der
Augenbewegungen o.ä. unterstützt werden. Das Ziel dieser Untersuchung ist es, eine
Umgebung zu schaffen, die der späteren Arbeitsumgebung ähnlich ist. Dies hat trotz des
hohen Aufwands einer derartigen Untersuchung zur Folge, dass schon mit wenigen
Probanden ein sehr hoher Anteil der Fehler in einem Software-System gefunden werden
können.
Aus sozio-technischer Sicht werden Arbeitspraktiken und prozess-bezogene Kriterien für
relevant erachtet. Dazu gehören beispielsweise die Art der durchgeführten Aktivitäten
(z.B. koordinieren, integrieren, beschreiben, anwenden, vereinfachen, kommunizieren
zwischen Rollen bei der Nutzung der Anwendung) oder die Nutzung von Artefakten
(z.B. Dokumentationen, Hilfsmittel, Werkzeuge). Ansätze zur Messung dieser Kriterien
stammen häufig aus der empirischen Sozialforschung und umfassen beispielsweise
ethnographische Studien mit offenen Tiefeninterviews, partizipatorische Beobachtungen
und Dokumentenanalyse [2-4, 9-11, 13].
Bezüglich der Anwendung des Portals ist nicht nur die individuelle sondern auch die
organisatorische Perspektive von Bedeutung. E-Learning Portale sollten idealerweise
nicht nur für die Lehrenden und Lernenden relevant sein, sondern auch für ein
Unternehmen oder eine Organisation einen Wert darstellen, weshalb eine Bewertung aus
unterschiedlichen Perspektiven unabdingbar ist.
3 Methodisches Vorgehen zur Entwicklung der Balanced-Scorecard
Der vorherige Abschnitt zeigt deutlich eine breite Palette von Möglichkeiten, wie
Nutzen- und Qualitätsbewertungen von Software durchgeführt werden können. Alle
vorgestellten Ansätze könnten möglicherweise für eine maßgeschneiderte Evaluation
angewendet werden. Eine genauere Betrachtung zeigt jedoch Unterschiede zwischen den
Ansätzen in Bezug auf ihre Eignung.
Die Validierung hat wirtschaftliche Faktoren und ebenfalls wirtschaftliche
Alleinstellungsmerkmale wie zum Beispiel eine erhöhte Flexibilität zu berücksichtigen.
Diese wirtschaftlichen Alleinstellungsmerkmale sind messbare Kriterien, die in den
Systemen des Controllings in vielen Unternehmen berücksichtigt werden. Ansätze, die
eine Bewertung über den wahrgenommenen Nutzen durchführen wie der Ansatz nach
DeLone und McLean, sind nicht in der Lage diese Aspekte zufriedenstellend
abzudecken. DeLone und McLean bieten auf der anderen Seite eine Vielzahl von
307
möglichen zu untersuchenden Aspekten, die als Inspiration bei der Festlegung von
Kriterien unterstützend verwendet werden können.
Prozessorientierte Ansätze sind von Natur aus eher spezifisch für einzelne Unternehmen
zugeschnitten, dies berücksichtigt ein tiefes Verständnis der Geschäftsprozesse, der
möglichen Auswirkungen auf das Geschäft und der möglichen Auswirkungen der IT.
Dies macht die Ansätze sehr aufwendig und daher teilweise unwirtschaftlich.
Der Balanced-Scorecard-Ansatz erfüllt hingegen alle bereits beschriebenen
Anforderungen:
• Messung der wirtschaftlichen Alleinstellungsmerkmale können in einer
Scorecard unter Zuhilfenahme von relevanten Indikatoren erfasst werden,
• Scorecards sind ein wichtiger Bestandteil von Managementsystemen, die die
Überwachung der Leistung als Hauptelement enthalten,
• die Gesamtziele können auf die gleiche Weise, wie wirtschaftliche
Alleinstellungsmerkmale erfasst werden und
• die Entwicklung und Umsetzung einer Scorecard sind angemessen in Bezug auf
die zur Verfügung stehenden Mittel im Teilarbeitspaket.
Der Balanced-Scorecard-Ansatz kann daher als geeignetes Mittel zur Messung des
Nutzens eines Portals angesehen werden. Im Folgenden wird ein genereller
Entwicklungsablauf einer Balanced-Scorecard beschrieben. Abbildung 1 verdeutlicht die
Schrittfolge bei der Entwicklung grafisch.
Abbildung 1: Schrittfolge zur Entwicklung der Balanced-Scorecard
308
Im ersten Schritt der Entwicklung wird beurteilt, ob die vom Balanced-Scorecard-Ansatz
vorgeschlagen Perspektiven (d.h. Finanzen, Kunden, Prozesse, Lernen und Wachstum)
anwendbar sind und für den vorliegenden Anwendungsfall in Frage kommen. Ein
Ausgangspunkt für die Identifizierung der relevanten Perspektiven stellt die
Geschäftsstrategie oder das Leitbild dar. Im konkreten Fall wurden hier das Leitbild der
Universität bzw. die Ziele des Projekts KOSMOS berücksichtigt. Das Ergebnis dieses
Schrittes ist eine erste Vereinbarung über die Perspektiven und wird in der Scorecard
erfasst.
Für jede Perspektive müssen strategische Ziele oder auch kritische Erfolgsfaktoren
definiert und vorzugsweise quantifiziert werden. Die Quantifizierung hilft hier
Unbestimmtheit in den strategischen Zielen zu reduzieren.
Den Ausgangspunkt für die Balanced-Scorecard-Entwicklung bildete die Durchführung
von Workshops zur Definition der initialen Ziele je bereits definierter Perspektive. Diese
Workshops produzierten eine erste Version der Scorecard, die den Ausgangspunkt für
Verbesserungen und weitere Entwicklung darstellte. Die Workshops wurden im Rahmen
eines Masterkurses mit Studierenden und Dozenten durchgeführt.
Abbildung 2: Messbarkeit
Die definierten strategischen Ziele werden in einem nächsten Schritt in Teilziele zerlegt.
Leitfrage bei der Definition der Teilziele war: "Was haben wir zu tun, um unsere
strategischen Ziele zu erreichen?". Ziel sollte es sein, nicht mehr als fünf bis sieben
Teilziele pro Ziel zu definieren, um die Übersichtlichkeit – als Ziel einer Scorecard
nicht zu konterkarieren.
Der letzte Schritt der strategischen Aspekte ist die Identifizierung von Ursache-Wirkung-
Beziehungen. Es kann strategische Ziele geben, die nicht zur gleichen Zeit erreicht
werden können, weil sie sich gegenseitig negativ beeinflussen. Es ist wichtig, diese
Konflikte oder Ursache-Wirkungs-Beziehungen zwischen Zielen zu verstehen. Während
der ersten Scorecard-Workshops sollten Ursache-Wirkungs-Beziehungen hingegen nicht
309
berücksichtigt werden, um eine Reflektion und Diskussion der Ziele und Unterziele nicht
zu belasten.
Nachdem die strategischen Aspekte abgedeckt wurden, wird der Schwerpunkt wird auf
die Frage nach der Messbarkeit verlagert. Das Vorgehen bezüglich der Messbarkeit wird
in Abbildung 2 verdeutlicht.
Für jedes Teilziel in den verschiedenen Perspektiven muss definiert werden wie dieses
Teilziel in Bezug auf das übergeordnete Ziel gemessen werden kann. Zu diesem Zweck
müssen Indikatoren oder auch „Key Performance Indikators“ (KPI) definiert werden.
Bei der Definition der Indikatoren muss berücksichtigt werden, dass es eine praktikable
Möglichkeit geben muss, um den Indikator erfassen zu können. In diesem
Zusammenhang erfolgt eine Untersuchung über vorhandene Systeme oder Indikatoren
(z.B. aus dem Qualitätsmanagement) und einer Möglichkeit diese Informationen
wiederzuverwenden.
Für jeden Indikator wird festgelegt wie eine Erfassung oder Messung durchgeführt
werden kann. Die Machbarkeit der Umsetzung des Messansatzes sollte sorgfältig geprüft
werden. Ein Messverfahren umfasst hierbei typischerweise:
• die Möglichkeit des Messens eines Indikators,
• den Zeitpunkt und das Intervall für die Messung,
• die verantwortliche Rolle oder Person, die die Messung vornimmt und
• die Definition wie die Messergebnisse dokumentieren werden sollen.
Darüber hinaus muss ein Bezugswert definiert werden. Dieser könnte vorzugsweise auf
vorhandenen alten Daten basieren, d.h. Datensätze oder Dokumenten aus der
Vergangenheit.
Der letzte Schritt in diesem Zusammenhang ist die Visualisierung der Entwicklung der
Indikatoren im Verlauf der Zeit, um das Ergebnis der Untersuchung anschaulich
darzustellen und entsprechende Maßnahmen abzuleiten.
Das beschriebene Vorgehen zur Entwicklung der Balanced-Scorecard wurde in drei
Iterationen mit unterschiedlichen Personengruppen durchgeführt und führte zu einer
weiteren Detaillierung der Ergebnisse.
4 Balanced-Scorecard zur Bewertung eines Lehr-Lern-Portals
Essentiell bei der Entwicklung einer Balanced-Scorecard ist die Entscheidung über die
zugrundeliegenden Perspektiven. Der ursprüngliche Ansatz beschrieben von Kaplan und
Norton sieht die Perspektiven Finanzen, Kunden, Prozesse, Lernen und Wachstum vor.
Da die vorliegende Balanced-Scorecard für ein Lehr-Lern-Portal für die Nutzung an
einer Universität entwickelt wird, bietet es sich an die Perspektiven anzupassen. Es
310
werden für diesen Kontext die Perspektiven: Student, Dozenten, Organisation und
Zukunftsfähigkeit vorgeschlagen.
Die Perspektive „Student“ zielt auf die Hauptnutzergruppe des Portals hin ab und ähnelt
daher bei Kaplan und Norton der Perspektive „Kunde“. Das Hauptziel der Perspektive
ist, dass die Studierenden die Nutzung des Portals als Unterstützung bei ihren Studien
empfinden sollen. In einer heterogenen Anwendungslandschaft wie an einer Universität
ist ein Portal geeignet, die Nutzung der Systeme durch einen „Single Point of Entry“ zu
vereinfachen. Die individuelle Informationsbereitstellung unterstützt ein
kontextabhängiges Arbeiten mit dem Portal. Die Unterstützung des selbstständigen
Lernens und der Kollaboration mit anderen Nutzern sind weitere wichtige Ziele dieser
Perspektive.
Neben Studierenden sind allerdings auch Lehrkräfte der Universität als Nutzer zu
berücksichtigen. Dies geschieht in der Perspektive „Dozent“, die bei Kaplan und Norton
der Perspektive „Mitarbeiter“ ähnelt. Die Dozenten der Universität sollen das Portal
„myKosmos“ als Unterstützung bei der Organisation und Durchführung ihrer
Lehrtätigkeit empfinden und nutzen. Hier liegt der Fokus sowohl auf der einfachen
Verteilung von Lehrmaterialien als auch auf einer engen Kommunikation mit den
Studierenden, um diese bei ihren selbstständigen Studien zu unterstützen.
Die Perspektive „Organisation“ stellt die Sicht der verwaltenden Organe einer
Hochschule auf das Portal dar. Hier sind langfristige Ziele wie die Senkung der Quoten
von Studienabbrechern, Steigerung der Absolventenzahl oder der Abschlussnoten zu
nennen. Die Individualisierung des Lehrangebots trägt dazu bei, neue Zielgruppen und
Lernformen in der wissenschaftlichen Weiterbildung zu unterstützen.
Perspektive „Zukunftsfähigkeit“ stellt eine eher technisch orientierte Sicht auf die
Balanced-Scorecard dar. Hier sind fragen nach der Gebrauchstauglichkeit und Fragen
nach der Wartung, Betreibung und Erweiterung des Portals subsummiert.
Aufgrund von Platzgründen wird im Folgenden nur teilweise die Perspektive des
Studierenden als Hauptzielgruppe in der Abbildung 3 erläutert und auf eine Darstellung
der anderen Perspektiven verzichtet.
Das Ziel der Schaffung eines „Single Point of Entry“ zu allen studienrelevanten
Systemen der Universität zielt daraufhin ab, dass dadurch ein steter Wechsel der zu
benutzenden Systeme vermieden wird. Alle studienrelevanten Informationen werden den
Studierenden an einem zentralen Ort bereitgestellt.
Wie auch die heterogenen Studiengänge sind die Lernprozesse eines jeden einzelnen
individuell und müssen in einer individuellen bedarfsgerechten
Informationsbereitstellung berücksichtigt werden. Hierbei werden Empfehlungen durch
ein Empfehlungssystem berücksichtigt, das Studierenden z.B. Dateien empfiehlt, die für
andere Studierende in einem ähnlichen Kontext von Bedeutung waren.
311
Ziel Indikator Möglichkeit der Bezugswert
Messung
Schaffung eines Anzahl integrierter Ja, durch Prozentuale
Single Point of studienrelevanter Identifikation Angabe
Entry zu allen Systeme studienrelevanter integrierter
relevanten Systeme möglich. Systeme zu allen
Systemen der relevanten
Universität Systemen.
Individuelle Anteil genutzter Ja, durch technische Es wird
Informations- Empfehlungen Erfassung der angenommen,
bereitstellung Nutzung der dass ab einem
verbessern angebotenen Prozentsatz von
Empfehlungen im 75% die
Portal. Empfehlungen
akzeptiert werden.
Selbstständiges Häufigkeit der Ja, durch technische Es wird
Lernen Nutzung von Erfassung der angenommen,
unterstützen Lernangeboten Nutzung der dass ab einem
bereitgestellten Prozentsatz von
Lernangebote. 75% die
Lernangebote
akzeptiert werden.
Kollaboration Häufigkeit der Ja, durch technische Es wird
innerhalb von Nutzung von Erfassung der angenommen,
Gruppen Kollaborations- Nutzung der dass ab einem
unterstützen werkzeugen angebotenen Prozentsatz von
Kollaborations- 75% die
werkzeuge. Kollaborations-
werkezuge
akzeptiert werden.
Nutzer- Subjektiver Ja, durch Zufriedenheitsind
zufriedenheit Zufriedenheitsinde Befragungen, ex vor der
steigern x als z.B. Interviews oder Nutzung des
Schulnote Umfragen. Portals ermitteln.
Abbildung 3: Perspektive Student
312
Insbesondere im Kontext einer universitären Weiterbildung ist das selbstständige Lernen
notwendig. Ein Portal muss daher in der Lage sein, Studierende hierbei zu unterstützen.
Hier erfolgt eine Messung der Nutzung der unterschiedlichen Angebote wie Online-
Kurse, Webinare oder auch die einfache Nutzung von durch Dozenten bereitgestellten
Materialien.
Abbildung 4: Ursache-Wirkungs-Beziehungen
313
Neben dem selbstständigen Lernen wird Gruppenarbeit während eines Studiums häufig
eingesetzt. Dies geschieht innerhalb des Portals z.B. durch Nachrichten-, Chat- oder
Telefoniefunktionalitäten.
Die Steigerung der Nutzerzufriedenheit stellt einen Indikator für den Erfolg oder
Misserfolg einer Bildungsmaßnahme dar und spielgelt sich in der Akzeptanz des Portals
wider. Hierbei sollten vor der Anwendung der Balanced-Scorecard Referenzwerte durch
Umfragen bei Studierenden, die das Portal nicht nutzen, erhoben werden.
Die Ursache-Wirkungs-Beziehungen zwischen den beschriebenen Zielen der Perspektive
„Student“ und der anderen Perspektiven stellt die Abbildung 4 dar.
5 Zusammenfassung und Ausblick
Lehr-Lern-Portale bieten Studierenden eine Hilfestellung im Rahmen ihres Studiums
insbesondere durch eine individuelle und bedarfsgerechte Informationsbereitstellung. In
dieser Arbeit wurden die Möglichkeiten zur Bewertung des Nutzens eines solchen
Portals diskutiert. Der Ansatz der Balanced-Scorecard wurde als ganzheitlicher Ansatz,
der nicht nur einzelne Teilbereiche der Qualität von Software berücksichtigen kann,
ausgewählt.
Die vorgestellte Balanced-Scorecard bietet die Möglichkeit den Nutzen eines Lehr-Lern-
Portals zu bewerten. Dazu wurde der Ansatz von Kaplan und Norton in dieser Arbeit
adaptiert und angepasst an die Besonderheiten eines Portals und einer Universität.
Berücksichtigung fanden hierbei nicht nur die Sicht der Studierenden, sondern auch die
Perspektiven der Dozenten, der Organisation und der Zukunftsfähigkeit.
Die Ergebnisse dieser Arbeit sind zum einen die Vorstellung einer Balanced-Scorecard
zur Nutzenmessung eines Portals und zum anderen die Vorstellung des Prozesses zur
Erstellung einer Scorecard.
Für eine Überwachung des Erfolgs des Portals über einen längeren Zeitraum ist die
kontinuierliche Durchführung der Anwendung der beschriebenen Balanced-Scorecard
notwendig. Daher werden Arbeiten hinsichtlich einer stärkeren Automatisierung der
Erfassung der Kennzahlen durchgeführt, um die Nutzung der Scorecard weiter zu
vereinfachen und effizienter zu gestalten.
Die Entwicklungen am Portal „myKosmos“ werden bezüglich der Anbindung weiterer
studienrelevanter Systeme und der Erweiterung des inhaltlichen Angebots fortgeführt.
Daher werden weitere Iterationen bei der Entwicklung der Balanced-Scorecard
notwendig werden, um eine Aktualität zu gewährleisten.
Ebenfalls sind weitere Arbeiten hinsichtlich der Validierung der Scorecard selbst
notwendig. Erste Validierungsschritte wurden mit kleinen Gruppen von Studierenden
und Dozenten bereits durchgeführt. Es ist jedoch geplant, das Portal zeitnah im Rahmen
314
einer Veranstaltung einzusetzen und die Nutzung mit technischen Hilfsmitteln
kontinuierlich zu überwachen.
Danksagung: Die im Rahmen dieses Beitrags dargestellten Arbeiten wurden am Mitteln
des BMBF und des ESF Programms der EU durch das Projekt KOSMOS finanziert.
Literaturverzeichnis
1. Bevan, N.: Measuring usability as quality of use. Software Quality Journal. 4, 115–150
(1995).
2. Blomberg, J. et al.: Ethnographic field methods and their relation to design. D. Schuler, &
A. Namioka (Eds.), Participatory design: Principles and practices (pp. 123-156). (1993).
3. Crawford, L.: Personal ethnography. Communications Monographs. 63, 2, 158–170
(2009).
4. Cunningham, S.J., Jones, M.: Autoethnography: a tool for practice and education.
Presented at the CHINZ “05: Proceedings of the 6th ACM SIGCHI New Zealand
chapter”s international conference on Computer-human interaction: making CHI natural,
New York, New York, USA July (2005).
5. DeLone, W.H., McLean, E.R.: Information Systems Success: The Quest for the
Dependent Variable. Information Systems Research. 3, 1, 60–95 (1992).
6. Garvin, D.: What Does “Product Quality” Really Mean? MIT Sloan Management
Review. (1984).
7. Gurzki, T., Hinderer, H.: Eine Referenzarchitektur für Software zur Realisierung von
Unternehmensportalen. Wissensmanagement. (2003).
8. Hallak, J.C., Schott, P.K.: Estimating Cross-Country Differences in Product Quality.
(2008).
9. Hughes, J.A. et al.: Faltering from ethnography to design. Presented at the CSCW '92:
Proceedings of the 1992 ACM conference on Computer-supported cooperative work,
New York, New York, USA December (1992).
10. Jordan, B.: Chapter 3 Ethnographic workplace studies and CSCW. The Design of
Computer Supported Cooperative Work and Groupware Systems. pp. 17–42 Elsevier
(1996).
11. Marti, P.: Structured task analysis in complex domains. Ergonomics. 41, 11, 1664–1677
(1998).
12. Melinat, P. et al.: Information Overload: A Systematic Literature Review. Presented at the
13th International Conference on Perspectives in Business Informatics Research, Lund,
Sweden January 24 (2014).
13. Millen, D.R.: Rapid ethnography: time deepening strategies for HCI field research.
Presented at the DIS '00: Proceedings of the 3rd conference on Designing interactive
systems: processes, practices, methods, and techniques, New York, New York, USA
August (2000).
14. Mooney, J.G. et al.: A process oriented framework for assessing the business value of
information technology (Reprinted from Proceedings of the sixteenth annual International
Conference on Information Systems, pg 17-27, 1995). Data Base for Advances in
Information Systems. 27, 2, 68–81 (1996).
15. Parker, M.: Information Economics - an Introduction. Datamation. 33, 23, 86–& (1987).
16. Van Der Zee, H., Zee, H.T.: Measuring the value of information technology. Measuring
the value of information technology. (2002).
315