Zusammenfassung: Der Schwerpunkt bisheriger Arbeiten zur Gebrauchstauglichkeit semiformaler Modellierungssprachen in der Wirtschaftsinformatik liegt im Anwendungsbereich der Softwareentwicklung, mit der Folge, dass maschinenbezogene Anforderungen regelmäßig im Vordergrund stehen. Gleichwohl dienen semiformale Modellierungssprachen auch zur Erfassung und Beschreibung von Informationsmodellen als Instrumente einer „Mensch-zu-Mensch“-Kommunikation. Der vorliegende Beitrag stellt die Ergebnisse einer explorativen Studie zur Gebrauchstauglichkeit (engl. Usability) von EPK-Varianten vor, die sowohl Ersteller als auch Nutzer von Informationsmodellen einbezieht. Als Grundlage zur Messung und Bewertung der Usability der EPK-Varianten wird ein Untersuchungsrahmen zugrunde gelegt, der Konzepte der Wirtschaftsinformatik mit Konzepten der Kommunikationsforschung kombiniert. Dabei werden sowohl einschlägige Teile der Usability-Norm EN ISO 9241 einbezogen als auch die Methode des Eyetrackings (Blickbewegungsregistrierung). Die Ergebnisse der Arbeit adressieren sowohl die wissenschaftliche Forschung als auch die Praxis.
Zur Beurteilung von Informationssystemen haben sich zwei wesentliche Forschungsströme herausgebildet [WiTo05, S. 85]. Der Erste stellt die „Benutzerzufriedenheit (user satisfaction)“ bei der Erstellung und Nutzung von Informationssystemen in den Vordergrund [Se97], [Me90], [IOB83], [BaPe83]. Die zweite Forschungsrichtung legt den Schwerpunkt auf die „Technikakzeptanz (technology acceptance)“ bei der Erstellung und Nutzung von Informationssystemen [VMD03], [Sz96], [HaBa94], [Da89]. Semiformale Modellierungssprachen sind der Ausgangspunkt zur Visualisierung betrieblicher Strukturen und Abläufe in Unternehmen und Verwaltungen und bilden damit die Grundlage für die Beschreibung von Informationsmodellen, die grundlegend für die Entwicklung von Informationssystemen sind. Die vorliegende Untersuchung legt den Fokus auf die Benutzerzufriedenheit (user satisfaction) bei der Messung und Bewertung semiformaler Modellierungssprachen und ihrer Modelle (Untersuchungsgegenstand). Die Gebrauchstauglichkeit (engl. Usability) hängt von den Anforderungen ihrer Benutzer ab. Systematische Untersuchungen zur Usability sind unter anderem ein Forschungsfeld der Kommunikationsforschung. Es handelt sich dabei um die empirische Sozialforschung innerhalb der Kommunikationswissenschaft. Der vorliegende Beitrag bewegt sich somit an der Schnittstelle von Wirtschaftsinformatik und Kommunikationswissenschaft. Arbeiten zur Usabilityforschung finden sich bei [CHL06], [RoPu07], [HSS02], [SSD02], [HaSc00]. Einschlägige Normen zur Usability finden sich in den Teilen 11, 12 und 110 der Europäischen Usability-Norm EN ISO 9241 [ISO99], [ISO00], [ISO08]. Usability-Untersuchungen zur Messung und Bewertung der Gebrauchstauglichkeit von Modellierungssprachen und ihren Modellen sind bisher nicht publiziert. Zur Vorbereitung einer solchen Betrachtung wird ein Untersuchungsrahmen entwickelt, der sowohl Erkenntnisse der Wirtschaftsinformatik als auch der Kommunikationsforschung einbezieht. Als Instrumentarium wird neben (klassischen) Befragungstechniken auch die Eyetracking-Methode (Blickbewegungsregistrierung) eingesetzt, um neben qualitativen Indikatoren (wie Zufriedenheit mit einer Modellierungssprache bzw. ihrer Modelle) auch quantitative Indikatoren (wie Einfluss von Blickbewegungen auf die Zeitdauer der Modellierung oder Fixierungsinformationen bei der Modellnutzung) untersuchen zu können. Der Beitrag ist wie folgt aufgebaut: Im zweiten Abschnitt werden zunächst die verschiedenen Benutzergruppen von Modellierungssprachen und Informationsmodellen näher betrachtet. Der dritte Abschnitt befasst sich mit der Usability-Norm EN ISO 9241 als Ausgangspunkt zur Evaluation der Usability von Modellierungssprachen. In diesem Kontext wird auch die Eyetracking-Methode (Blickbewegungsregistrierung) einbezogen. Im vierten Abschnitt wird ein Untersuchungsrahmen zur Messung und Bewertung der Usability von Modellierungssprachen vorgestellt, der als Grundlage für UsabilityEyetracking-Studien dient. Dieser wird im Abschnitt 4 auf einen Vergleich von zwei EPK-Varianten exemplarisch angewandt. Die Arbeit schließt mit einer Zusammenfassung, Hinweisen zur Limitation der Ergebnisse und einem Ausblick auf weiteren Forschungsbedarf. Urheber und Adressaten modellierungssprachiger Äußerungen können Menschen oder Maschinen sein. Maschinen sind automatische formale Systeme, die mittels einer gegebenen Menge endlich vieler Operationen eine ebenfalls gegebene Menge von Objekten manipulieren [Pa06, S. 167]. Dabei sind Maschinen als physische Geräte (Rechner) dynamisch äquivalent zu Automaten. Menschen, die sich aufgrund derselben Schriftsprache verständigen, bilden eine soziolinguistische Sprachgemeinschaft. Urheber und Adressaten können in der betrieblichen Praxis zu Personengruppen zusammengefasst werden, bei denen ein ähnliches Interesse an der Art der Modellerstellung /-nutzung besteht [BSG99, S. 6f.]:
Konstrukteure, als Entwickler von Modellierungssprachen Ersteller (Modellierer) von Informationsmodellen (wie Fachanwender, Organisationsgestalter und Unternehmensberater)
Programmierer, die aus Modellinhalten Programme erzeugen Nutzer (wie Mitarbeiter in Fachbereichen, Organisationsabteilungen und DV-Abteilungen), die Informationsmodelle als Arbeits- und Entscheidungsgrundlage einsetzen; gleiches gilt für Controller, Unternehmensberater oder Mitarbeiter von Zertifizierungsstellen Maschinen, die Programme ausführen Maschinen
Maschinen, bei der automatischen
Generierung von Programmen
Tabelle 1: Urheber und Adressaten von Modellierungssprachen /-modellen Tabelle 1 zeigt in Anlehnung an [BSG99, S. 7f.], [Pa06, S. 116] und [Du01, S.64] exemplarisch Gruppen von Urhebern und Adressaten von Modellierungssprachen /-modellen. Mitarbeiter in DV-Abteilungen (Datenverarbeitungsabteilungen) setzen vor allem Modelle zur Informationssystemgestaltung ein. Der Fokus der DV-Abteilungen liegt in der Betrachtung des gesamten Informationsmodells einer Unternehmung. Dabei stehen die Informationsflüsse in den Prozessen im Vordergrund. Aufgrund der im Regelfall geringeren Methodenkompetenz von Mitarbeitern in Fachbereichen sind für diesen Adressatenkreis leicht verständliche grafische Modelle hilfreich. Für die Nutzenden steht dabei die intuitive Nachvollziehbarkeit im Vordergrund. Mitarbeiter von Fachabteilungen erwarten von Informationsmodellen eine detaillierte Beschreibung ihrer Prozesse; dabei stehen weniger die systemrelevanten, als die sachlogischen Zusammenhänge im Vordergrund [BSG99, S. 30]. Mitarbeiter in Organisationsabteilungen erstellen und nutzen Informationsmodelle zur Beschreibung von Aufbau- und Ablauforganisationen. Sie besitzen ein vorrangiges Interesse an Organisations-, Funktions- und Prozessmodellen.
Eyetracking oder Blickbewegungsregistrierung bezeichnet eine Methode, mit der Blickverläufe einer Person beim Betrachten eines Gegenstandes oder einer Anwendung gemessen werden [RDD08], [Du03]. Diese Methode soll auf die Messung und Bewertung der Usability von Modellierungssprachen und deren Modellen angewandt werden. Bei der Kombination von Eyetracking- und Usability-Tests [BPW07], [GoWi03], [JaKa03], [PGJ08] werden die qualitativen Ergebnisse aus den Usability-Untersuchungen durch quantitative Eyetracking-Daten ergänzt. Der Eyetracking-Test wird dabei aufgabengestützt von den Probanden ohne Eingreifen eines Testleiters durchgeführt und im Anschluss durch eine strukturierten Befragung ergänzt (qualitativer Aspekt). Zusätzlich wird bei der Eyetracking-Methode der Blickverlauf des Probanden mit einer entsprechenden Software aufgezeichnet und gemessen (quantitativer Aspekt). Unterschiedliche Fragestellungen können so untersucht werden: Was sehen Benutzer und was nehmen sie wirklich wahr? Welche Text-/Modellteile werden betrachtet, welche werden wirklich gelesen? Welche Reihenfolge wählt ein Benutzer bei der Betrachtung und wie lange benötigt dieser zur Erfassung von Sachverhalten? Welche Text-/Modellteile entgehen der Aufmerksamkeit völlig (sog. dead zones, [St02, S. 188])? Durch die Einbeziehung der Eyetracking-Methode in die Messung und Bewertung der Usability von Modellierungssprachen und deren Modellen bieten sich unterschiedliche Anwendungsaspekte: So kann das subjektive Empfinden von Benutzern über die Modellierungsdauer bei der Verwendung unterschiedlicher Modellierungssprachen mit den Blickbewegungs- und zeitlichen Messwerten aus den Eyetracking-Daten verglichen werden, Modellierungswege der Ersteller von Modellen können nachverfolgt und ausgewertet werden, zudem kann die Usability von eingesetzten Modellierungstools gleichermaßen in einer Untersuchung Berücksichtigung finden.
Der Untersuchungsrahmen hat das Ziel, die Messung und Bewertung der Usability von Modellierungssprachen und deren Modellen durch eine Kombination von UsabilityTestelementen (wie Befragungstechniken) und der Eyetracking-Methode zu strukturieren. Der Untersuchungsrahmen ist ein Rahmenkonzept zur Planung und Durchführung zweck- und adressatenspezifischer Usability-Eyetracking-Studien [HoNü09]. Das Rahmenkonzept umfasst sechs Kernelemente, die schrittweise das Untersuchungsdesign konkretisieren. Dabei kann die Reihenfolge und Ausprägung der Vorgehensschritte abhängig vom Untersuchungsziel / -kontext und den spezifischen Rahmenbedingungen variieren. Durch die Anwendung des Untersuchungsrahmens wird sukzessive ein validiertes Vorgehensmodell zur Evaluation der Usability von Modellierungssprachen und ihrer Modelle entwickelt:
Informationsmodelle dienen regelmäßig der Erreichung und Unterstützung von Unternehmenszielen [FrvL03, S. 51 - 60]. Je nach Modellierungszweck sind unterschiedliche Ausprägungen des Untersuchungsdesigns erforderlich. Die Qualität eines Informationsmodells bestimmt sich dabei wesentlich durch den jeweiligen Verwendungszweck des Modells [BSG99, S. 22]. Da der Modellierungszweck die Grundlage für die Auswahl der zu untersuchenden Einheiten darstellt, sollte dieser ausreichend detailliert beschrieben werden.
Schritt 2: Auswahl der Untersuchungseinheiten (Modellierungssprachen /-tools) Das Angebot am Markt existierender Modellierungstools, die regelmäßig mehrere Modellierungsnotationen unterstützen, ist umfangreich. In einer Marktstudie aus dem Jahr 2008 werden allein im Bereich des Business Process Management für den deutschsprachigen Raum 160 Modellierungstools gezählt [IAO08, S. 27]. Bei der Notwendigkeit, das Anwendungswissen von den Anwendern zu erhalten bzw. nach Erfassung zu kommunizieren, gewinnen anschauliche Modelle an Bedeutung [BSG99, S. 7]. Die Sprache, mit der ein Modell entwickelt wird, sollte daher nicht nur hinsichtlich des Modellierungszwecks, sondern auch für den Nutzerkreis geeignet sein [Le06, S. 295]. Nach [BSG99, S. 25] sind anschauliche Prozessmodelle existentiell, damit sich bestehende Schwachstellen schnell erschließen lassen. Die Auswahl der zu untersuchenden Einheiten orientiert sich folglich am Modellierungszweck, dem Benutzerkreis und ggf. weiteren projektbezogenen Anforderungen.
Schritt 3: Bildung von Hypothesen und korrespondierender Aufgaben / Fragestellungen Hypothesen sind korrigierbare Aussagen über den Wahrheitsgehalt einer Aussage; sie können durch Induktion, Deduktion und Spekulation gewonnen werden [Bu02, S. 277ff., Op02, S. 56, Po73, S. 7]:
Bei induktiv gewonnenen Hypothesen werden Aussagen mit neuem, erweitertem Gehalt aus singulären Beobachtungen gebildet.
Bei deduktiv gewonnenen Hypothesen werden Aussagen aus bereits existierenden überprüften Hypothesen (wie Gesetzmäßigkeiten vorhandener Theorien) abgeleitet. Bei spekulativ gewonnenen Hypothesen werden Aussagen ohne Beobachtung und ohne sonstige Vorbilder erzeugt. Induktive Fehlschüsse treten damit nicht auf, jedoch ist Spekulation auf Intuition angewiesen und entzieht sich einer Planbarkeit. Die Art und Weise der Hypothesenbildung ist abhängig vom Modellierungszweck und den angestrebten Zielsetzungen. Hypothesen sind durch geeignete Aufgaben und Fragestellungen zu überprüfen. Dabei ist darauf zu achten, dass diese ausreichend verständlich und eindeutig interpretierbar sind. In wieweit Aufgaben und Fragestellungen geeignet sind, sollte in Voruntersuchungen überprüft werden. Auch in der qualitativen Sozialforschung wird deshalb mit Hypothesen im Sinne von ‚Forschungsfragen’ gearbeitet. [Fl09, S.139]. Darüber hinaus kann „auch im qualitativen Forschungsprogramm das Testen von Hypothesen einen legitimen Platz einnehmen“ [Me00, S. 274].
Schritt 4: Auswahl der Evaluationstechniken und Instrumente Unterschiede zwischen Modellierungssprachen lassen sich i.d.R. nicht direkt beobachten, sondern müssen in geeigneter Weise gemessen werden. Messung bedeutet dabei, skalenabhängige Werte von Größen unter genau festgelegten Bedingungen nach bestimmten Kriterien zu ermitteln [HKS92, S, 25ff.]. Mit Blick auf die Zielsetzung des Untersuchungsrahmens und der in der Usability-Eyetracking-Forschung regelmäßig eingesetzten Techniken und Instrumente bieten sich Befragungstechniken (z.B. strukturierte Fragebögen) sowie der Einsatz eines Eyetracking-Labors an. Welche Mess- und Bewertungsinstrumente konkret geeignet sind, ist projektspezifisch zu entscheiden. Einschlägige Instrumentarien finden sich bei [Yo03], [RDD08], [Du03], [BPW07], [GoWi03] und [JaKa03].
Schritt 5: Akquirierung der Probanden / Untersuchungsgruppen Bei der Frage der Usability von Modellierungssprachen und ihrer Modelle stehen zwei Zielgruppen im Fokus: Die Ersteller von Informationsmodellen, die eine Modellierungssprache zur Modellierung einsetzen sowie die Nutzer der erzeugten Informationsmodelle (vgl. Kap. 2). Wenngleich die Meinung vorherrscht, dass 3-8 Probanden genügen, um die meisten Aspekte zu erforschen [SaBr06, S. 167], [Ho05, S. 25f.], [DuRe94, S. 128], [NiLa93, S.206ff.] wird in der nachfolgenden Usability-Eyetracking-Untersuchung eine wesentlich größere Anzahl gewählt, da ein großes Interesse daran besteht möglichst viele Aspekte beurteilen zu können. Gleichwohl ist die Anzahl projektindividuell zu bestimmen. Im prototypischen Anwendungsfall (Abschnitt 4.2) wird die Usability-EyetrackingUntersuchung mit 24 Probanden durchgeführt.
Schritt 6: Durchführung der Usability-Eyetracking-Untersuchung, Auswertung der Untersuchungsergebnisse und Ableitung von Handlungsempfehlungen Dieser Schritt bildet die letzte Stufe des Untersuchungsrahmens. Die UsabilityEyetracking-Studie ist durchzuführen und auszuwerten. Die aufgestellten Hypothesen (Schritt 3) werden anhand des gewonnenen empirischen Datenmaterials bewertet. Um eine weitestgehende Neutralität und Objektivität bei den Untersuchungsergebnissen zu erreichen, sollten die Adressaten der Ergebnisse bei der Durchführung und Auswertung der Usability-Eyetracking-Untersuchung möglichst nicht direkt einbezogen werden. Gleiches gilt für die Konstrukteure der Modellierungssprachen und -tools, die als Untersuchungseinheiten ausgewählt werden. Untersuchungsergebnisse und Handlungsempfehlungen sind adressatenspezifisch aufzubereiten.
Die Anzahl der in der Informatik entwickelten Modellierungssprachen verlangt eine Eingrenzung dessen, was in einer Studie zur Usability von Modellierungssprachen untersucht werden kann. Im prototypischen Anwendungsfall werden daher zwei Untersuchungseinheiten für die Durchführung eines Usability-Eyetracking-Vergleiches bewusst ausgewählt. Die Auswahl basiert auf folgenden Kriterien:
Die Modellierungssprache muss für den geplanten Einsatzzweck einschlägig sein, d.h. mit Blick auf den domänespezifischen Anwendungsfall geeignet sein, Prozessbeschreibungen grafisch modellieren zu können (Zweckeignung).
Vor dem Hintergrund praktisch verwertbarer Forschungsergebnisse, werden nur solche Modellierungssprachen in die Überlegungen einbezogen, die in Modellierungstools auch technisch realisiert sind (Toolunterstützung).
Im Rahmen einer pilotierten Usability-Eyetracking-Untersuchung werden, aufgrund ihrer weiten Verbreitung [IAO08], zwei Varianten der Ereignisgesteuerten Prozesskette (EPK) ausgewählt: die erweiterte EPK (eEPK) und die objektorientierte EPK (oEPK). Arbeiten zu den Varianten finden sich bei [NüRu02], [KNS92], [NüZi98], [SNZ97]. Als Modellierungswerkzeug wird die Bflow* Toolbox [Bfl09] eingesetzt, die beide EPKVarianten unterstützt. Da für beide Varianten die gleiche Software eingesetzt werden konnte, ist ein Einfluss durch die Softwarewahl auf das Messergebnis zwar möglich, aufgrund der vergleichenden Betrachtung aber zu vernachlässigen. Als Domänebereich dient der öffentliche Sektor. Die Auswahl erfolgt vor dem Hintergrund, dass dieser traditionell durch (teil-)redundante papierbasierte Formulare geprägt ist. Grundvoraussetzung für die Digitalisierung, Bündelung und Virtualisierung der Dienstleistungen ist die Schaffung eines gemeinsamen Modellverständnisses bei allen Beteiligten, sowohl der Ersteller (wie IT-Berater und Organisatoren) als auch der Nutzer (wie Sachbearbeiter und Führungskräfte). Weiterhin kommt der Modellierung im Rahmen der Schaffung der Voraussetzungen zur Umsetzung der EU-Dienstleistungsrichtlinie [EU06] eine besondere Bedeutung zu. Arbeiten hierzu finden sich bei [AlIn08], [BIT08], [DO08], [Gü08], [HoNü08]. In Tabelle 2 werden die Kernelemente des Untersuchungsrahmens bezogen auf den prototypischen Anwendungsfall im Domänebereich des öffentlichen Sektors konkretisiert. Der Anwendungsfall dient einerseits der prototypischen Evaluierung der EPK-Varianten zur Frage der Gebrauchstauglichkeit bei der Modellierung von Verwaltungsprozessen. Andererseits wird der Untersuchungsrahmen für die Durchführung von Usability-Eyetracking-Untersuchungen einer ersten praktischen Validierung unterzogen. Die wiederholte Anwendung bei der Durchführung unterschiedlicher Untersuchungen hat insgesamt ein Vorgehensmodell zur Evaluation der Usability von Modellierungssprachen auf Basis von Usability-Eyetracking-Untersuchungen zum Ziel.
Rahmenkonzept Kernelemente für Usability-EyetrackingStudien Schritt 1: Festlegung des Modellierungszwecks Schritt 2: Auswahl der Untersuchungseinheiten (Modellierungssprachen /-tools) Schritt 3: Bildung von Hypothesen und korrespondierender Aufgaben / Fragestellungen Schritt 4: Auswahl der Evaluationstechniken und Instrumente Schritt 5: Akquirierung der Probanden / Untersuchungsgruppen Schritt 6: Durchführung der Usability-EyetrackingUntersuchung, Auswertung und Ableitung von Handlungsempfehlungen
Anwendungsfall Usability-Eyetracking-Studie zu eEPK/oEPK Modellierung unternehmensbezogener Verwaltungsprozesse zur Umsetzung der EU-Dienstleistungsrichtlinie.
Vergleich der EPK-Varianten, eEPK und oEPK, technisch unterstützt durch die Bflow* Toolbox als Modellierungswerkzeug.
Eine Übersicht über die aufgestellten Hypothesen erfolgt in Abschnitt 4.3; die Aufgaben und Fragestellungen finden sich bei [PJN09].
Die Usability-Eyetracking-Untersuchung erfolgt auf Basis strukturierter Befragungen und dem Einsatz eines Eyetracking-Labors.
Die Untersuchung erfolgt auf Basis von 24 Probanden (12 Verwaltungsmitarbeiter und 12 Studenten als Kontrollgruppe). Jeweils die Hälfte beider Gruppen wird als „Ersteller“ eingesetzt; analoges gilt für die „Nutzer“. Die Vergleichbarkeit der Probanden wird durch eine identische Schulung aller Teilnehmer sichergestellt.
Die Durchführung, Auswertung und Ableitung von Handlungsempfehlungen erfolgt auf Basis der Schritte 1 bis 5. Zu den Kernergebnissen siehe
Abschnitt 4.3.
Tabelle 2: Anwendungsfall zum Usability-Eyetracking-Untersuchungsrahmen
Die Durchführung der Untersuchung (Schritt 6 des Untersuchungsrahmens) folgt dem Schema des Usability Testings nach Rubin [Ru94, S. 79ff.], Dumas und Redish [DuRe94, S. 105ff.]:
Entwicklung des Testplans (Developing the test plan) Akquirierung und Auswahl der Testpersonen (Acquiring and selecting participants) Vorbereitung des Tests (Preparing the test materials) Durchführung des Tests (Conducting the test) Nachbesprechung mit den Probanden (Debriefing the participants) Datenanalyse und Auswertung (Transforming data into findings and recommendations).
Für die Untersuchung wurde das Eyetracking-Labor des Forschungsschwerpunktes Kommunikationsforschung an der Fachhochschule Düsseldorf genutzt. Hierbei kam ein Tobii T60 als Eyetracking-System zum Einsatz. Zur Anwendung des Untersuchungsrahmens beim Vergleich der EPK-Varianten, eEPK und oEPK, werden acht Hypothesen (H1 bis H8) formuliert. Diese sind das Ergebnis eines mehrstufigen iterativen Entwicklungsprozesses eines interdisziplinären Projektteams, bestehend aus je drei Experten aus dem Bereich der Kommunikationswissenschaften und der Wirtschaftsinformatik sowie vier Experten aus der öffentlichen Verwaltung. Im Sinne der wissenssoziologischen Definition kennzeichnen sich Experten, z.B. gegenüber spezialisierten Laien, durch ein Sonderwissen, das sie vielfach im Berufszusammenhang erworben haben [Bo05. S. 33ff.]. Alle Experten zeichneten sich durch mehrjährige Erfahrung in ihren Forschungsgebieten und die Durchführung einer Vielzahl von Projekten aus.
H.4: H.5:
Ein vorgegebener Prozess kann von den Probanden mittels der EPK-Varianten, eEPK und oEPK, dargestellt werden (Fokus: Effektivität – grundsätzliche Eignung).
Ein mittels oEPK aufgezeichneter Prozess enthält weniger Fehler als ein mittels eEPK dargestellter Prozess (Fokus: Effektivität - Output im Informationsverarbeitungsprozess).
Ein textlich vorgegebener Prozess kann mittels oEPK schneller modelliert werden als mittels eEPK (Fokus: Effizienz - Prozessmodellierung).
Die Probanden geben in der Befragung an, dass die Darstellung eines Prozesses mittels oEPK schneller durchgeführt werden kann als ein eEPK-Prozess (Fokus: Effizienz - Methodik).
Die Probanden haben nach dem Test eine positivere Einstellung zur oEPKNotation als zur eEPK-Notation (Fokus: Zufriedenheit - Methodik).
H.6: H.7:
Ein mittels oEPK dargestellter Prozess wird von Probanden besser verstanden als ein mittels eEPK dargestellter Prozess (Fokus: Effektivität - Input im Informationsverarbeitungsprozess).
Ein mittels oEPK dargestellter Prozess kann von den Probanden mit weniger
Aufwand verarbeitet werden als ein eEPK-Prozess (Fokus: Effizienz - Informationsverarbeitung).
Ein mittels oEPK dargestellter Prozess wird von den Probanden positiver wahrgenommen als ein eEPK-Prozess (Fokus: Zufriedenheit - Prozessdarstellung). Ad. H.1: Alle Probanden konnten sowohl mit der eEPK als auch der oEPK den vorgegebenen Prozess (einen Teilprozess aus dem Verwaltungsverfahren zur GewerbeAnmeldung) darstellen. Hypothese 1 ist damit vorläufig bestätigt. Aufgrund der kleinen Stichprobe wurde auf die Durchführung statistischer Hypothesentests verzichtet. Für eine quantitative Modell- und Hypothesenbildung sind weitere Untersuchungen mit einer größeren Anzahl von Probanden notwendig. Die Hypothese kann folglich nur „vorläufig“ bestätigt werden. Dies gilt auch für alle folgenden Hypothesen im oben dargestellten Sinne von qualitativen Forschungsfragen.
Ad. H.2: Bei der Modellierung mittels eEPK traten insgesamt 121 Fehler auf (vgl. Tabelle 3), bei der Modellierung mittels oEPK 31 Fehler. Basis für die Analyse bildete ein strukturierter Bewertungsrahmen mit 22 Fehlerkategorien [PJN09, S. 111]. Auch ein Vergleich zwischen den beiden Gruppen zeigt eine vergleichbare Tendenz, wobei die Studenten insgesamt deutlich weniger Fehler machten als die Verwaltungsmitarbeiter. Hinsichtlich der dokumentierten Fehleranzahl ergibt sich folglich ein deutlicher Unterschied zwischen eEPK und oEPK. Die Hypothese 2 wird damit vorläufig angenommen.
Verwaltungsmitarbeiter Studierende Gesamt 99 22 121 24 7 31
Tabelle 3: Fehler bei der Modellierung mit eEPK im Vergleich zu oEPK (Ersteller) Ad. H.3: Mit Blick auf Tabelle 4 wird ein Prozess im Durchschnitt mittels oEPK im Test ca. 32% schneller modelliert als der identische Prozess mittels eEPK. Die Differenz fällt dabei bei der Kontrollgruppe „Studenten“ mit rd. 46% deutlicher aus als bei der Gruppe der „Mitarbeiter“ mit rd. 18%. Die Hypothese kann damit bestätigt werden.
Tabelle 4: Vergleich der Modellierungsdauer eEPK zu oEPK (Ersteller) Ad. H.4: Zur Überprüfung der Hypothese 4 wurden die Ersteller nach erfolgter Modellierung befragt, mit welcher EPK-Variante sie den Prozess schneller modellieren konnten. Zur Modellierungsvariante eEPK äußerte dies keiner der Probanden. Elf der Ersteller bestätigten dies hingegen bezogen auf die oEPK; einer machte keine Angaben (TabelVerwaltungsmitarbeiter Studenten
eEPK
(in Min.) 9,4 9,5 9,4
-1,7 -4,4 -3,0
-18,06% -46,27% -32,24% oEPK Dauer (in Min.) 7,7 5,1 6,4 le 5). Das subjektive Empfinden deckt sich demnach mit den objektiven Zeitmessungen (Tabelle 4). Die Hypothese 4 wird vorläufig angenommen.
Mit welcher EPK-Variante haben Sie den Prozess schneller modelliert? eEPK 0 oEPK 11 k.A.
1 in Prozent 0% 91,67% 8,33%
Tabelle 5: Vergleich der Modellierungsdauer eEPK zu oEPK (Ersteller) Ad. H.5: Zur Beurteilung der Hypothese 5 (zur Frage, zu welcher EPK-Variante die Probanden nach dem Test eine positivere Einstellung haben), wurden vier Teilfragen gestellt, was eine differenzierte Bewertung ermöglicht. Im Ergebnis erhält die oEPK bezogen auf alle vier Teilfragen eine höhere Zustimmung der Probanden als die eEPK (vgl. Tabelle 6). Die Hypothese wird damit vorläufig angenommen. k.A. 2 8% k.A. 4 17% k.A. 2 8% k.A. 3 25% 50% 25% 100%
Tabelle 6: Subjektive Einstellung zu eEPK und oEPK (Ersteller und Nutzer) Ad. H.6: Zur Beurteilung der Hypothese 6 wurden den Nutzern, auf Grundlage von zwei modellierten Prozessausschnitten, in eEPK und oEPK, Verständnisfragen gestellt [PJN09, S. 92-100]. Es waren jeweils vier Antwortmöglichkeiten vorgegeben, von denen nur zwei zutrafen. Tabelle 7 zeigt die Ergebnisse dieses Testes. Der Vergleich zeigt, dass bei der eEPK etwas mehr richtige Antworten als bei der oEPK gegeben wurden (66>61). Die Hypothese 6 wird vorläufig nicht angenommen. Der Unterschied zur oEPK ist aber marginal. Das Ergebnis aus der Verständnisüberprüfung deckt sich dabei nicht mit den Ergebnissen zur Frage nach dem subjektiven Empfinden zur Verständlichkeit (vgl. Hypothese 5).
Mitarbeiter Studenten gesamt
Mitarbeiter Studenten gesamt Ad. H.7: Die Hypothese 7 beschäftigt sich mit der Frage, bei welcher EPK-Variante der Proband die Informationen mit weniger Aufwand verarbeiten kann. Um wissenschaftliche Erkenntnisse über die „unsichtbare“ menschliche Informationsverarbeitung zu gewinnen, legt die Kognitionspsychologie beobachtbare Hilfsgrößen fest, die in einer Wahrscheinlichkeit mit dem eigentlichen Erkenntnisobjekt, den kognitiven Prozess, korrelieren [Pa06, S. 126]. Zur Beurteilung dieser Hypothese wird das Instrumentarium der Blickbewegungsregistrierung eingesetzt. Für die Nutzer erfolgt die Auswertung des Informationsverarbeitungsaufwands sowohl anhand von sog. Heatmap-Darstellungen, als auch mittels Zeit- und Fixationsmessungen [HNP09]. Bei der Anwendung von Heatmaps werden Aufmerksamkeitsschwerpunkte der Probanden auf die Elemente der Modelle visualisiert. Grundlage für die ausgewählten Darstellungen war eine Aufgabe an die Probanden, einen relevanten Prozessteil zu finden und für mindestens 3 Sekunden darauf zu schauen. Abbildung 1 zeigt beispielhaft die Heatmaps am Ende der Betrachtungsphase (letzten 30 Sek.). Hierbei handelt es sich um automatisch generierte Abbildungen der Auswertungssoftware Tobii Studio 1.5 und eine kumulierte Darstellung der Fixationsverteilung. Das gesuchte Element ist jeweils blau hervorgehoben. Im Gegensatz zur oEPK-Darstellung ist beim eEPK-Modell deutlich zu erkennen, dass die Aufmerksamkeitsschwerpunkte länger im mittleren Teil des Modells verbleiben (rot umkreist). Dies ist ein Indiz aus der grafischen Analyse, dass bei der oEPK ein geringerer Aufwand bei der Informationsverarbeitung auftritt als bei der eEPK, was durch die objektiven Zeit- und Fixationsmessungen (Tabelle 8) bestätigt wird. Die Hypothese 7 wird damit vorläufig angenommen. Die Ergebnisse für die Ersteller zeigen ein vergleichbares Ergebnis [HNP09], [PJN09].
Gruppe Nutzer Ø Dauer bis Symbol Ø Länge der Fixa
angesehen (Sek.) tionen (in Sek.) Verwaltungsmitarbeiter 35,99 1,45 Studenten 42,13 4,32 Ø Gesamt 39,02 2,86
Tabelle 8: Zeit- und Fixationsmessung eEPK und oEPK (Nutzer) Ø Anzahl der Fixationen 1,8 5,3 3,55 Abbildung 1: Heatmaps Nutzer - Zeichnung eEPK (links) und oEPK (letzten 30 Sek.) Ad. H.8: Hypothese 8 beschäftigt sich mit der Frage, bei welcher EPK-Variante der Proband die Informationsdarstellung im Prozessmodell positiver wahrnimmt. Als Indikator dient hier der Grad der Zufriedenheit, welchen die Probanden bewerten konnten. Der Vergleich in Tabelle 9 zeigt, dass diese in ihrer subjektiven Einschätzung insgesamt etwas zufriedener mit der oEPK als mit der eEPK sind (oEPK: 33% sehr zufrieden und 50% zufrieden; eEPK: 0% sehr zufrieden und 83,3% zufrieden). Vier der Probanden sind mit der oEPK „sehr zufrieden“ und sechs „zufrieden“, wohingegen mit der eEPK insgesamt zehn „zufrieden“ sind. Die Hypothese wird vorläufig angenommen. In einer Untersuchung zu B2B-Websites stellt Nielsen et al. [NLN07, S.25] eine positive Korrelation zwischen dem (objektiven) Grad der Aufgabenerfüllung und der (subjektiven) Zufriedenheit von Testteilnehmern fest. Ob dies auf die Usability von Modellierungssprachen übertragbar ist, bleibt weiteren Studien vorbehalten, die Ergebnisse dieser Untersuchung geben hierzu erste Hinweise.
Nutzergruppe sehr zufrieden unzufrieden sehr keine zufrieden unzufrieden Angaben Mitarbeiter 0 6 0 0 0 Studenten 0 4 2 0 0 Gesamt 0 10 2 0 0 in % 0% 83,3% 16,7% 0% 0%
Nutzergruppe sehr zufrieden unzufrieden sehr keine zufrieden unzufrieden Angaben Mitarbeiter 2 3 1 0 0 Studenten 2 3 1 0 0 Gesamt 4 6 2 0 0 in % 33,3% 50% 16,7% 0% 0%
Tabelle 9: Zufriedenheitsgrad eEPK zu oEPK (Nutzer)
Der vorliegende Beitrag stellt die Ergebnisse einer explorativen Studie zur Gebrauchstauglichkeit von EPK-Varianten vor, die sowohl auf Ersteller als auch auf Nutzer von Modellierungssprachen fokussiert. Als Grundlage zur Messung und Bewertung der Usability der EPK-Varianten, eEPK und oEPK, wird ein Untersuchungsrahmen zugrunde gelegt, der Konzepte der Wirtschaftsinformatik mit Konzepten der Kommunikationsforschung kombiniert. Dabei werden sowohl einschlägige Teile der Usability-Norm EN ISO 9241 einbezogen, als auch die Methode des Eyetrackings (Blickbewegungsregistrierung). Die Durchführung der Usability-Eyetracking-Untersuchung erfolgt in Form eines explorativen Experimentes, wobei der Vergleich der EPK-Varianten technisch durch das Open Source-Modellierungswerkzeug der Bflow* Toolbox unterstützt wird. Von acht zugrunde gelegten Hypothesen werden sieben vorläufig bestätigt. Die Hypothese H6 (Verständnisüberprüfung) kann als einzige nicht eindeutig beurteilt werden, hier waren die Ergebnisse zwischen eEPK und oEPK gleichtendierend. Insgesamt wurde der Test mit 24 Probanden in zwei Gruppen durchgeführt, jeweils eingeteilt in Verwaltungsmitarbeiter und Studierende als Kontrollgruppe. Deutliche Unterschiede gab es zugunsten der Gruppe der Studierenden bei der geringeren Anzahl von Modellierungsfehlern (Hypothese 3) und der geringeren Modellierungsdauer (Hypothese 4). Die Gruppe der Verwaltungsmitarbeiter schloss hingegen bei der Orientierung in den Prozessmodellen besser ab (Hypothese 7). Insgesamt sprechen die Ergebnisse dafür, die oEPK-Notation der eEPK-Notation bei der Modellierung von Verwaltungsprozessen vorzuziehen.
Der dargestellte Untersuchungsrahmen wird auf Basis der EPK-Varianten, eEPK und oEPK, erstmals prototypisch angewandt. In wieweit andere Modellierungssprachen / tools für die Zielsetzung geeignet sind, bleibt weiteren Untersuchungen vorbehalten. Die Ergebnisse der Usability-Eyetracking-Untersuchung geben Hinweise zur Usability von eEPK- und oEPK-Notationen für den Einsatz in der öffentlichen Verwaltung, diese sind im Rahmen weiterer Untersuchungen zu validieren. Durch die Anwendung des Untersuchungsrahmens bei der Durchführung unterschiedlicher Usability-Eyetracking-Studien wird sukzessive ein Vorgehensmodell zur Usability von Modellierungssprachen und ihren Modellen entwickelt. Diese und weitere wissenschaftliche Fragestellungen werden im Rahmen zukünftiger Arbeiten zu untersuchen sein. Hier stellt sich eine Vielzahl weiterer Forschungsansätze, die in Form von disziplinübergreifenden Kooperationsprojekten zwischen Vertretern der Integrationsdisziplin Wirtschaftsinformatik und der Kommunikationsforschung realisiert werden können.