The V-Modell XT is widely used in IT projects of public administrations. Therefore, it is important to investigate the influence of software components with artificial intelligence on the project implementation. Besides the possibility of improvements through the use of artificial intelligence, however, the associated risks for the project implementation must be reduced by specific guidance. These specifications are derived from the result of a structured comparison of the current V-Modell XT with the CRISP-DM standard. With this knowledge the learning curve for the use of CRISP-DM can be reduced substantially by connecting points to known knowledge and project managers can be prepared in a structured way for the special features and challenges of large-scale projects with components containing artificial intelligence. Therefore, it makes sense to develop training courses tailored to the particularities of artificial intelligence and easily reproducible configurations of the V-Modell XT.
Seit November 2004 ist die Anwendung des V-Modell XT gemäß
Interministeriellem Koordinierungsausschuss für Bundesbehörden verpflichtend festgelegt.
Bislang wurde jedoch noch nicht der Einfluss von CRISP-DM auf das zur
Projektdurchführung verwendete Vorgehensmodell V-Modell XT wissenschaftlich untersucht,
da insbes. in Kapitel H.1 des V-Modell XT keine derartige Konventionsabbildung
enthalten ist.
CRISP-DM identifiziert und wie dieser adressiert werden kann (Kapitel 4). • Ob die Durchführung von KI-Projekten in der öffentlichen Verwaltung durch eine spezifische Schulung der Projektmitglieder zu CRISP-DM ausgehend von vorhandenem Wissen zum V-Modell XT sinnvoll unterstützt werden kann (Kapitel 5). Das Thema wird über einen Vergleich des aktuellen V-Modell XT und des CRISP-DM-Standards bearbeitet. Dabei wird ausgehend von den Empfehlungen zur Durchführung von KI-Projekten in CRISP-DM eine mögliche praxisorientierte Umsetzung von diesen in einem V-Modell XT Projekt im Rahmen einer Konventionsabbildung entwickelt. 2
Innerhalb der Bundesregierung befindet sich mit Ausnahme der weiteren Szenarien
beim Bundesinstitut für Arzneimittel und Medizinprodukte, der
Physikalisch-Technischen Bundesanstalt, dem Bundesamt für Sicherheit in der Informationstechnik und der
deutschen Flugsicherung IT-Lösungen mit KI-Einsatz vielfach noch in der
Entwicklung und Pilotierung.
Das Problem einer fehlenden oder nicht ausreichenden Schulung der
Projektmitglieder, insbes. des Projektleiters, in der Umsetzung von V-Modell XT Projekten mit
CRISP-DM stellt ein neues Risiko für den Projekterfolg dar. Ohne eine geeignete
Adressierung des Veränderungsbedarfs und folglich der Eintrittswahrscheinlichkeit des
Risikos entsteht ein Schadensereignis für ein derartiges Projekt.
Gerade bei Projekten mit neuartigen Technologien, somit auch KI-Projekten, besteht
zudem eine hohe Erwartungshaltung von Management und Belegschaft. Bisher als
unlösbar angesehene Problemstellungen sollen jetzt beherrschbar werden. Bei ersten
KI-Projekten sollten in den Projektzielen die Erwartungen an Einsparungen und andere
Verbesserungen jedoch nicht zu hoch angesetzt werden.
Die zentrale Herausforderung ist folglich, die Projektakteure auf Basis der bestehenden Kompetenzen schnell und zuverlässig in die Lage zu versetzen KI-Projekte unter dem V-Modell XT durchzuführen, um Risiken für die öffentliche Hand zu reduzieren und die Verbreitung von KI dort an sinnvollen Stellen zu fördern. 3
Die im Rahmen des Change Managements erforderlichen Adaptionen im V-Modell XT werden durch einen kriteriengestützten Diskurs zwischen V-Modell XT und CRISP-DM über Konventionsabbildungen identifiziert. Eine Konventionsabbildung beginnt mit der Kurzvorstellung des mit dem V-Modell XT verglichenen Standards und danach folgt ausgehend von den zentralen Elementen des Standards eine Beschreibung der Umsetzung im V-Modell XT. (vgl. Angermeier et al. 2006, S. 29)
Diese zentralen Elemente stellen bei CRISP-DM vor allem dessen Phasen dar, da sie
sich als Grundstruktur durch die Kapitel II bis IV des CRISP-DM Standards ziehen.
Diese Methode eignet sich besonders, da hierdurch auch die verschiedenen
Wissensgebiete von Projektmitgliedern ohne KI-Erfahrung mit denen von ausgebildeten Data
Scientists in Relation zueinander gesetzt werden können. So wird innerhalb der
durchgehenden Zusammenarbeit zwischen Auftraggeber und Auftragnehmer ein
gemeinsames Begriffsverständnis gefördert. Diese Methode wurde bereits bei der Abbildung der
Projektmanagementphasen nach DIN 69901 in Kapitel H.1.3 des V-Modell XT
erfolgreich eingesetzt.
Im Folgenden werden die Ergebnisse des kriteriengestützten Diskurses zwischen
V-Modell XT und CRISP-DM zum Beleg der Hypothese dargestellt. CRISP-DM ist
ein branchenunabhängiges Referenzmodell für Datamining Projekte, welches deren
Ablauf formalisiert und dazu konkrete Aktivitäten darin vorgibt.
Vor dem Einsatz von CRISP-DM in einem Projekt findet eine Anpassung statt, indem
die Bestandteile des Standards genauer spezifiziert bzw. bei Nichtanwendbarkeit
entfernt und neue Elemente bei Bedarf hinzugefügt werden können.
Ggf. ist zukünftig durch die verstärkte Nutzung von CRISP-DM im Verwaltungsumfeld eine Erweiterung des V-Modell XT Projektassistenten möglich. KI-Projekte könnten hierbei als neues Projektmerkmal in diesen eingefügt werden, um die in nachfolgenden Kapiteln identifizierten Änderungen über das Tailoring geeignet zu berücksichtigen. Die Klassifizierung des Projektes über Projekttyp und Projekttypvariante bleiben hiervon unberührt. Hierdurch könnte die einheitliche Anwendung von CRISPDM in IT-Projekten auf Basis des V-Modell XT unterstützt werden. Das Konzept des Tailorings gehört zu den Grundkonzepten des V-Modell XT und jeder Projektleiter wendet dies beim Neuaufsetzen eines derartigen Projekts an. Die Projektmitglieder können den sich aus CRISP-DM ergebenden Änderungsbedarf für das V-Modell XT über das bekannte Tailoring berücksichtigten. Sofern auch CRISP-DM individuell auf das KI-Projekt angepasst werden soll, kann die im V-Modell XT gelernte Vorgehensweise angewendet werden.
Im nächsten Schritt wird je Phase von CRISP-DM ein Abgleich mit den Aktivitäten und Produkten des V-Modell XT durchgeführt. Wichtiger Orientierungspunkt ist hierbei neben den sechs Phasen von CRISP-DM die Durchführung eines V-Modell XT Projekts über die Auftraggeber-Auftragnehmer-Schnittstelle. 4.2
In der ersten Phase Business Understanding von CRISP-DM wird die fachliche
Problemstellung erfasst, in eine technische Problemstellung transformiert und im Anschluss
eine grobe Lösungsskizze entwickelt.
Daneben ist innerhalb des V-Modell XT noch die Bewertung der Ausschreibung,
welche innerhalb des Produkts Angebot in das Thema Leistungsbeschreibung mündet,
für die Phase Business Unterstanding relevant. Die Bewertung der Ausschreibung
erfolgt laut V-Modell XT nur auf Basis des Lastenhefts.
Wichtiges Ziel der nächsten Phase Data Understanding ist, eine Aussage bzgl. der
Umsetzbarkeit der Lösung aufgrund von ausreichend vorhandenen und geeigneten
Datensätzen zu treffen.
Die Phase Data Understanding hat Gemeinsamkeiten mit der innerhalb des Produkts
Altsystemanalyse behandelten Themas Datenmodell, da auch hier eine Einschätzung
der Datenqualität erfolgt und die Datenstruktur analysiert wird.
Die nächste Phase von CRISP-DM heißt Data Preparation. In dieser Phase werden die
Rohdaten so aufbereitet, dass sie direkt in der anschließenden Phase Modelling zum
Training eines Modells verwendet werden können. Wenn die geeigneten Quellen
identifiziert sind, müssen die Datenelemente für eine zuverlässige Durchführung der Phase
Data Preparation katalogisiert werden.
Im V-Modell XT Produkt Migrationskonzept wird unter dem Thema
Datenmigration die Definition von Datentransformationen beim Transport vom Quell- zum
Zielsystem beschrieben. Migration meint in diesem Kontext jedoch die Ablösung eines
Altsystems durch ein neues System, wobei verschiedene Migrationsstrategien zum Einsatz
kommen.
In der Phase Modelling wird das Modell der KI erstellt und seine Hyperparameter
optimiert.
Die Evaluation ist der letzte Schritt vor Produktivsetzung des Modells der KI. Daher
erfolgt eine gründliche Prüfung, die auch dessen Entstehungsprozess einbezieht und
das Ziel hat, etwaige bisher unentdeckte Schwachstellen aufzudecken. Nur bei einem
positiven Prüfungsergebnis, wird das Modell in das Deployment überführt.
Für die Phase Evaluation müssen also Besonderheiten erlernt werden, die jedoch auf dem Konzept des Abnahmetests im V-Modell XT aufbauen. Der Unterschied bei der Abnahmeerklärung des Gesamtsystems sollte dadurch adressiert werden, dass die KI in eigenen Iterationen durch Data Scientists optimiert wird und durch unabhängige Tester mit Metriken abgeprüft wird. Der Test einer KI mit vielen Datensätzen und die Berechnung von Metriken auf Basis der Testergebnisse ist dem automatisierten Testen zuzuordnen. Deren Empfehlung für das Deployment wird an den Testmanager gegeben. Dieser lässt die Information neben eigenen fachlichen Testergebnissen zum Gesamtsystem mit dem KI-Softwaremodul in das Abnahmeprotokoll einfließen. Die Abnahmeerklärung des Gesamtsystems erfolgt auch hier gem. V-Modell XT durch den Projektmanager des Auftraggebers. Die zu erlernende Adaption des V-Modell XT ist daher gering und leicht durch Lerntransfer vermittelbar. 4.7
Beim Deployment werden alle Vorkehrungen getroffen, um das Modell in den
Echtbetriebseinsatz zu überführen.
In CRISP-DM wird das Deployment inkl. Monitoring und späteren Wartungen
detailliert geplant, wobei am Ende jedoch auch nur ein Abschlussbericht und eine
Präsentation der Ergebnisse und nicht die technische Umsetzung steht.
In KI-Projekten wird u.a. das Fähigkeitsprofil eines Data Scientist benötigt. Daher sind KI-spezifische Rollen neben den V-Modell XT-Rollen SW-Entwickler, SW-Architekt und Systemarchitekt mindestens in das Rollenmodell des projektspezifischen V-Modells XT aufzunehmen. Möglicherweise eignet sich auch eine Anpassung des offiziellen V-Modells XT.
Bei der praktischen Durchführung des Projekts wird auch das Problem identifiziert, dass eine Unsicherheit darin besteht, ob die aktuellen technischen Entwicklungen im Bereich KI die gewünschten fachlichen Funktionalitäten ermöglichen. Es ist daher in einem separaten Projekt eine Machbarkeitsstudie vor der Ausschreibung durch KI-Experten bzw. zunächst die Erstellung eines Prototyps empfehlenswert. Dieses Vorgehen wird durch das Produkt Projektvorstudie im V-Modell XT bzw. eine prototypische Entwicklung ermöglicht. Es ist somit wichtig, das Projekt korrekt aufzusetzen und geeignete Pufferzeiten für die genannten Arbeiten bzw. zusätzlichen Iterationen einzuplanen.
Erst wenn die zur Lösung der Problemstellung eingesetzte Technologie im Bereich
der künstlichen Intelligenz bekannt ist, können die technischen Ressourcen für Training
und Tuning bestimmt werden. Es sollte daher bei den ersten Projekten mit einem
höheren Projektbudget auf Auftragnehmerseite kalkuliert werden. KI-Projekte benötigen
korrekte und vollständige Datensätze, was durch Prozesse bei Erhebung und
Verwaltung der Daten sichergestellt wird.
Ist eine Untersuchung bzw. Prototyperstellung unterblieben, kann durch die
Bereitstellung von anonymisierten Beispieldatensätzen im Rahmen der Ausschreibung und
durch Datenlieferungen nach Vertragsschluss das Projektrisiko reduziert werden. Im
ungünstigsten Fall, kann sich der Akteur in einer fachlichen Anforderung nachträglich
verändern, sofern diese weder über konventionelle regelbasierte Implementierung noch
über die Entwicklung einer KI realisierbar ist. Das keine Muster beim Training der KI
gefunden wurden heißt jedoch nicht, dass keine solchen existieren. Daher ist im
iterativen CRISP-DM-Prozess regelmäßig zu bewerten, ob das Training beendet wird oder
mit anderen Daten fortgesetzt wird. Dazu dienen die empfohlenen regelmäßigen
Abstimmungen zu den Datenlieferungen zwischen Auftraggeber und Auftragnehmer in
der Phase Data Understanding. Das V-Modell XT unterstützt „ein iteratives Vorgehen,
bei dem der Entwicklungszyklus nicht nur einmal, sondern mehrmals durchlaufen
wird.“
Im Ergebnis können das Rollenmodell und die Unsicherheit bei der Umsetzbarkeit einer fachlichen Anforderung durch eine KI mit Konzepten des V-Modell XT geeignet adressiert werden. Hier ist lediglich eine geeignete Sensibilisierung des Projektleiters erforderlich, damit dieser die Meilensteinplanung für ein KI-Projekt risikoorientiert erstellen kann.
Der Vergleich von V-Modell XT und CRISP-DM trägt zur Forschung im Bereich Projektmanagement von KI-Projekten bei. Beide verfügen zum einen über ein vergleichbares Tailoringkonzept, wodurch Projektmitarbeiter ihr Wissen aus dem V-Modell XT nutzen können. Die Produkte Ausschreibung, Projekthandbuch, Gesamtsystementwurf (Pflichtenheft) und Systemarchitektur müssen durch die Projektmitglieder entsprechend der Ergebnisse dieses Papers angepasst werden, damit die Vorgaben von CRISP-DM im V-Modell XT Projekt geeignet berücksichtigt werden. Weiterhin wird ein neues Produkt Datenkatalog benötigt, in welchem die technischen Datenattribute mit ihren Feldformaten und Kardinalitäten den fachlichen Datenattributen zugeordnet werden. Daher ist auf Ebene der Produkte eine Integration von CRISP-DM in das V-Modell XT sinnvoll möglich.
Daneben sind während der Phase Data Understanding regelmäßige Abstimmungen zwischen der Fachseite des Auftraggebers und den Data Scientists des Auftragnehmers erforderlich, die vom Projektleiter auf Auftraggeberseite initiiert werden müssen. Nur so kann beim Auftragnehmer ein korrektes Verständnis der vorhandenen Datenquellen sichergestellt werden. Überdies wird ein zweigeteilter Abnahmetest vorgeschlagen. Ein Teil des Abnahmetests betrifft ausschließlich die trainierten und validierten KI-Bestandteile des IT-Systems. Sie werden mit Unterstützung durch Data Scientist automatisiert getestet. Die dabei erhaltenen Metrikdaten werden im Anschluss ausgewertet und mit Zielwerten aus dem Lastenheft verglichen. Der zweite Teil des Abnahmetests adressiert die Umsetzung der fachlichen Anforderungen im Gesamtsystem. Im gesamten Test können die Projektmitglieder das bestehende Wissen zur Testdurchführung mit manuellen und automatisierten Testszenarien im V-Modell XT nutzen. Die beim Training der KI erzeugten Artefakte, die keinen Quellcode enthalten, sind im V-Modell XT als Konfigurationsdatei zu bewerten, auf die auch die Regelungen des V-Modell XT für Softwaremodule direkt anwendbar sind. Hier können Projektmitglieder daher ihr Wissen zum V-Modell XT anwenden. Das Deployment nach dem V-Modell XT ist weitergehender als das von CRISP-DM, da es auch Artefakte umfasst, die konventionell entwickelt wurden. Um die Risiken bei der Durchführung von KI-Projekten zu minimieren, werden die bereits im V-Modell XT enthaltene Projektvorstudie oder eine Projektdurchführungsstrategie mit prototypischer Entwicklung empfohlen. Im Ergebnis der Konventionsabbildung ist auch auf Ebene der Aktivitäten bzw. Geschäftsprozesse eine Integration von CRISP-DM in das V-Modell XT praktikabel.
Aufgrund dieser zwei Erkenntnisse ist eine schnelle Einführung von CRISP-DM auf Basis der Kenntnisse zum V-Modell XT über Lerntransfer möglich. So werden insbesondere Projektleiter ohne umfangreiches Studium zu KI mit dem neu erlernten Wissen dazu befähigt, KI-Projekte in hoher Qualität und risikoarm durchzuführen.
Die praktische Relevanz der Forschungsergebnisse besteht darin, dass auf dieser Grundlage Deltaschulungen entwickelt werden können. In diesen können Projektmitglieder der öffentlichen Verwaltung und den sie unterstützenden Unternehmen mit geringem zeitlichem und damit finanziellem Aufwand für künftige KI-Projekte nach dem V-Modell XT geschult werden. Gerade wegen ihres hohen Gestaltungspotentials bei der Projektplanung und -durchführung sollten Projektleiter vorrangig für die Durchführung von KI-Projekten fundiert weitergebildet werden. Aufgrund des identifizierten geringen Anpassungsbedarfs ist der Schulungsbedarf als beherrschbar zu bewerten. Daher ist es sinnvoll eine große Zahl von Projektmitgliedern in laufenden und zukünftigen KIProjekten in der Anwendung von CRISP-DM im V-Modell XT zu schulen. 6
In dieser Arbeit wurde ein strukturierter Vergleich zwischen dem V-Modell XT und CRISP-DM durchgeführt und damit eine neue Konventionsabbildung entwickelt. Ziel dabei war die Möglichkeiten von Lerntransfer für Projektmitglieder mit V-Modell XT Wissen zur Umsetzung von KI-Projekten unter Anwendung von CRISP-DM zu untersuchen.
Dabei wurde als Hauptbeitrag des Papers festgestellt, dass sich das V-Modell XT auch als Basis zur Durchführung von KI-Projekten mit CRISP-DM eignet und zudem eine schnelle Einführung von CRISP-DM unter Einbeziehung der Kenntnisse der Projektmitglieder zum V-Modell XT möglich wird. Künftige Deltaschulungen versetzen die bisher in KI-Projekten unerfahrenen Projektmitglieder in die Lage, ein gemeinsames Begriffsverständnis mit den Data Scientists aufzubauen. Dies hilft insbesondere die Kommunikation im Projekt zu verbessern. So werden zukünftige KI-Projekte in den öffentlichen Verwaltungen unterstützt, um deren Erfolgswahrscheinlichkeit zu erhöhen und damit den Einsatz von KI in dieser Domäne zu fördern und auszuweiten. Adressaten dieser Arbeit sind Behördenmitarbeiter, insbes. Projektleiter, die KI-Projekte zukünftig durchführen werden. Auch die Wirtschaft kann von den gewonnenen Erkenntnissen profitieren, um bei Ausschreibungen von IT-Projekten mit KI-Bestandteilen eine gute Integration der KI-Experten mit einer häufig vorgeschriebenen Projektdurchführung nach V-Modell XT sicherzustellen. Dadurch wird das unternehmerische Risiko der IT-Dienstleister beherrschbarer.
Schwerpunkt der Arbeit ist der systematische Vergleich zwischen beiden Standards, der den Behördenmitarbeitern hilft bei bestehendem Wissen anzusetzen, um Neues zu lernen. Leider steht die praktische Evaluation der Ergebnisse dieses Papers mangels geringer Anzahl von KI-Projekten in den öffentlichen Verwaltungen noch aus.
Sollten sich der Einsatz von CRISP-DM in V-Modell XT Projekten bewähren, wäre eine Erweiterung des V-Modell XT Projektassistenten sinnvoll. So könnten die Besonderheiten von KI-Projekten nach CRISP-DM bereits beim Tailoring IT-gestützt berücksichtigt werden, was die Umsetzung der Forschungsergebnisse vereinfachen würde. Dafür ist jedoch im Vorfeld eine weitere Ausdetaillierung der Auswirkungen von CRISP-DM auf Themenebene der V-Modell XT Produkte erforderlich.