Data for classification problems often exhibit complex characteristics that lead to inaccurate predictions of classifiers trained on the data. For example, training a classifier on a small amount of data can lead to overfitting. To solve such problems, multiple classifiers can be combined into an ensemble. For this purpose, multiple classifiers have to be trained that are as accurate and divers as possible. In this case, diversity stands for classifiers that make correct predictions on diferent data instances. Furhtermore, a suitable method for fusing the individual classifier predictions has to be selected In this paper, we present an approach using AutoML to automatically create and optimize ensembles. The approach is evaluated on two real-world datasets with complex data characteristics. The results of the evaluation show an improvement of the predictive accuracy by the automatically created ensembles.
Daten für Klassifikationsprobleme weisen oft komplexe Charakteristika auf, die zu ungenauen Vorhersagen der mit den Daten trainierten Klassifikatoren führen. Beispielsweise kann eine geringe Menge an Daten zu einer Überanpassung der Klassifikatoren führen. Um derartige Probleme zu lösen, können mehrere Klassifikatoren zu einem Ensemble kombiniert werden. Hierfür müssen mehrere Klassifikatoren trainiert werden, die möglichst genau, aber auch divers sind. Diversität bedeutet in diesem Fall, dass die Klassifikatoren auf unterschiedlichen Dateninstanzen korrekte Vorhersagen trefen. Weiterhin muss eine geeignete Methode für die Fusion der einzelnen Klassifikatorvorhersagen ausgewählt werden. In dieser Arbeit stellen wir einen AutoML-Ansatz vor, mit dem die Erstellung und Optimierung eines Ensembles automatisiert möglich ist. Der Ansatz wird anhand zweier Echtweltdatensätze mit komplexen Datencharakteristika evaluiert. Die Ergebnisse der Evaluation zeigen hierbei eine Verbesserung der Vorhersagegenauigkeit durch die automatisch erstellten Ensembles.
Um Erkenntnisse aus Daten zu gewinnen sowie
Vorhersagen und Entscheidungen zu trefen, werden oft
Klassifikationsalgorithmen verwendet. Diese finden in vielen
unterschiedlichen Bereichen, wie z. B. dem Medizinwesen,
wendung [
Um diese Probleme zu lösen, können mehrere
Klassifikatoren in einem Ensemble kombiniert werden, sodass
eine höhere Vorhersagegenauigkeit und
Generalisierbarkeit erreicht werden kann [
ceur-ws.org
© 2023 Copyright for this paper by its authors. Use permitted under Creative Commons License sionsalgorithmus ausgewählt werden [
Vergleich von Ansätzen aus der Literatur. 3 = vollständig erfüllt, (3) = teilweise erfüllt, 7 = nicht erfüllt.
ren viele unterschiedliche Fusionsalgorithmen, die ver- 2.1. Ensemble-Algorithmen
schiedene Strategien zur Fusion der Vorhersagen
verwenden und bei denen zusätzlich Hyper-Parameter optimiert Es existiert bereits eine Vielfalt an Algorithmen für die
Erwerden müssen [
In dieser Arbeit wird ein Überblick über unterschiedli- Boosting [12] und Bagging [11]. Beispiele für Algorithchen Lösungsansätze für die Erstellung eines Ensembles, men dieser Verfahren sind AdaBoost [20] und Random das diese Anforderungen erfüllt, gegeben. Die Ansätze Forests [21]. AdaBoost erzeugt Diversität explizit, indem beziehen sich neben den Klassifikations- und Entschei- in einem iterativen Verfahren Klassifikatoren mit Fokus dungsfusionsalgorithmen zu einem großen Teil auch auf auf die Fehler der vorhergehenden Klassifikatoren traidie Betrachtung der Daten und ihrer Charakteristiken so- niert werden. Eine implizite Erzeugung der Diversität wie auf Aspekte der Datenvorbereitung, die ebenso einen erfolgt jedoch nicht. Ebenso werden die Hyperparameter wesentlichen Einfluss auf die Diversität und Genauigkeit der Klassifikatoren und die Entscheidungsfusion nicht eines Ensembles haben können. Zusätzlich werden ers- optimiert. Random Forests teilen diese Defizite, jedoch erte Ergebnisse anhand eines implementierten Ansatzes zeugt der Algorithmus die Diversität implizit statt explizit. vorgestellt. Für die Automatisierung der Auswahl von Hierfür werden die Klassifikatoren auf unterschiedlichen, Klassifikations- und Entscheidungsfusionsalgorithmen zufällig ausgewählten Teilmengen der Trainingsdaten und der Optimierung ihrer Hyper-Parameter wird Auto- trainiert. mated Machine Learning (AutoML) verwendet. Abschlie- Neuere Veröfentlichung fokussieren sich hingegen ßend werden die Ergebnisse der Evaluation des Ansatzes auf die Verwendung von multikriterieller Optimierung. anhand zweier Datensätze diskutiert. So wird z. B. in ”Multi-objective Ensemble Generation”
Die restliche Arbeit ist wie folgt gegliedert: Anhand (MEG) [14] ein Ensemble sowohl anhand der Diversität
verwandter Arbeiten wird in Abschnitt 2 die Forschungs- als auch der Vorhersagegenauigkeit optimiert. Die
belücke aufgezeigt und anschließend in Abschnitt 3 Ansätze trachtete Menge an Klassifikatoren und
Entscheidungsfür deren Lösung präsentiert. Ein erstes auf diesen Ansät- fusionsalgorithmen ist hierbei jedoch gering und
Diverzen basierendes Konzept wird in Abschnitt 4 vorgestellt, sität wird nur explizit erzeugt. Ein weiterer Algorithmus
sowie anhand zweier Datensätze evaluiert. Abschließend betrachtet Ensembles für ungleich verteilte Daten [13].
werden in Abschnitt 5 die Arbeit zusammengefasst sowie Hierfür werden die Gewichte eines Mehrheitsvotums
mögliche Ansatzpunkte für zukünftige Arbeiten genannt. Ansatzes sowohl anhand von Precision als auch Recall
optimiert. Jedoch werden die Klassifikatoren selbst nicht
optimiert, sondern nur aus einer Menge an 15
Algorith2. Verwandte Arbeiten men eine Untermenge für das Ensemble ausgewählt.
Einen anderen Ansatz bietet das PUSION
FrameIn diesem Abschnitt werden bestehende Ansätze betrach- work [
Impl. Diversität, Vorverarbeitung
Entscheidungsfusion 1 2 ⋮
Komplexe Datencharakteristika, Domänenwissen, expl. Diversität Abbildung 1: Schematische Darstellung eines Ensembles. Die Eingabe ist ein Datensatz, sind die Vorhersagen der einzelnen Klassifikatoren und ist die fusionierte Ausgabe des Ensembles. Blau hinterlegt sind die möglichen Aspekte zur
2.2. AutoML für Ensembles Automated Machine Learning (AutoML) bezeichnet die automatisierte Erstellung eines maschinellen Lernmodells für gegebene Daten innerhalb eines bestimmten Budgets [16]. Im AutoML-Bereich existieren bereits viele verschiedene Frameworks, jedoch unterstützen nur einige wenige die Erstellung und Optimierung von Ensembles. So erlauben dies z. B. Auto-sklearn [16], H2O [15], ESMBO [17], Bayesian Optimization for Ensembles (BOE) [18] und AutoGluon-Tabular [19]. Jedoch nehmen diese an, dass die Verwendung von unterschiedlichen Algorithmen und Hyper-Parametrisierungen eine ausreichend diverse Menge an Klassifikatoren erzeugt. Zusätzlich dazu wird bei der Mehrheit der Frameworks der Entscheidungsfusionsalgorithmus nicht optimiert, sondern ein spezifischer Algorithmus vorgegeben. Eine Ausnahme bildet H2O, welches eine begrenzte Optimierung der Fusion erlaubt, indem verschiedene Algorithmen für die Stacked Generalization verwendet werden können.
Methoden und den Einsatz impliziter Diversitätsmethoden in der Datenvorbereitung ein. Über die Manipulation der Daten kann die Genauigkeit und Diversität der trainierten Klassifikator-Menge beeinflusst werden (Anforderungen A1 und A2). Vorverarbeitungs- und Feature-Engineering-Methoden beeinflussen insbesondere die Vorhersagegenauigkeit der einzelnen Klassifikatoren (A1). Diese Methoden bereiten die Daten auf, sodass diese von Klassifikationsalgorithmen besser verarbeitet werden können. Hierfür können z. B. kategorische Daten numerisch kodiert oder die Dimensionalität der Daten reduziert werden. Um mit Hilfe der Vorverarbeitungs- und Feature-Engineering-Methoden zusätzlich die Diversität zu erhöhen (A2), können je Klassifikator unterschiedliche Methoden auf die Daten angewendet werden. Damit wird jeder Klassifikator auf unterschiedlich vorbereiteten Daten trainiert und angepasst, sodass die gesamte Menge an Klassifikatoren insgesamt diverser wird.
Alternativ
werden innerhalb gängiger EnsembleAlgorithmen, wie z. B. Random Forests, implizite Diversitätsmethoden verwendet, um die Diversität zwischen den einzelnen Klassifikatoren zu erhöhen (vgl. Abschnitt 2.1).
Hierbei werden die Trainingsdaten für jeden Klassifikator zufällig ausgewählt, z. B. über die Auswahl von DatenIn diesem Abschnitt werden vier verschiedene Aspek- instanzen mit Bootstrapping [11] oder einer Attributte vorgestellt, mit denen die Anforderungen A1-A3 zur Erstellung eines Klassifikator-Ensembles gelöst werden können (siehe Abbildung 1). Im Folgenden werden diese Aspekte definiert, sowie deren Ansatzpunkte zur Lösung der Anforderungen präsentiert.
Teilmenge mit der Random-Subspace-Methode [22].
Klassifikatoraspekt:
Unter diesem Aspekt wird die Auswahl und Optimierung der Klassifikatoren des Ensembles anhand der Vorhersagegenauigkeit und Diversität betrachtet (A1+A2). Diversität kann hierbei explizit
Datenaspekt: Der Datenaspekt schließt die Verwen- über die Verwendung von Diversitätsmetriken optimiert dung von Vorverarbeitungs- und Feature-Engineeringwerden [23]. Mit Hilfe dieser Metriken, wie z. B. der DopOverproduce: Klassifikatoroptimierung (A1)
Select:
auswählen hinsichtlich
genausten
Abbildung 2: Darstellung des gewählten Ansatzes für das AutoML-Frameworks für Ensembles. COGS = Optimierungsproblem. pelfehlerrate oder Q-Statistik, kann die Diversität eines werden, um so explizit anhand der Datencharakteristika Ensembles gemessen und so eine Aussage über sie ge- Diversität zu erzeugen. schreibt die Auswahl und Optimierung des Fusionsalgo- 4.1. AutoML-Ansatz für Ensembles Daten sowie zeitliche Änderungen der statistischen Da- figurationen ausgewählt werden kann. Dies erlaubt es, trofen werden. Jedoch ist aktuell der Zusammenhang zwischen der mit diesen Metriken gemessenen Diversität und der Genauigkeit des Ensembles aus Klassifikatoren nicht ausreichend untersucht. Für die Optimierung kann z. B. AutoML und Meta-Learning verwendet werden. Meta-Learning bezeichnet das Lernen aus vorherigen Erfahrungen, um schneller ein Modell mit hoher Vorhersagegenauigkeit für einen neuen Datensatz zu finden [24]. Als Erfahrungen werden hierbei Metadaten bezeichnet, die vorherige Datensätze und darauf evaluierte Machine-Learning-Algorithmen beschreiben [25, 26].
Entscheidungsfusionsaspekt: Der Fusionsaspekt berithmus. Die Optimierung erfolgt im Gegensatz zu den Klassifikatoren lediglich anhand der Vorhersagegenauigkeit (A3). Jedoch kann hier ebenfalls AutoML und MetaLearning für die Optimierung verwendet werden.
Domänenspezifische Datencharakteristika:
Die
Ausnutzung domänenspezifischer Datencharakteristika
ermöglicht es, Wissen über die Daten und die
Datendomäne zu verwenden. Dies schließt komplexe,
domänenspezifische Datencharakteristika wie z. B. ungleiche
Klassenverteilungen, verschiedene Arten von Bias in den
tenverteilungen mit ein [27, 28, 29, 30, 31]. Beispielsweise
stellen Hirsch et al. [
Die Diskussion bestehender Arbeiten in Abschnitt 2 zeigt, dass aktuell kein Framework die Anforderungen A1-A3 erfüllt. Um dieses Problem zu lösen, haben wir [32] einen Ansatz entwickelt, der auf die in Abschnitt 3 vorgestellten Lösungsansätze eingeht. Im Folgenden werden der Ansatz und seine prototypische Implementierung vorgestellt sowie erste Evaluationsergebnisse präsentiert. Der hier vorgestellte Ansatz setzt die in Abschnitt 3 vorgestellten Klassifikations- und Fusionsaspekte mithilfe von AutoML um (siehe Abb. 2). Für die Erstellung der Klassifikator-Menge wird ein sogenannter „Overproduce and Select“-Ansatz verfolgt: In einem Overproduce-Schritt werden mehrere Klassifikatorkonfigurationen anhand ihrer Vorhersagegenauigkeit durch AutoML optimiert und evaluiert. Jede Konfiguration und ihre Evaluation werden abgespeichert, sodass nach der Optimierung in einem Select-Schritt eine Untermenge aus allen evaluierten Koneine Menge an Klassifikatoren anhand ihrer Diversität und Genauigkeit auszuwählen und somit die Anforderungen A1 und A2 zu erfüllen.
Für die Optimierung der Entscheidungsfusion wird hingegen ausschließlich AutoML verwendet. Die Optimierung und Auswahl des besten Entscheidungsfusionsalgorithmus erfolgt somit anhand der Vorhersagegenauigkeit, um die Anforderung A3 zu erfüllen.
Durch dieses Vorgehen wird ein Ensemble erstellt, dass die Anforderungen A1-A3 erfüllt. Weiterhin ist die Komplexität des Suchraums und der Optimierung niedrig, da die Klassifikator-Menge und die Entscheidungsfusion getrennt voneinander optimiert werden [32]. Dies ermöglicht eine kürzere Laufzeit und erhöht die Wahrscheinlichkeit eine genaue und generalisierende Ensemble-Konfiguration zu finden.
Vorhersagegenauigkeit der Baseline, statischen Fusion und des optimierten Ensembles. Für die Baseline bezeichnet der Entscheidungsfusionsalgorithmus den Klassifikationsalgorithmus. SVM=Support Vector Machine, AVG=„Simple Averaging“, WV=Gewichtetes Mehrheitsvotum, RF=Random Forest, NN=Neurales Netzwerk.
Baseline Statische Fusion Optimiertes Ensemble Baseline Statische Fusion Optimiertes Ensemble SVM AVG WV RF AVG NN
Accuracy (%)
Makro F1 (%)
4.2. Implementierung letzteren beiden besser für Mehrklassenprobleme
geeignet sind. Um eine geeignete Größe für die
KlassifikatorDie Implementierung des Prototyps erfolgte in der Pro- Menge zu finden, werden alle Größen zwischen 2 und 30
grammiersprache Python. Für die Bereitstellung von Klas- getestet. Abschließend wird das Ensemble mit der
höchssifikationsalgorithmen wird die Bibliothek scikit-learn ten Vorhersagegenauigkeit gewählt. Für die Optimierung
1.0.2 [33] verwendet und Entscheidungsfusionsalgorith- der Klassifikatoren wird ein Limit von einer Stunde und
men sind aus dem PUSION-Framework 1.3.5 [
Die Ergebnisse der Evaluation sind in Tabelle 2 auf- serung durch die Fusionsoptimierung im Vergleich zur gelistet. Der Vergleich erfolgt anhand der Metriken Ac- statischen Fusion folglich nochmals höher aus. So becuracy, Ausgewogener Accuracy und Makro F1, wobei trägt die Verbesserung für den Kropt-Datensatz +6, 87%Punkte Accuracy, +5, 90%-Punkte ausgewogene Accuracy und +4, 15%-Punkte Makro F1 sowie +1, 42%-Punkte
Accuracy, +18, 76%-Punkte ausgewogene Accuracy und +19, 95%-Punkte Makro F1 für den Ldpa-Datensatz.
Diskussion: Durch die Evaluation konnte gezeigt wer- Der Autor bedankt sich bei Bernhard Mitschang und den, dass die durch unseren Ansatz optimierten Ensem- Peter Reimann für ihr Feedback zur Verbesserung des bles für beide Datensätze die Vorhersagen mit der höchs- Papers. ten Genauigkeit erzielen. Insbesondere mit Bezug auf ungleichverteilte Mehrklassenprobleme zeigt sich eine gro- Literatur ße Verbesserung der Vorhersagegenauigkeit, wie anhand der Makro F1 und ausgewogenen Accuracy-Metriken gesehen werden kann. Zusätzlich zeigt sich diese Verbesserung vor allem in Bezug auf die Optimierung der Entscheidungsfusionsmethode. Wird diese nicht optimiert, so kann sich die Vorhersage des Ensembles im Vergleich zu einzelnen Klassifikatoren verschlechtern. Diese Verbesserung lässt sich dadurch erklären, dass eine statisch gewählte Entscheidungsfusionsmethode nicht auf die gewählte Menge an Klassifikatoren sowie die verwendeten Daten angepasst ist. Aus diesem Grund führt die hier verwendete Optimierung der Entscheidungsfusion zu einer höheren Vorhersagegenauigkeit.
In dieser Arbeit haben wir einen AutoML-Ansatz vorgestellt, der die automatische Optimierung eines Ensembles ermöglicht. Hierbei wird die Klassifikator-Menge hinsichtlich Diversität und Genauigkeit sowie die Entscheidungsfusion hinsichtlich ihrer Genauigkeit optimiert. Somit werden aktuell der Klassifikator- und Entscheidungsfusionsaspekt behandelt. Der Ansatz wurde an zwei Datensätzen mit unausgewogenen Klassenverteilungen evaluiert. Anhand der Evaluation ist zu sehen, dass die Erstellung eines optimierten Ensembles und die Fusionsoptimierung eine Verbesserung der Vorhersagegenauigkeit erzielen.
In zukünftigen Arbeiten planen wir, den vorgestellten Prototypen hinsichtlich des Datenaspektes zu erweitern. So können Methoden für die implizite Diversität und Vorverarbeitung integriert werden. Zusätzlich ist eine ausführlichere Evaluation anhand weiterer Datensätze wie z. B. MNIST3 und Covertype4 geplant. Hierbei sollen weitere Aspekte wie der Einfluss der Diversität auf die Optimierung des Ensembles mit betrachtet werden.
Weiterhin kann Meta-Learning für die Auswahl von Klassifikatoren und Entscheidungsfusionsmethoden betrachtet werden. Zuletzt bietet die Betrachtung domänenspezifischer Datencharakteristika neue Ansätze, um z. B. Klassifikatoren und Entscheidungsfusionsmethoden auszuwählen und zu optimieren. 3https://www.openml.org/d/554 4https://www.openml.org/d/180