Die Menge an analysierbaren Daten steigt aufgrund fallender Preise fur Speicherlosungen und der Erschlie ung neuer Datenquellen rasant. Da klassische Datenbanksysteme nicht ausreichend parallelisierbar sind, konnen sie die heute anfallenden Datenmengen hau g nicht mehr verarbeiten. Hierdurch ist es notwendig spezielle Programme zur parallelen Datenanalyse zu verwenden. Die Entwicklung solcher Programme fur Computercluster ist selbst fur erfahrene Systemprogrammierer eine komplexe Herausforderung. Frameworks wie Apache Hadoop MapReduce sind zwar skalierbar, aber im Vergleich zu SQL schwer zu programmieren. Die Open-Source Plattform Apache Flink schlie t die Lucke zwischen herkommlichen Datenbanksystemen und Big-Data Analyseframeworks. Das Top Level Projekt der Apache Software Foundation basiert auf einer fehlertoleranten Laufzeitumgebung zur Datenstromverarbeitung, welche die Datenverteilung und Kommunikation im Cluster ubernimmt. Verschiedene Schnittstellen erlauben die Implementierung von Datenanalyseablaufen fur unterschiedlichste Anwendungsfalle. Die Plattform wird von einer aktiven Community kontinuierlich weiter entwickelt. Sie ist gleichzeitig Produkt und Basis vieler Forschungsarbeiten im Bereich Datenbanken und Informationsmanagement.
gro e Herausforderung dar. Konventionelle Datenbanksysteme sind nicht langer in der Lage mit den enormen Datenmengen und der dynamischen oder fehlenden Struktur der Daten umzugehen.
Das Forschungsprojekt Stratosphere[
Im Vergleich zu anderen verteilten Datenanalyseplattformen, reduziert Flink die Komplexitat fur Anwender durch die Integration von traditionellen Datenbanksystemkonzepten, wie deklarativen Abfragesprachen und automatischer Abfrageoptimierung. Gleichzeitig erlaubt Flink schema-on-read 2, ermoglicht die Verwendung von benutzerde nierten Funktionen und ist kompatibel mit dem Apache Hadoop MapReduce Framework3. Die Plattform hat eine sehr gute Skalierbarkeit und wurde auf Clustern mit hunderten Maschinen, in Amazons EC2 und auf Googles Compute Engine erprobt.
Im Folgenden stellen wir in Abschnitt 2 die Architektur der Flink Plattform naher vor und zeigen Bibliotheken, Schnittstellen und ein Programmbeispiel in Abschnitt 3. Abschnitt 4 beschreibt Besonderheiten in der Datenstromanalyse von Apache Flink im Vergleich zu anderen Plattformen. Abschlie end stellen wir in Abschnitt 5 weiterfuhrende Publikationen vor. 2
Abbildung 1 zeigt eine Ubersicht der Architektur der Apache Flink Plattform.
Die Basis von Flink ist eine einheitliche Laufzeitumgebung in der alle Programme
ausgefuhrt werden. Programme in Flink sind strukturiert als gerichtete Graphen
aus parallelisierbaren Operatoren, welche auch Iterationen beinhalten konnen [
Abb. 1. Architektur- und Komponentenubersicht der Apache Flink Plattform.
und Speicherlosungen, wie Apache Tez4, Apache Kafka5 [
Zwischen der Laufzeitumgebung und den Programmierschnittstellen (API), sorgen Stream Builder und Common API fur die Ubersetzung von gerichteten Graphen aus logischen Operatoren in generische Datenstromprogramme, welche in der Laufzeitumgebung ausgefuhrt werden. In diesem Schritt erfolgt auch die automatische Optimierung des Daten ussprogramms. Wahrend der Anwender beispielsweise lediglich einen Join spezi ziert, wahlt der integrierte Optimierer den fur den jeweiligen Anwendungsfall besten konkreten Join-Algorithmus aus.
Der folgende Abschnitt gibt eine Ubersicht uber die oberste Schicht der Flink Architektur, welche aus einem breiten Spektrum von Bibliotheken und Programmierschnittstellen besteht. 3
Nutzer von Apache Flink konnen Abfragen in verschiedenen Programmiersprachen spezi zieren. Zur Analyse von Datenstromen und zur Stapelverarbeitung stehen jeweils eine Scala und eine Java API zur Verfugung. Stapeldaten konnen au erdem mit einer Python API verarbeitet werden. Alle APIs stellen dem Programmierer generischen Operatoren wie Join, Cross, Map, Reduce und Filter zur Verfugung. Dies steht im Gegensatz zu Hadoop Map Reduce wo komplexe Operatoren als Folge von Map- und Reducephasen implementiert werden mussen. Listing 1 zeigt eine Wordcount-Implementierung in der Scala Stream Processing API. Eine Implementierung zur Stapelverarbeitung ist analog zu diesem Beispiel unter Auslassung der Window-Spezi kation moglich.
4http://tez.apache.org 5http://kafka.apache.org 1 case class Word (word: String, frequency: Int) 2 val lines: DataStream[String] = env.fromSocketStream(...) 3 lines.flatMap{line => line.split(" ")} 4 .map(word => Word(word,1))} 5 .window(Time.of(5,SECONDS)).every(Time.of(1,SECONDS)) 6 .groupBy("word").sum("frequency").print() Listing 1. Eine Wordcount-Implementierung unter Verwendung der Scala Stream Processing API von Apache Flink.
In der ersten Zeile wird ein Tupel bestehend aus einem String und einer Ganzzahl de niert. Programmzeile 2 gibt einen Socketstream an von dem ein Textdatenstrom zeilenweise eingelesen wird. In Zeile 3 wird ein FlatMap-Operator angewendet, welcher Zeilen als Eingabe erhalt, diese an Leerzeichen trennt und die resultierenden Einzelworter in das zuvor de nierte Tupelformat mit dem Wort als String und 1 als Zahlenwert konvertiert. Da es sich um eine Datenstromabfrage handelt, wird ein Fenster spezi ziert, hier ein gleitendes Fenster mit einer Lange von funf Sekunden und einer Schrittweite von einer Sekunde. Abschlie end erfolgt eine Gruppierung nach Wortern und die Zahlenwerte werden innerhalb der Gruppen aufsummiert. Die Printmethode sorgt fur die Ergebnisausgabe auf der Konsole.
Zusatzlich zu den klassischen Programmierschnittstellen, bietet die Flink ML Bibliothek eine Vielzahl an Algorithmen des maschinellen Lernens. Gelly ermoglicht die Graphenanalyse mit Flink. Die Table API bietet die Moglichkeit der deklarativen Spezi kation von Abfragen ahnlich zu SQL und steht als Javaund Scalaversion zur Verfugung. Listing 2 zeigt eine Wordcount-Implementierung mit der Java Table API zur Stapelverarbeitung. 1 DataSet<WC> input = env.fromElements(new WC("Hello",1),new WC("Bye",1),new WC("Hello",1)); 2 Table table=tableEnv.fromDataSet(input).groupBy("word").select("word.count as count, word"); 3 tableEnv.toDataSet(table, WC.class).print(); Listing 2. Eine Wordcount-Implementierung unter Verwendung der Java Table API zur Stapelverarbeitung von Apache Flink.
In Zeile 1 werden Eingabeworter explizit angegeben. Zeile 2 konvertiert das DataSet zunachst zu einer Tabelle, die anhand des Attributs word gruppiert wird. Die Selectanweisung wahlt wie in SQL das Wort sowie die Summe der Zahler aus. Abschlie en wird die Ergebnistabelle zuruck zu einem DataSet konvertiert und ausgegeben. 4
Die Datenstromverarbeitung unterscheidet sich signi kant von der Stapelverarbeitung: Programme haben lange (theoretisch unendliche) Laufzeiten, konsumieren Daten kontinuierlich von Eingabestromen und produzieren im Gegenzug Ausgabestrome. Aggregationen konnen jedoch nur fur abgeschlossene Datenblocke berechnet werden. Sie folgen in Datenstromprogrammen daher auf eine Diskretisierung, die einen Datenstrom in abgeschlossene, potentiell uberlappende Fenster unterteilt. Eine Aggregation erfolgt dann fortlaufend per Fenster.
Im Gegensatz zu vielen anderen Datenanalyseplattformen ist Flink durch
seine Laufzeitumgebung nicht an Limitationen gebunden, die aus
Micro-Batching Techniken [
Operatoren in Flink konnen statusbehaftet sein. Ein Schnappschussalgorithmus stellt sicher, dass jedes Tupel auch im Fehlerfall exakt einmal im Operatorstatus reprasentiert ist und verarbeitet wird.
Flink bietet somit eine bei Open-Source-Systemen einmalige Kombination aus Stapelverarbeitung, nativer Datenstromverarbeitung ohne Beschrankungen durch Micro-Batching, statusbehafteten Operatoren, ausdrucksstarken APIs und exactly-once Garantien. 5
Flink ist sowohl Produkt als auch Basis vieler Forschungsarbeiten. Im
Folgenden werden die wichtigsten Publikationen genannt. Warnecke et al. stellen die
Nephele Laufzeitumgebung vor [
Flink vereinfacht die parallele Analyse gro er Datenmengen durch die Anwendung klassischer Datenbanktechniken wie automatischer Optimierung und deklarativen Abfragesprachen. Ausdrucksstarke, intuitive APIs ermoglichen sowohl Stapel- als auch Datenstromverarbeitung. Flink ist skalierbar und durch seine gro e Kompatibilitat vielseitig einsetzbar. Operatoren werden nebenlau g, frei von Limitierungen durch Micro-Batching-Techniken, in einer Pipeline ausgefuhrt.
Fur die Entwicklung der Plattform gilt unser besonderer Dank der gesamten Flink Community. Dieses Forschungsprojekt wird unterstutzt durch Mittel des BMBF fur das Berlin Big Data Center (BBDC) unter der Forderungsnummer 01IS14013 sowie der DFG Forschergruppe Stratosphere (FOR 1306).