Die Energiewende in Deutschland wirft sehr konkrete Fragestellungen auf: Welche Standorte eignen sich fur Windkraftwerke, wo konnen Solaranlagen wirtschaftlich betrieben werden? Dahinter verbergen sich rechenintensive Datenverarbeitungsschritte, auszufuhren auf Big Data aus mehreren Datenquellen, in entsprechend heterogenen Formaten. Diese Arbeit stellt exemplarisch eine konkrete Fragestellung und ihre Beantwortung als MapReduce Algorithmus vor. Wir konzipieren eine geeignete, Cluster-basierte Infrastruktur fur ein neues Spatial Decision Support System und legen die Notwendigkeit einer deklarativen, domanenspezi schen Anfragesprache dar.
Wir begrunden kurz die Eckpunkte dieses Anforderungspro ls im Einzelnen. Dabei vertreten wir den Standpunkt, dass existierende Entscheidungsunterstutzungssysteme auf Basis relationaler Datenbanken diese nicht in allen Punkten erfullen konnen.
(1) Historische Wetterdaten sind zum Teil o entlich
zuganglich, werden aber auch von kommerziellen Anbietern
bezogen. Prominente Vertreter sind das National Center for
Atmospheric Research [
(2) Daten in hoher zeitlicher Au osung, die uber
Jahrzehnte hinweg erhoben werden, verursachen
Datenvolumina im Big Data Bereich. Der Deutsche Wetterdienst allein
verwaltet ein Datenarchiv von 5 Petabyte [
(3) Wir stellen die Infrastruktur fur ein interdisziplinares Team der Regensburg School of Energy and Resources mit mehreren im Aufbau be ndlichen Projekten bereit. Um den wachsenden Anforderungen unserer Nutzer gerecht werden zu konnen, muss das System elastisch auf neue Datenquellen und neue Nutzergruppen angepasst werden konnen.
(4) Unsere Nutzer sind uberwiegend IT-a n, doch nicht erfahren in der Entwicklung komplexer verteilter Systeme. Mit einer domanenspezi schen Anfragesprache wollen die Autoren dieses Artikels die intuitive Nutzbarkeit des Systems gewahrleisten.
Unter diesen Gesichtspunkten konzipieren wir unser
System als Hadoop-Rechencluster [
Struktur. Die folgenden Kapitel liefern Details zu unserem Vorhaben. In Kapitel 2 beschreiben wir eine konkrete Fragestellung bei der Standort ndung von Windkraftwerken. In Kapitel 3 stellen wir unsere Losung als MapReduce Algorithmus dar. Kapitel 4 skizziert unsere Infrastruktur. Im 6. Kapitel wird auf verwandte Arbeiten eingegangen. Das letzte Kapitel gibt eine Zusammenfassung unserer Arbeit und zeigt deren Perspektive auf.
Ein aktuelles Forschungsprojekt der Hochschule Regensburg beschaftigt sich mit der Potentialanalyse von Windkraftanlagen. Hier werden die wirtschaftlichen Aspekte, die fur das Errichten neuer Windkraftanlagen entscheidend sind, untersucht. Mithilfe der prognostizierten Volllaststunden einer Windkraftanlage kann eine Aussage uber die Rentabilitat getro en werden. Diese ist bestimmt durch die Leistungskennlinie der Windkraftanlage und letztlich durch die zu erwartenden Windgeschwindigkeiten.
Abbildung 1 (aus [
II) Die Leistung steigt uber den wichtigsten Arbeitsbereich in der dritten Potenz zur Windgeschwindigkeit an, bis die Nennleistung der Anlage erreicht ist. III) Die Ausgangsleistung wird auf die Nennleistung der Anlage begrenzt. Ausschlaggebend fur die Hohe der Nennleistung ist die Auslegungsgro e des Generators. IV) Die Windkraftanlage schaltet sich bei zu hohen Windgeschwindigkeiten ab, um eine mechanische U berbelastung zu verhindern.
Wie Abbildung 1 verdeutlicht, ist zum Errechnen der abgegeben Arbeit einer Windkraftanlage eine genaue Kenntnis der stochastischen Verteilung der Windgeschwindigkeit 1 notwendig. Mithilfe entsprechender Histogramme konnen somit potentielle Standorte fur neue Windkraftanlagen verglichen, und Anlagen mit geeigneter Leistungskennlinie passend fur den spezi schen Standort ausgewahlt werden.
Als Datenbasis eignen sich etwa die Wetterdaten des
Forschungsinstitut des National Center for Atmospheric
Research [
Insbesondere im Binnenland ist eine hohe raumliche Auflosung der meteorologischen Daten wichtig. Aufgrund der 1Wir verwenden die Begri e Windgeschwindigkeit und Windstarke synonym. Streng genommen wird die Windgeschwindigkeit als Vektor dargestellt, wahrend die Windstarke als skalare Gro e erfasst wird. Dabei kann die Windstarke aus der Windgeschwindigkeit errechnet werden.
Abbildung 1: Aussagen uber die Leistung in
Abhangigkeit zur Windgeschwindigkeit (aus [
Orographie variieren die Windgeschwindigkeiten schon bei kurzen Distanzen stark.
Abbildung 2 skizziert die resultierende Aufgabenstellung: Geographische Flachen werden kleinraumig unterteilt, was die Abbildung aus Grunden der Anschaulichkeit stark vereinfacht darstellt. Fur jeden Quadranten, bestimmt durch Langen- und Breitengrad, interessiert die Hau gkeitsverteilung der Windstarken (dargestellt als Histogramm).
Je nach Fragestellung wird von unterschiedlichen Zeitraumen und unterschiedlicher Granularitat der Quadranten ausgegangen. Aufgrund der schieren Gro e der Datenbasis ist hier ein massiv paralleler Rechenansatz gefordert, wenn uber eine Vielzahl von Quadranten hinweg Histogramme berechnet werden sollen.
Im Folgenden stellen wir einen MapReduce Algorithmus zur parallelen Berechnung von Windgeschwindigkeitsverteilungen vor. Wir betrachten dabei die Plattform Apache Ha
Abbildung 3: Erste MapReduce-Sequenz zur Berechnung der absoluten Hau gkeiten.
doop [
Hadoop ist dafur ausgelegt, mit gro en Datenmengen umzugehen. Ein intuitives Programmierparadigma erlaubt es, massiv parallele Datenverarbeitungsschritte zu spezi zieren.
Die Plattform partitioniert die Eingabe in kleinere
Datenblocke und verteilt diese redundant auf dem Hadoop
Distributed File System [
MapReduce Programme werden in drei Phasen ausgefuhrt. 1. In der ersten Phase wird auf den partitionierten Eingabedaten eine Map-Funktion parallel ausgefuhrt. Diese Map-Funktion transformiert einfache Schlussel/Werte
Paare in eine Liste von neuen Schlussel/Werte Paaren. 2. Die anschlie ende Shu e-Phase verteilt die entstandenen Tupel so um, dass nun alle Paare mit dem gleichen
Schlussel an demselben Rechner vorliegen. 3. Die Reduce-Phase berechnet meist eine Aggregatfunk
tion auf allen Tupeln mit demselben Schlussel.
Die Signaturen der Map- und Reduce-Funktion werden
ublicherweise wie folgt beschrieben [
Map: (k1, v1) ! list(k2, v2)
Reduce: (k2, list(v2)) ! list(k3, v3)
Wir erlautern nun unseren MapReduce Algorithmus zum Erstellen von Histogrammen der Windgeschwindigkeitsverteilungen. Im Sinne einer anschaulichen Darstellung abstrahieren wir von dem tatsachlichen Eingabeformat und beschranken uns auf nur eine Datenquelle. Die Eingabetupel enthalten einen Zeitstempel, den Langen- und Breitengrad als Ortsangabe und diverse Messwerte.
Wir nehmen vereinfachend an, dass die Ortsangabe bereits in eine Quadranten-ID ubersetzt ist. Diese Vereinfachung erlaubt eine ubersichtlichere Darstellung, gleichzeitig ist die Klassi kation der Datensatze nach Quadranten einfach umzusetzen. Zudem ignorieren wir alle Messwerte bis auf die Windstarke. Tabelle 1 zeigt exemplarisch einige Datensatze, die wir in unserem laufenden Beispiel verarbeiten.
Wir betonen an dieser Stelle, dass diese vereinfachenden Annahmen nur der Anschaulichkeit dienen und keine Einschrankung unseres Systems darstellen.
Quadrant q 2 3 4 1 ...
Windstarke ws 0 7 9 3 ...
Tabelle 1: Tabellarisch dargestellte Eingabedaten.
Wir schalten zwei MapReduce-Sequenzen in Reihe:
Die erste Sequenz ermittelt, wie oft in einem Quadranten eine konkrete Windstarke aufgetreten ist.
Die zweite Sequenz fasst die berechneten Tupel zu Histogrammen zusammen.
Abbildung 4: Zweite MapReduce-Sequenz zur Berechnung der Histogramme. def map(Datei d, Liste<Quadrant, Windstarke> L) : foreach (q, ws) in L do if (q 2 Q) int count = 1; emit ((q, ws), count); od Abbildung 5: Map-Funktion der ersten Sequenz.
Durch das Aneinanderreihen von MapReduce-Sequenzen werden ganz im Sinne des Prinzips "teile und herrsche\ mit sehr einfachen und gut parallelisierbaren Rechenschritten komplexe Transformationen spezi ziert. Wir betrachten nun beide Sequenzen im Detail. 3.1
Die erste Sequenz erinnert an das WordCount\ -Beispiel,
das klassische Einsteigerbeispiel fur "MapReduce
Programmierung [
Abbildung 5 zeigt die Map-Funktion in Pseudocode. Die Anweisung emit produziert ein neues Ausgabetupel. In der Shu e-Phase werden die produzierten Tupel nach der Schlusselkomponente aus Quadrant und Windstarke umverteilt. Die Reduce-Funktion in Abbildung 6 berechnet nun die Haugkeit der einzelnen Windstarkewerte pro Quadrant.
Beispiel 1. Abbildung 3 visualisiert die erste Sequenz anhand konkreter Eingabedaten. Die Map-Funktion selektiert nur Tupel aus den Quadranten 1 und 2 (d.h. Q = f1, def reduce((Quadrant q, Windstarke ws), Liste<Integer> L) : int total = 0; foreach count in L do
total += count; od emit (q, (ws, total)); Abbildung 6: Reduce-Funktion der ersten Sequenz. 2g). Die Shu e-Phase reorganisiert die Tupel so, dass anschlie end alle Tupel mit den gleichen Werten fur Quadrant und Windstarke bei demselben Rechner vorliegen. Hadoop fasst dabei die count-Werte bereits zu einer Liste zusammen.
Die Reduce-Funktion produziert daraus Tupel mit dem Quadranten als Schlussel. Der Wert setzt sich aus der Windstarke und ihrer absoluten Hau gkeit zusammen. 2 3.2
Die Ausgabe der ersten Sequenz wird nun weiter verarbeitet. Die Map-Funktion der zweiten Sequenz ist schlicht die Identitatsfunktion. Die Shu e-Phase gruppiert die Tupel nach dem Quadranten. Somit ndet die nale Erstellung der Histogramme in der Reduce-Funktion statt.
Beispiel 2. Abbildung 4 zeigt fur das laufende Beispiel die Verarbeitungsschritte der zweiten Sequenz. 2
Unsere Vision eines Cloud-basierten Spatial Decision Support Systems fur die Fragestellungen der Energiewende fu t fest auf MapReduce Technologie.
Abbildung 7: Architektur des Cloud-basierten Spatial Decision Support Systems.
Das Projektvorhaben geht dabei uber den blo en Einsatz von Cluster-Computing hinaus. Das Ziel ist der Entwurf einer domanenspezi schen Anfragesprache WEnQL, die "Wetter und Energie Query Language\. Diese wird in interdisziplinarer Zusammenarbeit mit dem Forschungsinstitut Regensburg School of Energy and Resources entwickelt. Mit ihr sollen auch MapReduce Laien in der Lage sein, Algorithmen auf dem Cluster laufen zu lassen.
Abbildung 7 illustriert die Vision: Unsere Nutzer
formulieren eine deklarative Anfrage in WenQL, etwa um die Wind
geschwindigkeits-Histogramme einer Region zu berechnen.
Ein eigener Compiler ubersetzt die WenQL Anfrage in das
gangige Anfrageformat Apache Pig [
Die U bersetzung in zwei Schritten hat den Vorteil, dass das Programm in der Zwischensprache Pig von Experten hinsichtlich Performanz und Korrektheit analysiert werden kann. Hadoop Laien hingegen brauchen sich mit diesen Interna nicht zu belasten. Aktuell erarbeiten wir einen Katalog konkreter Fragestellungen der Energiewirtschaft, um gangige Query-Bausteine fur WenQL zu identi zieren. 5.
In diversen Forschungsgebieten der Informatik nden sich
Beruhrungspunkte mit unserer Arbeit. Viele
Forschungsprojekte, die sich mit der Smart Grid Technologie beschaftigen,
setzten auf distributive Systeme zum Bearbeiten ihrer
Daten [
Fragestellungen wie Standortbestimmung und Zonierung
haben eine lange Tradition in der Entwicklung dedizierter
Spatial Decision Support Systeme [
Die De nition deklarativer Anfragesprachen fur
MapReduce Algorithmen ist ein sehr aktives Forschungsgebiet. Am
relevantesten fur uns sind SQL-ahnliche Anfragesprachen,
wie etwa im Hive Projekt umgesetzt [
Der Bedarf fur eine neue, BigData-fahige Generation von raumlichen Entscheidungsunterstutzungssystemen fur diverse Fragestellungen der Energiewende ist gegeben.
In dieser Arbeit stellen wir unsere Vision eines Cloudbasierten Spatial Decision Support Systems vor. Anhand des Beispiels der Windpotentialanalyse zeigen wir die Einsatzfahigkeit von MapReduce Algorithmen fur strategische Fragestellungen in der Energieforschung.
Wir sind zuversichtlich, ein breites Spektrum
essentieller Entscheidungen unterstutzen zu konnen. Eine
Weiterfuhrung unserer Fallstudie ist die Ausrichtung von
Windkraftradern innerhalb eines Windparks. Dafur ist die dominierende
Windrichtung entscheidend, um Windkraftrader gunstig
zueinander und zur Hauptwindrichtung auszurichten. Ein
einzelnes Windkraftwerk kann zwar die Gondel um 360
drehen, um die Rotoren gegen den Wind auszurichten. Die
Anordnung der Turme zueinander im Park ist allerdings
xiert. Bei einem ungunstigen Layout der Turme konnen
somit Windschattene ekte die Rendite nachhaltig
schmalern. Abbildung 8 (aus [
Daruber hinaus eruieren wir derzeit die Standortbestim
Windrichtung (aus [
mung von Solaranlagen, und noch komplexer, den strategischen Einsatz von Energiespeichern, um etwa Windstillen oder Nachtphasen ausgleichen zu konnen.
Mit den Fahigkeiten unseres kunftigen Decision Support Systems, der Skalierbarkeit auf sehr gro en Datenmengen, dem exible Umgang mit heterogenen Datenformaten und nicht zuletzt mit einer domanenspezi schen Anfragesprache wollen wir unseren Beitrag zu einer klimafreundlichen und nachhaltigen Energieversorgung leisten.
Diese Arbeit ist ein Projekt der Regensburg School of Energy and Resources, eine interdisziplinare Einrichtung der Hochschule Regensburg und des Technologie- und Wissenschaftsnetzwerkes Oberpfalz.