Zeitreihendaten und deren Analyse sind in vielen Anwendungsbereichen eine wichtiges Mittel zur Bewertung, Steuerung und Vorhersage. Fur die Zeitreihenanalyse gibt es eine Vielzahl von Methoden und Techniken, die in Statistiksoftware umgesetzt und heutzutage komfortabel auch ohne eigenen Implementierungsaufwand einsetzbar sind. In den meisten Fallen hat man es mit massenhaft Daten oder auch Datenstromen zu tun. Entsprechend gibt es spezialisierte Management-Tools, wie Data Stream Management Systems fur die Verarbeitung von Datenstromen oder Time Series Databases zur Speicherung und Anfrage von Zeitreihen. Der folgende Artikel soll hier zu einen kleinen U berblick geben und insbesondere die Anwendbarkeit an einem Projekt zur Analyse und Vorhersage von Zustanden von Webservern veranschaulichen. Die Herausforderung innerhalb dieses Projekts "PageBeat\ ist es massenhaft Zeitreihen in Echtzeit zu analysieren und fur weiterfuhrende Analyseprozesse zu speichern. Au erdem sollen die Ergebnisse zielgruppenspezi sch aufbereitet und visualisiert sowie Benachrichtigungen ausgelost werden. Der Artikel beschreibt den im Projekt gewahlten Ansatz und die dafur eingesetzten Techniken und Werkzeuge. H.4 [Information Systems Applications]: Miscellaneous; D.2.8 [Software Engineering]: Metrics|complexity measures, performance measures General Terms
1.
Zeitreihen sind naturlich geordnete Folgen von
Beobachtungswerten. Die Zeitreihenanalyse beschaftigt sich mit
Methoden zur Beschreibung dieser Daten etwa mit dem Ziel
der Analyse (Verstehen), Vorhersage oder Kontrolle
(Steuerung) der Daten. Entsprechende Methoden stehen in
freier und kommerzieller Statistiksoftware wie R1 , Matlab2,
Weka3 [
Die Herausforderung innerhalb des im Weiteren beschriebenen Projekts PageBeat\ ist es innovative und anwendungs" reife Open-Source-Losungen aus den genannten Bereichen zur Verarbeitung gro er Zeitreihendaten innerhalb des Projektes miteinander zu kombinieren. Im Folgenden wird das Projekt vorgestellt, um dann verschiedene in Frage kommenden Techniken und abschlie end das gewahlte Konzept und erste Ergebnisse vorzustellen.
Mit "PageBeat\ wird eine als "Software as a Service\ (SAAS) angebotene Softwaresuite speziell zur Beobachtung und U berprufung von Webanwendungen entwickelt. Dies erfolgt zunachst im Rahmen eines vom Bundeswirtschaftsministerium geforderten ZIM-Kooperationsprojektes. Ziel der Software ist das Beobachten des und das Berichten uber den aktuellen technischen Status einer Webanwendung (Website, Content Management System, E-Commerce System, Webservice) sowie das Prognostizieren technischer Probleme anhand geeigneter Indikatoren (Hardware- und Softwarespezi sche Parameter). Die Berichte werden dabei fur unterschiedliche Nutzergruppen (Systemadministratoren, Softwareentwickler, Abteilungsleiter, Geschaftsfuhrung, Marketing) und deren Anforderungen aufbereitet und prasentiert. Mittels PageBeat\ werden somit automatisiert Fehlerbe" richte erstellt, die uber akute sowie vorhersehbare kritische A nderungen der Betriebsparameter einer Webanwendung informieren und zielgruppenspezi sch dargestellt werden. Bei den zugrunde liegenden Kennzahlen handelt es sich um eine Reihe von Daten, die den Zustand des Gesamtsystems im Anwendungsbereich Webshopsysteme widerspiegeln. Dies sind Kennzahlen des Serverbetriebssystems (etwa CPU oder RAM Auslastung) als auch anwendungsspezi sche Kenndaten (etwa die Laufzeit von Datenbankanfragen). Diese Daten sind semantisch beschrieben und entsprechende Metadaten sind in einer Wissensbasis abgelegt. Daruber hinaus ist die Verwendung weiterer Kontextinformationen angedacht, die Ein uss auf den technischen Status des Systems haben konnen. Hierbei kann es sich etwa um Wetterdaten handeln: beim Kinobetreiber Cinestar ist ein regnerisches Wochenende vorausgesagt, dass auf eine hohe Auslastung des Kinokartenonlineshops schlie en lasst. Ein anderes Beispiel waren Informationen aus der Softwareentwicklung: bei Codeanderungen mit einem bestimmten Zeitstempel konnen E ekte in den Auswertungen zu diesem Zeitpunkt nachgewiesen werden. Das A ndern oder Hinzufugen bzw. Beachten von relevanten Inhalten auf den Webseiten konnen signi kante A nderungen in Analysen ergeben, z.B. bei der Schaltung von Werbung oder bei Filmbewertungen zu neu anlaufenden Filmen auf sozialen Plattformen. 5In uxDB - An open-source distributed time series database with no external dependencies. http://influxdb.com. Es wird derzeit ein moglichst breites Spektrum an Daten in hoher zeitlicher Au osung erfasst, um in einem Prozess der Datenexploration auf Zusammenhange schlie en zu konnen, die zunachst nicht o ensichtlich sind bzw. um Vermutungen zu validieren. Derzeit werden uber 300 Kennzahlen alle 10 s auf 14 Servern aus 9 Kundenprojekten abgetastet. Diese Daten werden gespeichert und au erdem unmittelbar weiterverarbeitet. So ndet etwa ein Downsampling fur alle genannten 300 Kennzahlen statt. Dabei werden die zeitliche Au osung unter Verwendung verschiedener Aggregatfunktionen auf Zeitfenster unterschiedlicher Gro e reduziert und die Ergebnisse gespeichert. Andere Analysefunktionen quantisieren die Werte hinsichtlich ihrer Zugehorigkeit zu Statusklassen (etwa optimal, normal, kritisch) und speichern die Ergebnisse ebenfalls. So entstehen sehr schnell gro e Datenmengen. Derzeit enthalt der Datenspeicher etwa 40 GB Daten und wir beobachten bei der aktuellen Anzahl beobachteter Werte einen Zuwachs von etwa 1 GB Daten pro Woche. Auf Basis der erhobenen Daten mussen zeitkritische Analysen wie etwa eine Ausrei ererkennung oder die Erkennung kritischer Muster nahezu in Echtzeit erfolgen, um Kunden ein rechtzeitiges Eingreifen zu ermoglichen. Weiterhin soll eine Vorhersage zukunftiger Werte fruhzeitig kritische Entwicklungen aufzeigen. Die Herausforderung im Projekt ist die Bewaltigung des gro en Datenvolumens unter Gewahrleistung einer echtzeitnahen Bearbeitung durch Analysefunktionen. 3.
Im Rahmen der Evaluierung von fur das Projekt geeigneter Software haben wir verschiedene Ansatze zur Datenstromverarbeitung und der Analyse und Verwaltung von Zeitreihen untersucht. Ziel war die Verwendung frei verfugbarer Software die zudem auf im Unternehmen vorhandener technischer Expertise basiert. 3.1
Die Verarbeitung kontinuierlicher Datenstrome stellt einen
Aspekt unseres Projektes dar. Datenstromverarbeitende
Systeme bieten hierzu die Moglichkeit kontinuierliche Anfragen
auf in temporare Relationen umgewandelte Datenstrome zu
formulieren. Dies kann etwa mit Operatoren der im
Projekt Stream[
Zur statistischen Auswertung der Daten im Projekt werden Werkzeuge benotigt, die es ohne gro en Implementierungsaufwand ermoglichen verschiedene Verfahren auf die erhobenen Daten anzuwenden und auf ihre Eignung hin zu untersuchen. Hierfur stehen verschiedene mathematische Werkzeuge zur Verfugung. Kommerzielle Produkte sind etwa die bereits erwahnten Matlab oder SPSS. Im Bereich frei verfugbarer Software kann man auf WEKA und vor allem R zuruckgreifen. Besonders R ist sehr weit verbreitet und wird von einer gro en Entwicklergemeinde getragen. Dadurch sind fur R bereits eine Vielzahl von Verfahren zur Datenaufbereitung und deren statistischer Analyse bis hin zur entsprechenden Visualisierung implementiert. Gerade in Bezug auf die Analyse von Zeitreihen ist R aufgrund vielfaltiger verfugbarer Pakete zur Zeitreihenanalyse gegenuber WEKA die geeignetere Wahl. Mit RStudio9 steht au erdem eine komfortable Entwicklungsumgebung zur Verfugung. Weiterhin konnen mit dem Web Framework Shiny10 schnell R Anwendungen im Web bereit gestellt werden und unterstutzt somit eine zugige Anwendungsentwicklung. Somit stellt R mit den zugehorigen Erweiterungen die fur das Projekt geeignete Umgebung zur Evaluierung von Datenanalyseverfahren und zur Datenexploration dar. Im weiteren Verlauf des Projektes und in der U berfuhrung in ein produktives System wird die Datenanalyse, etwa die Berechnung von Vorhersagen, innerhalb von node.js reimplementiert. 3.3
Klassische objektrelationale DBMS wie Oracle11, IBM
Informix12 oder PostgreSQL13 unterstutzen in
unterschiedlichem Umfang die Speicherung, Anfrage und Auswertung
von Zeitreihen. PostgreSQL ermoglicht bswp. die
Verwendung von Fensterfunktionen etwa zur Berechnung von
Aggregatwerten fur entsprechende Zeitabschnitte. Die IBM
Informix TimeSeries Solution[
Moglichkeit Oracle Data Frames zu verwenden, um Datenlokalitat zu erreichen. Dabei wird der Code in der OracleUmgebung ausgefuhrt, dort wo die Daten liegen und nicht umgekehrt. Au erdem erfolgt so ein transparenter Zugri auf die Daten und Aspekte der Skalierung werden durch das DBMS abgewickelt.
Neben den klassischen ORDBMS existieren eine Vielzahl von auf Zeitserien spezialisierte Datenbanken wie OpenTSDB14, KairosDB15, RRDB16. Dabei handelt es sich jeweils um einen auf Schreibzugri e optimierten Datenspeicher in Form einer schemalosen Datenbank und darauf zugreifende Anfrage-, Analyse- und Visualisierungsfunktionalitat. Man sollte sie deshalb vielmehr als Ereignis-Verarbeitungs- oder MonitoringSysteme bezeichnen. Neben den bisher genannten Zeitseriendatenbanken ist uns bei der Recherche von fur das Projekt geeigneter Software In uxDB17 aufgefallen. In uxDB verwendet Googles auf Log-structured merge-trees basierenden key-value Store LevelDB18 und setzt somit auf eine hohen Durchsatz bzgl. Schreiboperationen. Einen Nachteil hingegen stellen langwierige Loschoperationen ganzer nicht mehr benotigter Zeitbereiche dar. Die einzelnen Zeitreihen werden bei der Speicherung sequenziell in sogenannte Shards unterteilt, wobei jeder Shard in einer einzelnen Datenbank gespeichert wird. Eine vorausschauenden Einrichtung verschiedener Shard-Spaces (4 Stunden, 1 Tag, 1 Woche etc.) ermoglicht es, das langsame Loschen von Zeitbereichen durch das einfache Loschen ganzer Shards also ganzer Datenbanken (drop database) zu kompensieren. Eine verteilte Speicherung der Shards auf verschiedenen Rechnerknoten die wiederum in verschiedenen Clustern organisiert sein konnen, ermoglicht eine Verteilung der Daten, die falls gewunscht auch redundant mittels Replikation auf verschiedene Knoten erfolgen kann. Die Verteilung der Daten auf verschiedene Rechnerknoten ermoglicht es auch die Berechnung von Aggregaten uber Zeitfenster die unterhalb der Shardgro e liegen, zu verteilen und somit Lokalitat der Daten und einen PerformanceVorteil zu erreichen. Auch hier ist es sinnvoll Shardgro en vorausschauend zu planen. Die Anfragen an In uxDB konnen mittels einer SQL-ahnlichen Anfragesprache uber eine http-Schnittstelle formuliert werden. Es werden verschiedene Aggregatfunktionen bereitgestellt, die eine Ausgabe bspw. gruppiert nach Zeitintervallen fur einen gesamten Zeitbereich erzeugen, wobei die Verwendung Regularer Ausdrucke unterstutzt wird: select median(used) from /cpu\.*/ where time > now() - 4h group by time(5m) Hier wird der Median des "used\-Wertes fur alle 5-MinutenFenster der letzten 4 Stunden fur alle CPUs berechnet und ausgegeben. Neben normalen Anfragen konnen auch sogenannte Continuous Queries eingerichtet werden, die etwa das einfache Downsampling von Messdaten ermoglichen: 14OpenTSDB - Scalable Time Series Database. http:// opentsdb.net/. 15KairosDB - Fast Scalable Time Series Database. https: //code.google.com/p/kairosdb/. 16RRDB - Round Robin Database. http://oss.oetiker.ch/ rrdtool/. 17In uxDB - An open-source distributed time series database with no external dependencies. http://influxdb.com/. 18LevelDB - A fast and lightweight key-value database library by Google. http://code.google.com/p/leveldb/. select count(name) from clicks group by time(1h) into clicks.count.1h In uxDB be ndet sich noch in einem fruhen Stadium der Entwicklung und wird standig weiterentwickelt. So ist etwa angekundigt, dass zukunftig bspw. das Speichern von Metadaten zu Zeitreihen (Einheiten, Abtastrate, etc.) oder auch die Implementierung nutzerde nierter Aggregatfunktionen ermoglicht wird. In uxDB ist ein fur unsere Anwendung vielversprechendes Werkzeug, wobei jedoch abzuwarten bleibt, inwiefern es sich fur den produktiven Einsatz eignet. Aus diesem Grund wird derzeit zusatzlich zu In uxDB, MongoDB parallel als im Unternehmen bewahrter Datenspeicher verwendet. Im Projekt Pagebeat wurden verschiedene Losungsansatze getestet, wobei die Praktikabilitat beim Einsatz im Unternehmen, die schnelle Umsetzbarkeit sowie die freie Verfugbarkeit der eingesetzten Werkzeuge die entscheidende Rolle spielten. 4.1
Der Daten uss innerhalb der Gesamtarchitektur ist in Abbildung 1 dargestellt. Die Messdaten werden von einer Drohne19 sowie Clientsimulatoren und Lasttestservern in aquidistanten Zeitabschnitten (meist 10 s) ermittelt. Die erhobenen Daten werden einem Loggingdienst per REST-Schnittstelle zur Verfugung gestellt und reihen sich in die Warteschlange eines Nachrichtenservers ein. Von dort aus werden sie ihrer Signatur entsprechend durch registrierte Analyse- bzw. Interpretationsprozesse verarbeitet, wobei die Validierung der eintre enden Daten sowie die Zuordnung zu registrierten Analysefunktionen mittels einer Wissensbasis erfolgt. Ergebnisse werden wiederum als Nachricht zur Verfugung gestellt und falls vorgesehen persistent gespeichert. So in die Nachrichtenschlange gekommene Ergebnisse konnen nun weitere Analysen bzw. Interpretationen oder die Auslosung einer Benachrichtigung zur Folge haben. Der Daten Explorer ermoglicht eine Sichtung von Rohdaten und bereits in PageBeat integrierten Analyseergebnissen sowie Tests fur zukunftige Analysefunktionen. 4.2
Die Wissenbasis bildet die Grundlage fur die modular aufgebauten Analyse- und Interpretationsprozesse. Die AbbildMuensgsd2atdenarguensdteldlteernen"PEairgaemnsecthearVftaelnuews\iereNparamsee,ntBieersecnhrdeiiebung oder Einheit. ParameterValues konnen zu logischen Gruppen (Parameters) zusammengefasst werden (wie z.B. zkduoiemmPpPaoarnareamnmteetenetreVruan"lcdupeuKs\:u)".nsPdyeasntreadmma\tee,tne"rlossoaiwnd\di,em"miiotiwtVaAiits\unaaullniysdsieenr"umnuagnxsd\Interpretationen verknupft. Analysen und Interpretationen sind modular aufgebaut und bestehen jeweils aus Eingangsund Ausgangsdaten (ParameterValues) sowie aus Verweisen auf den Programmcode. Weiterhin sind ihnen spezielle Methodenparameter zugeordnet. Hierbei handelt es sich etwa um Start und Ende eines Zeitfensters, Schwellenwerte oder andere Modellparameter. Die Wissensbasis ist mittels eines relationalem Schemas in MySQL abgebildet. 19Auf dem zu beobachtenden System installierter Agent zur Datenerhebung.
Datenstrom (Drohne, Lasttestserver, Clientsimulation, etc.)
4.3
Die Speicherung der Messdaten sowie Analyse- und Interpretationsergebnisse erfolgt zum Einen in der im Unternehmen bewahrten, auf hochfrequente Schreibvorgange optimierten schemafreien Datenbank MongoDB. Zum Anderen setzen wir mittlerweile parallel zu MongoDB auf In uxDB. So kann z.B. uber die in InluxDB zur Verfugung stehenden Continious Queries ein automatisches Downsampling und somit eine Datenreduktion der im 10 Sekunden Takt erhobenen Daten erfolgen. Das Downsampling erfolgt derzeit durch die Berechnung der Mittelwerte von Zeitfenstern einer Lange von 1 Minute bis hin zu einem Tag und generiert somit automatisch unterschiedliche zeitliche Au osungen fur alle Messwerte. Au erdem stellt die SQL ahnliche Anfragesprache von In uxDB eine Vielzahl von fur die statistische Auswertung hilfreichen Aggregatfunktionen (min, max, mean, median, stddev, percentile, histogramm, etc.) zur Verfugung. Weiterhin soll es zukunftig moglich sein benutzerde nierte Funktionen mit eigener Analysefunktionalitat (etwa Autokorrelation, Kreuzkorrelation, Vorhersage, etc.) auf Datenbankebene umzusetzen oder auch das automatische Zusammenfuhren verschiedener Zeitserien anhand eines Timestamp-Attributs durchzufuhren. Dies wurde schon auf Datenbankebene eine zeitreihenubergreifende Analyse (bspw. Korrelation) unterstutzen und senkt den Reimplentierungsaufwand von R Funktionalitat aus der Datenexplorationsphase. Da herkommliche Datenbanken nicht die hohe Performance bzgl. Schreibzugri en erreichen und kaum auf Zeitreihen spezialisierte Anfragen unterstutzen, scheint In uxDB ein geeigneter Kandidat fur den Einsatz innerhalb PageBeats zu sein. Parameter
gebnissen dient. Abbildung 5 zeigt etwa die Darstellung aggregierter Parameter in Ampelform (rot = kritisch, gelb = Warnung, grun = normal, blau = optimal) was schnell einen Eindruck uber den Zustand verschiedener Systemparameter ermoglicht.
Customer Data
Die Datenexploration soll dazu dienen, Administratoren und auch Endnutzern die Moglichkeit zu geben, die fur sie relevanten Daten mit den richtigen Werkzeugen zu analysieren. Wahrend der Entwicklung nutzen wir die Datenexploration als Werkzeug zur Ermittlung relevanter Analysemethoden und zur Evaluierung sowie Visualisierung der Datenstrome. Abbildung 3 zeigt eine einfache Nutzerschnittstelle umgesetzt mit Shiny zur Datenauswertung mittels R mit Zugri auf unterschiedliche Datenbanken, In uxDB und MongoDB. Verschiedene Parameter zur Auswahl des Zeitraumes, der Analysefunktion und deren Parameter sowie Visualisierungsparameter.
Hier sind durchschnittliche CPU-Nutzung und durchschnittliche Plattenzugri szeiten aus einer Auswahl aus 10 Zeitserien dargestellt. Mittels unterem Interaktionselement lassen sich Intervalle selektieren und die Granularitat anpassen. Mit ahnlichen Visualisierungsmethoden lassen sich auch Autokorrelationsanalysen visualisieren, siehe Abbildung 4. 4.5
Analysen sind Basisoperationen wie die Berechnung von Mittelwert, Median, Standardabweichung, Autokorrelation u.a. deren Ergebnisse falls notig persistent gespeichert werden oder direkt anderen Verarbeitungsschritten als Eingabe ubergeben werden konnen. Die Spezi zierung der Analysefunktionen erfolgt in der Wissensbasis, die eigentliche Implementierung ist moglichst nahe an den zu analysierenden Daten, wenn moglich unter Verwendung von Aggregat- oder benutzerde nierten Funktionen des Datenbanksystems, umzusetzen. Wissensbasis und Analyse sind hierzu mittels eines me- 5. ZUSAMMENFASSUNG UND AUSBLICK thod codepath\ verknupft. " Pagebeat ist ein Projekt, bei dem es insbesondere auf eine Interpretationen funktionieren analog zur Analyse bilden je- performante Speicherung und schnelle Adhoc-Auswertung doch Berechnungsvorschriften etwa fur den Gesamtindex (Pagebeatd-er Daten ankommt. Dazu wurden verschiedene LosungsanFaktor) des Systems bzw. einzelner Teilsysteme ab, in dem satze betrachtet und die favorisierte Losung auf Basis von sie z.B. Analyseergebnisse einzelner Zeitreihen gewichtet zu- In uxDB und R beschrieben. sammenfuhren. Weiterhin besitzen Interpretationen einen Die konzeptionelle Phase ist abgeschlossen, die ProjektinInfotyp, welcher der nutzerspezi schen Aufbereitung von Er- frastruktur umgesetzt und erste Analysemethoden wie AusAnalysefunktionalitat die uber Aggregationen auf Datenbankebene hinausgehen wird von uns in einer Experimentalumgebung umgesetzt und evaluiert. Diese basiert auf R.
So stehen eine Vielzahl statistischer Analysemethoden und Methoden zur Aufbereitung komplexer Datenstrukturen in Form von R Paketen zur Verfugung. Daruber hinaus ermoglicht das R-Paket "Shiny Server\ die komfortable Bereitstellung von R Funktionalitat fur das Web. Ein wesentlicher Teil unser Experimentalumgebung ist der Pagebeat Data Explorer (siehe Abbildung 3). Dieser basiert auf den genannten Techniken und ermoglicht die Sichtung der erfassten Rohsagemodellen. "Spielen\ mit Analysemethoden und Vorherdaten oder das rei ererkennung oder Autokorrelation wurden ausprobiert.
Derzeit beschaftigen wir uns mit den Moglichkeiten einer Vorhersage von Zeitreihenwerten. Dazu werden Ergebnisse der Autokorrelationsanalyse zur Identi kation von Abhangigkeiten innerhalb von Zeitreihen verwendet um die Qualitat von Vorhersagen abschatzen zu konnen. Weiterhin ist geplant Analysen naher an der Datenbank auszufuhren um Datenlokalitat zu unterstutzen. 6.