<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Archiving and Interchange DTD v1.0 20120330//EN" "JATS-archivearticle1.dtd">
<article xmlns:xlink="http://www.w3.org/1999/xlink">
  <front>
    <journal-meta />
    <article-meta>
      <title-group>
        <article-title>Wissensentdeckung und Robustheitsanalyse für Simulationsmodelle weltweiter Netze</article-title>
      </title-group>
      <contrib-group>
        <contrib contrib-type="author">
          <string-name>Sören Bergmann</string-name>
          <email>soeren.bergmann@tu-ilmenau.de</email>
          <xref ref-type="aff" rid="aff0">0</xref>
        </contrib>
        <contrib contrib-type="author">
          <string-name>Niclas Feldkamp</string-name>
          <xref ref-type="aff" rid="aff0">0</xref>
        </contrib>
        <contrib contrib-type="author">
          <string-name>und Steffen Straßburger</string-name>
          <xref ref-type="aff" rid="aff0">0</xref>
        </contrib>
        <aff id="aff0">
          <label>0</label>
          <institution>Technische Universität Ilmenau, Fachgebiet Informationstechnik in Produktion und Logistik</institution>
        </aff>
      </contrib-group>
      <fpage>64</fpage>
      <lpage>76</lpage>
      <abstract>
        <p>Immer komplexere Netzwerke durchdringen verschiedenste Bereiche des täglichen Lebens. Durch die enge Verzahnung in den Netzwerken und die resultierenden Beziehungen der einzelnen Entitäten im Netz entstehen neben den gewünschten positiven Effekten auch systemische Risiken. Ein proaktives Vorgehen, welches es erlaubt, systemische Risiken im Vorhinein zumindest zu erkennen und ggf. zu vermeiden bzw. zumindest die negativen Auswirkungen einzudämmen ist wünschenswert. Ein möglicher Ansatz ist es, das Netzwerk bzgl. Störungen und Umwelteinflüssen möglichst robust zu gestalten. In diesen Beitrag werden die Grundlagen einer auf Data Farming basierenden Methode zur Robustheitsanalyse im Kontext der Produktion vorgestellt. Im Anschluss werden die Herausforderungen diskutiert, die bei der Adaption der Methode auf komplexe weltweite Netze auftreten.</p>
      </abstract>
      <kwd-group>
        <kwd>network simulation</kwd>
        <kwd>data farming</kwd>
        <kwd>data mining</kwd>
        <kwd>visual analytics</kwd>
        <kwd>knowledge discovery</kwd>
        <kwd>complex networks</kwd>
        <kwd>robustness analysis</kwd>
        <kwd>robustness optimization</kwd>
      </kwd-group>
    </article-meta>
  </front>
  <body>
    <sec id="sec-1">
      <title>-</title>
      <p>
        Immer komplexere Netzwerke durchdringen verschiedenste Bereiche des täglichen
Lebens. Die Spanne reicht hierbei von Rechnernetzen als Basis vieler moderner
Anwendungen über soziale Netzwerke, Energie- oder Verkehrsnetze bis hin zu hoch
dynamischen Produktions- und Logistiknetzwerken oder sogar der kombinierten Betrachtung
verschiedener Netze in ihrer Wechselwirkung, z. B. die Betrachtung von
Logistiknetzwerken in Kombination mit Energie- und Verkehrsnetzen. Durch die enge Verzahnung
in den Netzwerken und die resultierenden Beziehungen der einzelnen Entitäten im Netz
entstehen neben den gewünschten positiven Effekten auch systemische Risiken, welche
mitunter schwer vorauszusehen, abzuschätzen bzw. zu handhaben sind. Ein aktuelles
Beispiel hierfür sind die Versorgungsengpässe mit Benzin und Diesel im Sommer 2018
an einigen Tankstellen im Rheinland, die durch den Niedrigpegel des Rheins und die
damit einhergehende eingeschränkte Schifffahrt sowie den Brand einer Raffinerie
ausgelöst wurden und durch verändertes Kaufverhalten der verunsicherten Autofahrer
verstärkt wurden [
        <xref ref-type="bibr" rid="ref21">21</xref>
        ].
      </p>
      <p>Ein proaktives Vorgehen, welches es erlaubt, systemische Risiken im Vorhinein
zumindest zu erkennen und ggf. zu vermeiden bzw. zumindest die negativen
Auswirkungen einzudämmen ist das Gebot der Stunde. Ein Lösungsansatz kann darin bestehen,
Netze möglichst robust gegenüber unkontrollierbaren Umwelteinflüssen und Störungen
zu gestalten. D. h., eine Netzkonfiguration muss so gewählt werden, dass sie auch unter
negativen Umweltbedingungen und beim Auftreten von Störungen im Netz eine
möglichst gute Systemperformanz garantiert bzw. negative Effekte mildert bzw.
beherrschbar macht. Die große Herausforderung besteht hierbei gerade in komplexen Systemen
wie weltweiten Netzen darin, solch eine Konfiguration zu finden.</p>
      <p>
        Einen Ausgangspunkt für eine Methode zur Entwicklung robuster
Netzwerkkonfigurationen können die Arbeiten von Feldkamp, Bergmann und Straßburger darstellen,
welche für Intralogistik- und Produktionssysteme Untersuchungen zur Entdeckung von
sowohl robusten [
        <xref ref-type="bibr" rid="ref12">12</xref>
        ] als auch effizienten [
        <xref ref-type="bibr" rid="ref14">14</xref>
        ] Konfigurationen veröffentlicht haben.
      </p>
      <p>Ziel dieses Beitrags ist, anzudiskutieren inwiefern diese (oder ähnliche Methoden)
für komplexere Netzwerke anwendbar sind und welche Forschungsbedarfe und
Herausforderungen hierdurch auftreten. Hierzu werden zunächst im Kapitel 2 die
Grundlagen zu den Themen Simulation komplexer Netzwerke, Data Farming, Knowledge
Discovery in Simulation Data und zur Robustheitsbewertungsmethode nach Taguchi
gelegt. Im Kapitel 3 wird ein für Produktions- und Logistiksysteme entworfenes und
bereits veröffentlichtes Konzept zur Robustheitsanalyse vorgestellt. Im
darauffolgenden Kapitel 4 wird diskutiert, inwiefern das Konzept auch für komplexe Netzwerke
adaptiert werden kann und welche Herausforderungen bzw. Forschungsbedarfe hierbei
entstehen. Hierbei sollen Denkansätze skizziert und offene Forschungsfragen abgeleitet
werden. Ein Kapitel mit Fazit und Ausblick schließt den Beitrag ab.
2
2.1</p>
    </sec>
    <sec id="sec-2">
      <title>Grundlagen</title>
      <sec id="sec-2-1">
        <title>Simulation komplexer Netzwerke</title>
        <p>
          Simulation ist ein etabliertes Werkzeug zur Planung und Steuerung komplexer
Systeme. Insbesondere ist Simulation eine Schlüsselkomponente auch hinsichtlich der
Herausforderungen im Kontext von Industrie 4.0 [
          <xref ref-type="bibr" rid="ref25">25</xref>
          ]. Unter Simulation wird hierbei die
„Nachbildung eines Systems mit seinen dynamischen Prozessen in einem
experimentierbaren Modell [verstanden], um zu Erkenntnissen zu gelangen, die auf die
Wirklichkeit übertragbar sind“ [
          <xref ref-type="bibr" rid="ref50">50</xref>
          ].
        </p>
        <p>Für den Begriff der komplexen Netze liegt keine generell akzeptierte Definition vor.
Allgemein kann man aber davon ausgehen, dass komplexe Netzwerke aus der nicht
linearen Verbindung einer großen Anzahl von (wiederum ggf. komplexer) Entitäten
bestehen. Zudem ist zu konstatieren, dass das Verhalten von komplexen Netzwerken
ebenfalls komplex ist und somit das Entwerfen und Steuern solcher Netzwerke
keinesfalls trivial ist.</p>
        <p>
          Der Einsatz der Simulation kann sich unter solchen Bedingungen als sehr vorteilhaft
erweisen [
          <xref ref-type="bibr" rid="ref26">26</xref>
          ]. So gibt es in der Simulationsforschung aber auch in der Praxis eine
Vielzahl von Anwendungsgebieten für die Simulation komplexer Netze. Dies reicht von der
Simulation von Supply-Netzwerken [
          <xref ref-type="bibr" rid="ref44">44</xref>
          ] über die Betrachtung von Energie- oder
Rechnernetzwerken [
          <xref ref-type="bibr" rid="ref1 ref4">1, 4</xref>
          ] bis hin zu Simulation von sozialen Netzwerken [
          <xref ref-type="bibr" rid="ref28 ref36 ref7">7, 28, 36</xref>
          ]. Hierbei
werden verschiedene Simulationsmethoden und Weltsichten eingesetzt. Das Spektrum
reicht von systemdynamischer über agentenbasierter bis hin zu diskret
ereignisorientierter Simulation.
2.2
        </p>
      </sec>
      <sec id="sec-2-2">
        <title>Data Farming und Knowledge Discovery in Simulation Data</title>
        <p>
          Die Methode des Data Farmings beschreibt die Verwendung eines Simulationsmodells
als Datengenerator. Hierbei wird mit Hilfe von effizientem Experimentdesign und High
Performance Computing das Ziel verfolgt, eine möglichst vollständige Abdeckung des
Spektrums von Eingangs- und Ergebnisdaten zu erreichen und somit den
Informationsgewinn zu verbessern [
          <xref ref-type="bibr" rid="ref19 ref20 ref39 ref6">6, 19, 20, 39</xref>
          ]. Analog zu einen Farmer, der sein Feld möglichst
effizient kultiviert und versucht, die Qualität und Quantität seiner Ernte zu maximieren,
drückt die „Farming“-Metapher aus, dass hierbei der Datenertrag des
Simulationsmodells maximiert werden soll [
          <xref ref-type="bibr" rid="ref40">40</xref>
          ].
        </p>
        <p>
          Eine wichtige Kernkomponente der Methode Data Farming ist das
Experimentdesign. Hierbei ermöglichen neue Ansätze für die Gestaltung der Simulationsexperimente
die umfassende Abbildung möglicher Wertekombinationen von Eingabeparametern bei
gleichzeitig vertretbaren Datenmengen [
          <xref ref-type="bibr" rid="ref23 ref41">23, 41</xref>
          ]. Anfangs wurde die Methode des Data
Farming für die militärische Gefechtssimulation entwickelt, wobei ursprünglich auch
die inkrementelle Modellerstellung Teil der Methode war. Der Hintergrund hierfür
bestand darin, dass sowohl die genutzten Modelle als auch die daran gestellten
Fragestellungen eine hohe Komplexität aufweisen, die nicht bzw. nicht gut mit klassische
Simulationsstudien gehandhabt werden können [
          <xref ref-type="bibr" rid="ref20">20</xref>
          ]. Abzugrenzen vom Data Farming sind
Methoden, welche Experimentdesigns nutzen um spezifizierte Hypothesen zu testen
[
          <xref ref-type="bibr" rid="ref29 ref30">29, 30</xref>
          ].
        </p>
        <p>
          Aufbauend auf der dargestellten Data-Farming-Methode wurde ein Konzept, siehe
Abb. 1. , zum Auffinden von verstecken, potenziell nützlichen Wirkzusammenhängen
in gefarmten Ergebnisdaten nicht-militärischer Simulationsmodelle, insbesondere im
Kontext der Simulation von Produktions- und Logistiksystemen, entwickelt [
          <xref ref-type="bibr" rid="ref11 ref8">8, 11</xref>
          ].
Hierbei werden die mittels Data Farming erzeugten sehr große Datenmengen
(Big Data) mit Data-Mining-Methoden verarbeitet. Einsetzbar ist hierbei ein breites
Spektrum von Methoden wie z. B. Clustering, Entscheidungsbäume oder Frequent
Pattern Mining.
        </p>
        <p>
          Die eigentliche Analyse der generierten Simulationsergebnisdaten sowie deren
Beziehungen zu den Eingangsparametern (Faktoren) nutzt zudem interaktive visuelle
Analysen. Visualisierung ist im allgemeinen ein wichtiges Werkzeug, wenn eine
Interpretation von Daten gefordert ist. Die inkrementelle Kombination von Data Mining und
der interaktiven Visualisierung wird auch als Visual Analytics bezeichnet [
          <xref ref-type="bibr" rid="ref22 ref49">22, 49</xref>
          ].
        </p>
        <p>
          Übliche bei Simulationsstudien eingesetzt Visualisierungstechniken sind die
Animationen, Time-Plots oder Graphen bestimmter Kenngrößen z. B. in einem
Konfidenzintervall über replizierte Simulationsläufe [
          <xref ref-type="bibr" rid="ref26">26</xref>
          ]. Die bereits angesprochene
Forschungsdisziplin Visual Analytics geht über die klassische Visualisierung insoweit hinaus, dass
die konsequente Verzahnung von Datenanalyse und -visualisierung angestrebt wird,
deren Verbindungsglied die menschliche Fähigkeit zur Schlussfolgerung darstellt.
Gefördert wird dies durch ein hohes Maß an Interaktivität, wie z. B. Filtern und Zoomen
[
          <xref ref-type="bibr" rid="ref22 ref49">22, 49</xref>
          ].
        </p>
        <p>experiment definitions
(N parameter sets)
simulation black box
(N experiments * M
replications)</p>
        <p>Data Farming
smart
experiment
design
visual analytics;
incl. input data
++++ ++++
+++++++ ++++++++
visual analytics;
output data cluster
++++ ++++
+++++++ ++++++++
simulation
output data
data mining,
e.g. clustering
Knowledge</p>
        <p>Knowledge Discovery
in Simulation Data</p>
        <sec id="sec-2-2-1">
          <title>Abb. 1. Der Knowledge Discovery in Simulations (KDS) Prozess [8]</title>
          <p>
            Dieses Konzept wurde in den Ansatz zur Wissensentdeckung in Simulationsdaten
integriert [
            <xref ref-type="bibr" rid="ref10 ref9">9, 10</xref>
            ] und in Industriefallstudien erprobt. Abb. 1 zeigt das schematische
Vorgehensmodell für die Wissensentdeckung in Simulationsdaten. Anwendungen in der
Praxis, u. a. im Bergbau [
            <xref ref-type="bibr" rid="ref11">11</xref>
            ] oder auch im Bereich Automotive [
            <xref ref-type="bibr" rid="ref13 ref46">13, 46</xref>
            ] zeigen das
enorme Potential aber auch offene Herausforderungen der Methode.
          </p>
          <p>Verwandte
2.3</p>
        </sec>
      </sec>
      <sec id="sec-2-3">
        <title>Die Taguchi-Methode zur Robustheitsbewertung</title>
        <p>
          Genichi Taguchi [
          <xref ref-type="bibr" rid="ref47 ref48">47, 48</xref>
          ] entwickelte eine häufig im Qualitätsmanagement eingesetzte
Methode, um Entscheidungsalternativen nicht nur anhand ihrer Ergebniswerte, sondern
auch anhand der Streuung der Ergebnisse bei Auftreten von Störeinflüssen (engl.
Noise) zu bewerten. Anders ausgedrückt ist die beste System- oder
Prozesskonfiguration möglicherweise nicht immer diejenige mit dem höchsten Einzelwert bzw. besten
Mittelwert einer untersuchten Zielgröße, sondern diejenige Konfiguration, die unter
Einfluss von verschiedenen Störeinflüssen stabile Werte für die Zielgrößen aufweisen.
Zu trennen sind bei derartigen Betrachtungen verschiedene Arten von Faktoren, die die
Ergebnisse (f) eines Systems beeinflussen. Hierbei wird unterschieden zwischen
Kontrollfaktoren (b), welche auch im Realsystem steuerbar sind und Störfaktoren (z),
welche nicht bzw. kaum beeinflussbar sind (siehe Abb. 2). Eine Einstellung für alle
Kontrollfaktoren wird im Folgenden als Systemkonfiguration, eine Belegung der
Störfaktoren wird als Störkonfiguration bezeichnet.
        </p>
        <p>m
Target value
(Signal factor)
z</p>
        <p>Noise factors
b</p>
        <p>Design variables
(Control factors)
Product / Process</p>
        <p>f</p>
        <p>Response</p>
        <sec id="sec-2-3-1">
          <title>Abb. 2. Block diagram of a product/process [32].</title>
          <p>
            Taguchi nutzt Verfahren der statistischen Versuchsplanung und entwickelte
entsprechende Bewertungsfunktionen (so genannte Verlustfunktionen), welche den
Qualitätsverluste auf Basis der Abweichung von einem gewünschten Wert berechnen [
            <xref ref-type="bibr" rid="ref47">47</xref>
            ]. Diese
Sichtweise ist eine Möglichkeit der Varianzreduzierung, die im weiteren Sinne als
Datenkompressionsmaßnahme angesehen werden kann, um den Einfluss von Störgrößen
auf die Zuverlässigkeit des zugrundeliegenden Systems zu bewerten [
            <xref ref-type="bibr" rid="ref2">2</xref>
            ]. Taguchis
Arbeiten haben einen starken Einfluss auf den Bereich der Robustheitsanalyse im
Qualitätsmanagement und werden bis heute weiter erforscht und unter Statistikern intensiv
diskutiert [
            <xref ref-type="bibr" rid="ref3 ref31">3, 31</xref>
            ]. In der Praxis findet die Methode bis heute Anwendung in
verschiedensten Bereichen von den klassischen Ingenieurwissenschaften bis hin zur
Biotechnologie [
            <xref ref-type="bibr" rid="ref24 ref35 ref43">24, 35, 43</xref>
            ].
          </p>
          <p>
            In Tab. 1 sind drei der häufiger angewendeten Verlustfunktionen aufgeführt. Hierbei
ist " der durchschnittliche Verlust für eine gegebene Systemkonfiguration über alle
Störkonfiguration hinweg, k bezeichnet eine feste Konstante, die als
Qualitätsverlustkoeffizient bezeichnet wird. Dieser Wert wird geschätzt und dient der Umrechnung auf
einen Geldwert. " und ' stellen den Mittelwert und die Varianz des betrachtetet
Ergebniswerts für eine Systemkonfiguration dar (y stellt die Ausgabe eines einzelnen
jedes Experiments dar). Welche Verlustfunktion genutzt wird, hängt von der
Charakteristik der betrachteten Ergebnisdaten ab. Die nominell beste Verlustfunktion zielt
darauf ab, die Variabilität um einen gewünschten Zielwert zu verringern und damit
Ausgangswerte oberhalb und unterhalb dieses Ziels zu sanktionieren, beispielsweise die
erforderliche Ausgangsspannung einer elektrischen Schaltung. Die Funktion "Je
kleiner je besser" zielt darauf ab, eine bestimmte Leistung, beispielsweise Kosten, Stress
oder Energieverbrauch, zu minimieren. Schließlich wird die „je größer je besser“
Verlustfunktion verwendet, um einen Ausgabewert wie Zuverlässigkeit, Stärke oder
Effizienz zu maximieren. Praxisbeispiele aus der Fertigungstechnik minimieren den
Strahlungsverlust aus einem Mikrowellenherd bzw. maximieren die Haftfestigkeit eines
Schweißpunkts [
            <xref ref-type="bibr" rid="ref2 ref34">2, 34</xref>
            ].
          </p>
          <p>
            Eine umfassende tiefergehende Betrachtung zum Thema Taguchi-Methode und
andere robuste Konstruktionskonzepte ist in Park et al. [
            <xref ref-type="bibr" rid="ref32">32</xref>
            ] zu finden.
          </p>
          <p>
            Da Robustheitsentwurf und -analyse ein wiederkehrendes Thema in der
Simulationsmethodikforschung ist, wurde Taguchis Methode bereits von realen Experimenten
auf Simulationsexperimente übertragen. Insbesondere Anwendungen im Bereich des
Meta Modelling und/oder der Gefechtsfeldsimulation wurden in der Vergangenheit
publiziert [
            <xref ref-type="bibr" rid="ref18 ref37 ref38 ref5">5, 18, 37, 38</xref>
            ].
          </p>
          <p>In unserem im Folgenden skizzierten Ansatz wird die Robustheitsanalyse basierend
auf den Verlustfunktionen von Taguchi mit einem Versuchsaufbau im großen Maßstab
sowie mit visuell unterstützten Methoden zur Erkennung von Wissen für
Fertigungssimulationen kombiniert.
3</p>
        </sec>
      </sec>
    </sec>
    <sec id="sec-3">
      <title>Vorarbeit – Konzept zur Robustheitsverbesserung von</title>
    </sec>
    <sec id="sec-4">
      <title>Produktionssystemen</title>
      <p>
        Der Nutzen der Kombination von Data Farming und Taguchis
Robustheitsbewertungsmethode wurde im Kontext von Produktions- und Logistiksystemen bereits erfolgreich
in [
        <xref ref-type="bibr" rid="ref12 ref42">12, 42</xref>
        ] angewendet. In diesen Publikationen bedeutet Robustheit des betrachteten
Produktionssystems, dass sich dessen Leistung bzgl. einer Menge von definierten
Zielgrößen, z.B. Ausbringungsmengen, Auslastungen von Stationen oder Puffern,
möglichst stabil gegenüber Schwankungen im Produktmix als Störeinfluss verhält. Der
genutzte Ansatz basiert hierbei auf der Nutzung der im Kapitel 2.2 vorgestellten Methode
des Data Farming sowie der Methode von Taguchi (siehe Kapitel 2.3).
      </p>
      <p>Der erste Schritt in der Methodik ist das Bestimmen der zu betrachtenden Stell- und
Störgrößen (im Folgendem auch als Entscheidungsfaktoren bzw. Störfaktoren des
Experimentdesigns bezeichnet), deren Art (kontinuierlich, diskret, kategorisch oder
komplex) sowie deren Wertebereiche bzw. Ausprägungen. Stellgrößen sind hierbei auch in
der Realität durch den Betreiber einstellbare Parameter. Störgrößen hingegen sind nicht
oder kaum im realen System einstellbare, das System jedoch beeinflussende
Umweltbedingungen.</p>
      <p>Im folgendem zweiten Schritt werden zwei Experimentpläne, einer für die
Stellgrößen und einer für die Störgrößen des Systems, erzeugt und anschließend gekreuzt.
Dieses Vorgehen erlaubt eine von jeglichem Bias befreite Robustheitsanalyse.</p>
      <p>
        Für die Entscheidungsfaktoren können die in der Data-Farming-Forschung
gebräuchlichen Methoden zum Experimentdesign verwendet werden, beispielsweise der
nearly orthogonal latin hypercube (NOLH), diese Methode gewährleistet ein sehr gutes
Experimentdesign und ist hierbei deutlich effizienter ist als ein Standard-nk-Design
[
        <xref ref-type="bibr" rid="ref51">51</xref>
        ]. Eine typischerweise in Produktions- und Logistiksystemen betrachtete Störgröße
ist der komplexe Faktor Produktmix. Der Produktmix stellt die Verteilung der
verschiedenen Produkte bzw. Produktvariationen im Produktionsprogram dar. Ein
Experimentdesign für solch einen Produktmix ist deutlich schwieriger zu realisieren. Obwohl die
Anzahl der Experimente für den Produktmix nicht exponentiell wächst, da die
einzelnen Produktanteile nicht unabhängig voneinander sind (steigt der Anteil eines
Produktes im Mix muss der Anteil anderer Produkte im gleichen Umfang sinken), wächst sie
dennoch mit der zunehmenden Anzahl von Produkten im Mix sowie der gewählten
Auflösung, d. h. der Schrittweite von 0% bis 100% [
        <xref ref-type="bibr" rid="ref27">27</xref>
        ]. Zum Beispiel würden bei einen
vollfaktoriellen Design für 5 Produkte und einer angenommen Schrittweite von 5%
(5 + (100/5))! ⁄ ((100/5)! (5 − 1)!) = 265.650 Experimente nötig sein. Daher ist
eine vollständige faktorielle Abdeckung des Produktmixes gerade bei steigender Zahl
von Produkten offensichtlich nicht möglich.
      </p>
      <p>Um die Anzahl der Experimente zu reduzieren, besteht ein einfacher Ansatz darin,
eine Data-Farming-Entwurfsmethode wie NOLH zu verwenden und die Summe jeder
Zeile auf eins zu normalisieren. Solch ein Vorgehen muss jedoch mit Vorsicht
betrachtet werden, da die gewünschten Eigenschaften eines guten experimentellen Designs
negativ beeinflusst werden können, z. B. kann sowohl die Ausgewogenheit der
Faktorwerte nicht mehr gewährleistet werden. Zudem wird auch die Korrelationsarmut
zwischen den Eingangsfaktoren (Orthogonalität) nicht mehr garantiert.</p>
      <p>
        Die Implementierung von Einschränkungen, wie sie bei Produktmixen vorliegen, in
space filling Designs wie z. B. NOHL ist eine enorm herausfordernde Aufgabe und ein
laufendes Forschungsthema [
        <xref ref-type="bibr" rid="ref15 ref33">15, 33</xref>
        ]. Für den Zweck erster Machbarkeitsstudien soll
jedoch der erwähnte Ansatz ausreichen.
      </p>
      <p>
        Abb. 3. Matrix des gekreuzten Experimentdesigns als Basis der Robustheitsanalyse [
        <xref ref-type="bibr" rid="ref12">12</xref>
        ].
      </p>
      <p>In Schritt drei werden die erzeugten Experimentdesigns gekreuzt (crossed design),
was zu einem endgültigen Experimentdesign mit jeder Kombination von Stell- und
Störkonfigurationen führt. Das Ergebnis ist mitunter ein sehr großer Experimentplan.
Um eine realisierbare Laufzeit zu gewährleisten, müssen die Experimente parallel
ausgeführt werden und/oder Hochleistungsrechner verwendet werden.</p>
      <p>Der Vorteil des Ansatzes besteht darin, dass die Ergebnisdaten nach Durchführung
der Experimente in matrixähnlichen Tabellen zusammengestellt werden können. Die
Matrizen zeigen, wie sich jede Systemkonfiguration für jede Störfaktorkonfiguration
bzw. Produktmischung verhält (siehe Abb. 3). Jede Zelle enthält den entsprechend der
gewählten Verlustfunktion berechneten Robustheitswert eines ausgewählten
Ergebnisparameters x. Wenn Replikationen durchgeführt wurden, wird jede Zelle mit dem
durchschnittlichen Verlust aller Replikationen eines Experiments gefüllt. Für jede Zeile
kann der durchschnittlichen Verlust ermitteln werden, der die Robustheit jeder
Systemkonfiguration darstellt. In komplexen Fertigungssystemen sind Betrachtungen der
Performance aber auch der hier fokussierten Robustheit meist mehrkriteriell. Dies führt
zwangsweise meist zur Betrachtung mehrerer Ergebnisparameter. Somit ergeben sich
entsprechend mehrdimensionale Matrizen, siehe Abb. 3 rechts. Im Mittelpunkt des
Interesses steht das Finden von Konfigurationen, die für viele, im besten Fall alle
Ausgabeparametern robustes Verhalten aufweisen.</p>
      <p>
        Vereinfacht könnte man die Robustheitswerte mehrerer Ergebnisparameter
gewichten und eine Nutzwertanalyse durchführen. Somit wären die Robustheitswerte aller
Ausgabeparameter zu einer einzigen Zahl zusammengefasst. Dieser Ansatz ist meist
jedoch nicht zu empfehlen, da insbesondere das objektive Einstellen der
Gewichtungsfaktoren oft nicht möglich ist. Daher wird für eine eingehendere Analyse, analog zu
[
        <xref ref-type="bibr" rid="ref11">11</xref>
        ], die interaktive visuell geführte Analyse, unterstützt durch geeignetes Data
Mining, empfohlen. Dieser Ansatz kann helfen, diejenigen Konfigurationen zu finden, die
den günstigsten Kompromiss zwischen den verschiedenen Ausgabeparametern bieten.
Hierzu wurde ein zweistufiger Prozess entwickelt, in dem zunächst die
Systemkonfigurationen mithilfe von Clustering-Algorithmen in Klassen ähnlicher
Robustheitsgruppen zusammengefasst werden. Diese Algorithmen kennzeichnen die
Simulationsexperimente entsprechend ihrer Klassenzugehörigkeit. Experimente derselben Klasse
weisen somit bzgl. den Robustheitsmaßen ähnliche Werte auf. Im zweiten Schritt können
Verfahren des überwachten Lernens eingesetzt werden. Hierbei werden mathematische
Modelle auf Basis der Entscheidungsfaktoren und der Klassifizierung der
resultierenden Experimente trainiert. Diese Modelle geben zum einen Auskunft darüber, welche
Entscheidungsfaktoren überhaupt Einfluss auf die Klassenzuordnung haben und zum
anderen welche konkreten Ausprägungen der Entscheidungsfaktoren zu einer
bestimmten Klassenzuordnung beitragen. Sind diese Abhängigkeiten bekannt, kann man
Rückschlüsse darauf ziehen, wie das System robust gestaltet werden kann. Eine Fallstudie
hierzu ist [
        <xref ref-type="bibr" rid="ref11">11</xref>
        ] zu entnehmen.
4
      </p>
    </sec>
    <sec id="sec-5">
      <title>Herausforderung beim Transfer des Konzeptes auf komplexe Netzwerke</title>
      <p>Der Transfer der in Kapitel 3 vorgestellten Methoden von Produktionssystemen auf
nahezu beliebige weltweite/ komplexe Netze erscheint möglich und sehr sinnvoll. Die
Absicherung der Robustheit ist hierbei ein proaktives Vorgehen, das erlaubt,
systemische Risiken im Vorhinein zu senken bzw. deren negativen Auswirkungen zu dämpfen.
Die ungelöste Herausforderung für komplexe weltweite Netzen besteht hierbei nun
gerade darin, eine Methode zu entwickeln, die erlaubt, mit adäquaten Aufwand solche
robuste Konfiguration zu finden. Beim Transfer der Methode zur Robustheitsanalyse
im Kontext von Produktions- und Logistiksystemen auf komplexe weltweite Netze
treten spezielle Herausforderungen, Forschungs- und Entwicklungsbedarfe auf.</p>
      <p>Im ersten Schritt sind diese Forschungsbedarfe zu definieren. Eine erste Auswahl
relevanter Forschungsfragen ist im Folgenden aufgeführt:
1. Wie kann eine Vorgehensweise zur Identifizierung relevanter Stellgrößen, externer</p>
      <p>Einflussgrößen und Ergebniswerte in großen Netzwerken gestaltet werden?
2. Wie können identifizierte Stellgrößen als Faktoren in Experimentdesigns abgebildet
werden? Welche Eigenschaften und Besonderheiten sind zu beachten?
3. Welche Experimentdesignmethoden aus dem Kontext Data Farming können
angewendet werden?
4. Wie können die komplexen Eigenschaften des Netzwerkes, z. B. die Netztopologie,
als Faktoren in einer Data-Farming-Studie abgebildet werden?
5. Wie können externe Einflüsse als Störgrößen im Sinne der Robustheitsanalysen
mittels Data Farming geeignet abgebildet werden?
6. Welche Algorithmen bzw. Methoden können, neben der Taguchi Methode, zur
Bewertung der Robustheit von komplexen Netzen genutzt werden? Wie sind die
Methoden zu parametrieren?
7. Welche Data-Mining-Methoden und Visualisierungstechniken können eingesetzt
werden?
8. Was kann als Validierungsmodell eines komplexen Netzwerks genutzt werden?
9. Wie können auch bei komplexen Netzwerken und großen Experimentplänen
akzeptable Laufzeiten garantiert werden?</p>
      <p>
        Zur Bearbeitung der Forschungsfragen ist eine vielfältige Kombination von
Methoden aus verschiedenen Forschungsdisziplinen möglich. Denkbar ist beispielsweise zur
effizienteren Ausführung der Modelle der Einsatz von Methoden der verteilten
Simulation. Das Ausführen von großen Experimentplänen im Kontext der verteilten
Simulation ist hierbei die zu lösende Aufgabe [
        <xref ref-type="bibr" rid="ref45">45</xref>
        ]. Weiterhin sind Methoden der
Künstlichen-Intelligenz-Forschung für einige der Forschungsfragen zu überprüfen.
Beispielsweise ist das Nutzen generativer Neuronaler Netze zur Erstellung von guten
Experimentplänen denkbar. Der Einsatz von so genannten Generative Adversarial Networks
zur Optimierung der Robustheit könnte ein weiterer möglicher Forschungsansatz sein
[
        <xref ref-type="bibr" rid="ref16">16</xref>
        ]. Auch die bereits angesprochene Forschungsdisziplin des Visual Analytics und des
Data Mining sind einzubeziehen und auf die Analyse von Simulationsdaten aus
komplexen Netzwerken auszuweiten [
        <xref ref-type="bibr" rid="ref17 ref22">17, 22</xref>
        ].
      </p>
    </sec>
    <sec id="sec-6">
      <title>Fazit und Ausblick</title>
      <p>Die Beherrschung komplexer Netzwerke, wie Rechner- und Energienetze oder auch
Supply-Netzwerke wird im täglichen Lebens immer wichtiger. Eine proaktive
Verbesserung der Netzwerke durch eine robuste Konfiguration kann die Beherrschbarkeit
solcher, mitunter kritischer Systeme, deutlich steigern.</p>
      <p>Die Adaption der im Beitrag vorgestellten Methode zur Robustheitsanalyse von
Produktionssystemen auf komplexe Netzwerke ist hierbei ein möglicher Schritt. Die
hierbei offenen Forschungsbedarfe wurden ausschnittsweise vorgestellt.</p>
    </sec>
    <sec id="sec-7">
      <title>Literaturverzeichnis</title>
    </sec>
  </body>
  <back>
    <ref-list>
      <ref id="ref1">
        <mixed-citation>
          1.
          <string-name>
            <surname>Acha</surname>
            <given-names>E</given-names>
          </string-name>
          (
          <year>2004</year>
          )
          <article-title>FACTS</article-title>
          .
          <article-title>Modelling and simulation in power networks</article-title>
          . Wiley, Chichester, Hoboken, NJ
        </mixed-citation>
      </ref>
      <ref id="ref2">
        <mixed-citation>
          2.
          <string-name>
            <surname>Ben-Gal</surname>
            <given-names>I</given-names>
          </string-name>
          (
          <year>2005</year>
          )
          <article-title>On the Use of Data Compression Measures to Analyze Robust Designs</article-title>
          .
          <source>IEEE Trans. Rel</source>
          .
          <volume>54</volume>
          (
          <issue>3</issue>
          ):
          <fpage>381</fpage>
          -
          <lpage>388</lpage>
          . doi:
          <volume>10</volume>
          .1109/TR.
          <year>2005</year>
          .853280
        </mixed-citation>
      </ref>
      <ref id="ref3">
        <mixed-citation>
          3.
          <string-name>
            <surname>Box</surname>
            <given-names>G</given-names>
          </string-name>
          (
          <year>1988</year>
          )
          <article-title>Signal-to-Noise Ratios, Performance Criteria, and Transformations</article-title>
          .
          <source>Technometrics</source>
          <volume>30</volume>
          (
          <article-title>1): 1</article-title>
          . doi:
          <volume>10</volume>
          .2307/1270311
        </mixed-citation>
      </ref>
      <ref id="ref4">
        <mixed-citation>
          4.
          <string-name>
            <surname>Breslau</surname>
            <given-names>L</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Estrin</surname>
            <given-names>D</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Fall</surname>
            <given-names>K</given-names>
          </string-name>
          et al. (
          <year>2000</year>
          )
          <article-title>Advances in network simulation</article-title>
          .
          <source>Computer</source>
          <volume>33</volume>
          (
          <issue>5</issue>
          ):
          <fpage>59</fpage>
          -
          <lpage>67</lpage>
          . doi:
          <volume>10</volume>
          .1109/2.841785
        </mixed-citation>
      </ref>
      <ref id="ref5">
        <mixed-citation>
          5.
          <string-name>
            <surname>Dellino</surname>
            <given-names>G</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Kleijnen</surname>
            <given-names>JPC</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Meloni</surname>
            <given-names>C</given-names>
          </string-name>
          (
          <year>2009</year>
          )
          <article-title>Robust Simulation-Optimization using Metamodels</article-title>
          . In:
          <string-name>
            <surname>Rossetti</surname>
            <given-names>MD</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Hill</surname>
            <given-names>RR</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Johansson</surname>
            <given-names>B</given-names>
          </string-name>
          et al.
          <source>(eds) Proceedings of the 2009 Winter Simulation Conference (WSC</source>
          <year>2009</year>
          ).
          <source>(WSC</source>
          <year>2009</year>
          ) : Austin, Texas :
          <fpage>13</fpage>
          -
          <lpage>16</lpage>
          December
          <year>2009</year>
          . IEEE Inc, Piscataway,
          <string-name>
            <surname>N.J.</surname>
          </string-name>
          , pp
          <fpage>540</fpage>
          -
          <lpage>550</lpage>
        </mixed-citation>
      </ref>
      <ref id="ref6">
        <mixed-citation>
          6.
          <string-name>
            <surname>Elmegreen</surname>
            <given-names>BG</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Sanchez</surname>
            <given-names>SM</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Szalay</surname>
            <given-names>AS</given-names>
          </string-name>
          (
          <year>2014</year>
          )
          <article-title>The Future of Computerized Decision Making</article-title>
          . In:
          <string-name>
            <surname>Tolk</surname>
            <given-names>A</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Diallo</surname>
            <given-names>SD</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Ryzhov</surname>
            <given-names>IO</given-names>
          </string-name>
          et al.
          <source>(eds) Proceedings of the 2014 Winter Simulation Conference. IEEE Inc</source>
          , Piscataway,
          <string-name>
            <surname>N.J.</surname>
          </string-name>
          , pp
          <fpage>943</fpage>
          -
          <lpage>949</lpage>
        </mixed-citation>
      </ref>
      <ref id="ref7">
        <mixed-citation>
          7.
          <string-name>
            <surname>Epstein</surname>
            <given-names>JM</given-names>
          </string-name>
          (
          <year>2006</year>
          )
          <article-title>Generative social science</article-title>
          .
          <article-title>Studies in agent-based computational modeling</article-title>
          . Princeton studies in complexity. Princeton University Press, Princeton
        </mixed-citation>
      </ref>
      <ref id="ref8">
        <mixed-citation>
          8.
          <string-name>
            <surname>Feldkamp</surname>
            <given-names>N</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Bergmann</surname>
            <given-names>S</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Strassburger</surname>
            <given-names>S</given-names>
          </string-name>
          (
          <year>2015</year>
          )
          <article-title>Knowledge Discovery in Manufacturing Simulations</article-title>
          . In: Taylor SJE,
          <string-name>
            <surname>Mustafee</surname>
            <given-names>N</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Son</surname>
            <given-names>Y</given-names>
          </string-name>
          <source>-J (eds) Proceedings of the 3rd ACM SIGSIM Conference on Principles of Advanced Discrete Simulation. ACM</source>
          , New York, NY, USA, pp
          <fpage>3</fpage>
          -
          <lpage>12</lpage>
        </mixed-citation>
      </ref>
      <ref id="ref9">
        <mixed-citation>
          9.
          <string-name>
            <surname>Feldkamp</surname>
            <given-names>N</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Bergmann</surname>
            <given-names>S</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Strassburger</surname>
            <given-names>S</given-names>
          </string-name>
          (
          <year>2015</year>
          )
          <article-title>Visual Analytics of Manufacturing Simulation Data</article-title>
          . In: Yilmaz L,
          <string-name>
            <surname>Chan</surname>
            <given-names>WKV</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Moon</surname>
            <given-names>I</given-names>
          </string-name>
          et al.
          <source>(eds) Proceedings of the 2015 Winter Simulation Conference. IEEE Inc</source>
          , Piscataway,
          <string-name>
            <surname>N.J.</surname>
          </string-name>
          , pp
          <fpage>779</fpage>
          -
          <lpage>790</lpage>
        </mixed-citation>
      </ref>
      <ref id="ref10">
        <mixed-citation>
          10.
          <string-name>
            <surname>Feldkamp</surname>
            <given-names>N</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Bergmann</surname>
            <given-names>S</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Strassburger</surname>
            <given-names>S</given-names>
          </string-name>
          (
          <year>2016</year>
          )
          <article-title>Innovative Analyse- und Visualisierungsmethoden für Simulationsdaten</article-title>
          . In:
          <string-name>
            <surname>Nissen</surname>
            <given-names>V</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Stelzer</surname>
            <given-names>D</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Straßburger</surname>
            <given-names>S</given-names>
          </string-name>
          et al. (
          <article-title>eds) Multikonferenz Wirtschaftsinformatik (MKWI) 2016</article-title>
          . Technische Universität Ilmenau 09. -
          <fpage>11</fpage>
          .
          <source>März</source>
          <year>2016</year>
          , vol
          <volume>3</volume>
          .
          <string-name>
            <given-names>TU</given-names>
            <surname>Ilmenau</surname>
          </string-name>
          <string-name>
            <surname>Universitätsbibliothek</surname>
          </string-name>
          , Ilmenau, pp
          <fpage>1737</fpage>
          -
          <lpage>1748</lpage>
        </mixed-citation>
      </ref>
      <ref id="ref11">
        <mixed-citation>
          11.
          <string-name>
            <surname>Feldkamp</surname>
            <given-names>N</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Bergmann</surname>
            <given-names>S</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Strassburger</surname>
            <given-names>S</given-names>
          </string-name>
          et al. (
          <year>2016</year>
          )
          <article-title>Knowledge Discovery in Simulation Data: A Case Study of a Gold Mining Facility</article-title>
          . In:
          <string-name>
            <surname>Roeder</surname>
            <given-names>TMK</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Frazier</surname>
            <given-names>PI</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Szechtman</surname>
            <given-names>R</given-names>
          </string-name>
          et al.
          <source>(eds) Proceedings of the 2016 Winter Simulation Conference. IEEE Inc</source>
          , Piscataway,
          <string-name>
            <surname>N.J.</surname>
          </string-name>
          , pp
          <fpage>1607</fpage>
          -
          <lpage>1618</lpage>
        </mixed-citation>
      </ref>
      <ref id="ref12">
        <mixed-citation>
          12.
          <string-name>
            <surname>Feldkamp</surname>
            <given-names>N</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Bergmann</surname>
            <given-names>S</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Strassburger</surname>
            <given-names>S</given-names>
          </string-name>
          et al. (
          <year>2017</year>
          )
          <article-title>Knowledge Discovery and Robustness Analysis in Manufacturing Simulations</article-title>
          . In: Chan V,
          <string-name>
            <surname>D'Ambrogio</surname>
            <given-names>A</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Zacharewicz</surname>
            <given-names>G</given-names>
          </string-name>
          et al.
          <source>(eds) Proceedings of the 2017 Winter Simulation Conference. IEEE Inc</source>
        </mixed-citation>
      </ref>
      <ref id="ref13">
        <mixed-citation>
          13.
          <string-name>
            <surname>Feldkamp</surname>
            <given-names>N</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Bergmann</surname>
            <given-names>S</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Strassburger</surname>
            <given-names>S</given-names>
          </string-name>
          et al. (
          <year>2017</year>
          )
          <article-title>Knowledge Discovery in Simulation Data - a Case Study for a Backhoe Assembly Line</article-title>
          . In: Chan V,
          <string-name>
            <surname>D'Ambrogio</surname>
            <given-names>A</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Zacharewicz</surname>
            <given-names>G</given-names>
          </string-name>
          et al.
          <source>(eds) Proceedings of the 2017 Winter Simulation Conference. IEEE Inc</source>
          , pp
          <fpage>4456</fpage>
          -
          <lpage>4458</lpage>
        </mixed-citation>
      </ref>
      <ref id="ref14">
        <mixed-citation>
          14.
          <string-name>
            <surname>Feldkamp</surname>
            <given-names>N</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Bergmann</surname>
            <given-names>S</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Strassburger</surname>
            <given-names>S</given-names>
          </string-name>
          et al. (
          <year>2018</year>
          )
          <article-title>Combining Data Farming And Data Envelopment Analysis For Measuring Productive Efficiency In Manufacturing Simulations</article-title>
          . In:
          <string-name>
            <surname>Rabe</surname>
            <given-names>M</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Juan</surname>
            <given-names>AA</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Mustafee</surname>
            <given-names>N</given-names>
          </string-name>
          et al.
          <source>(eds) Proceedings of the 2018 Winter Simulation Conference</source>
          . IEEE inc.,
          <string-name>
            <surname>Piscataway</surname>
            ,
            <given-names>N.J.</given-names>
          </string-name>
        </mixed-citation>
      </ref>
      <ref id="ref15">
        <mixed-citation>
          15.
          <string-name>
            <surname>Golchi</surname>
            <given-names>S</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Loeppky</surname>
            <given-names>JL</given-names>
          </string-name>
          (
          <year>2016</year>
          )
          <article-title>Space Filing Designs for Constrained Domains</article-title>
          . In:
          <string-name>
            <surname>Aggarwal</surname>
            <given-names>M</given-names>
          </string-name>
          ,
          <string-name>
            <surname>George</surname>
            <given-names>OE</given-names>
          </string-name>
          <source>(eds) International Conference on Design of Experiments</source>
          , pp
          <fpage>1</fpage>
          -
          <lpage>28</lpage>
        </mixed-citation>
      </ref>
      <ref id="ref16">
        <mixed-citation>
          16.
          <string-name>
            <surname>Goodfellow</surname>
            <given-names>I</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Bengio</surname>
            <given-names>Y</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Courville</surname>
            <given-names>A</given-names>
          </string-name>
          (
          <year>2016</year>
          )
          <article-title>Deep learning</article-title>
          . MIT Press, Cambridge, Massachusetts, London, England
        </mixed-citation>
      </ref>
      <ref id="ref17">
        <mixed-citation>
          17.
          <string-name>
            <surname>Han</surname>
            <given-names>J</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Kamber</surname>
            <given-names>M</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Pei</surname>
            <given-names>J</given-names>
          </string-name>
          (
          <year>2012</year>
          )
          <article-title>Data Mining Concepts and Techniques, 3</article-title>
          . ed. The Morgan Kaufmann series in data management systems. Elsevier/Morgan Kaufmann, Amsterdam
        </mixed-citation>
      </ref>
      <ref id="ref18">
        <mixed-citation>
          18.
          <string-name>
            <surname>Horne</surname>
            <given-names>G</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Åkesson</surname>
            <given-names>B</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Meyer</surname>
            <given-names>T</given-names>
          </string-name>
          et al. (
          <year>2014</year>
          )
          <article-title>Data farming in support of NATO</article-title>
          .
          <source>Final Report of Task Group MSG-088. STO technical report, TR-MSG-088</source>
          . North Atlantic Treaty Organisation,
          <string-name>
            <surname>Neuilly-</surname>
          </string-name>
          sur-Seine Cedex
        </mixed-citation>
      </ref>
      <ref id="ref19">
        <mixed-citation>
          19.
          <string-name>
            <surname>Horne</surname>
            <given-names>GE</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Meyer</surname>
            <given-names>TE</given-names>
          </string-name>
          (
          <year>2005</year>
          )
          <article-title>Data Farming: Discovering Surprise</article-title>
          . In:
          <string-name>
            <surname>Kuhl</surname>
            <given-names>ME</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Steiger</surname>
            <given-names>NM</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Armstrong</surname>
            <given-names>FB</given-names>
          </string-name>
          et al.
          <source>(eds) Proceedings of the 2005 Winter Simulation Conference. IEEE Inc</source>
          , Piscataway,
          <string-name>
            <surname>N.J.</surname>
          </string-name>
          , pp
          <fpage>1082</fpage>
          -
          <lpage>1087</lpage>
        </mixed-citation>
      </ref>
      <ref id="ref20">
        <mixed-citation>
          20.
          <string-name>
            <surname>Horne</surname>
            <given-names>GE</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Meyer</surname>
            <given-names>T</given-names>
          </string-name>
          (
          <year>2010</year>
          )
          <article-title>Data farming and defense applications</article-title>
          . In:
          <string-name>
            <surname>Armstrong</surname>
            <given-names>R</given-names>
          </string-name>
          ,
          <string-name>
            <surname>McNamara</surname>
            <given-names>J</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Pinelli</surname>
            <given-names>TE</given-names>
          </string-name>
          <source>(eds) MODSIM World Conference and Expo</source>
          . Langley Research Center, Hampton, VA, pp
          <fpage>74</fpage>
          -
          <lpage>82</lpage>
        </mixed-citation>
      </ref>
      <ref id="ref21">
        <mixed-citation>
          21.
          <string-name>
            <surname>Janis Beenen</surname>
          </string-name>
          (
          <year>2018</year>
          )
          <article-title>Niedrigwasser lässt einzelne Tankstellen leerlaufen</article-title>
          .
          <source>Süddeutsche Zeitung</source>
          <year>2018</year>
          (
          <volume>7</volume>
          .
          <fpage>11</fpage>
          .
          <year>2018</year>
          )
        </mixed-citation>
      </ref>
      <ref id="ref22">
        <mixed-citation>
          22.
          <string-name>
            <surname>Keim</surname>
            <given-names>DA</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Mansmann</surname>
            <given-names>F</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Schneidewind</surname>
            <given-names>J</given-names>
          </string-name>
          et al. (
          <year>2008</year>
          )
          <article-title>Visual Analytics: Scope and Challenges</article-title>
          . In: Simoff S,
          <string-name>
            <surname>Boehlen</surname>
            <given-names>MH</given-names>
          </string-name>
          ,
          <article-title>Mazeika A (eds) Visual Data Mining: Theory, Techniques and Tools for Visual Analytics, 1st edn</article-title>
          . Springer, Berlin, Heidelberg
        </mixed-citation>
      </ref>
      <ref id="ref23">
        <mixed-citation>
          23.
          <string-name>
            <surname>Kleijnen</surname>
            <given-names>JPC</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Sanchez</surname>
            <given-names>SM</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Lucas</surname>
            <given-names>TW</given-names>
          </string-name>
          et al. (
          <year>2005</year>
          )
          <article-title>State-of-the-Art Review: A User's Guide to the Brave New World of Designing Simulation Experiments</article-title>
          .
          <source>INFORMS Journal on Computing</source>
          <volume>17</volume>
          (
          <issue>3</issue>
          ):
          <fpage>263</fpage>
          -
          <lpage>289</lpage>
        </mixed-citation>
      </ref>
      <ref id="ref24">
        <mixed-citation>
          24.
          <string-name>
            <surname>Konduk</surname>
            <given-names>BA</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Ucisik</surname>
            <given-names>AH</given-names>
          </string-name>
          (
          <year>1999</year>
          )
          <article-title>Determination of Primary Parameters relevant to the Adequacy of Haemodialysis through Taguchi Method</article-title>
          . In: Blanchard S,
          <string-name>
            <surname>Eckstein</surname>
            <given-names>E</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Fouke</surname>
            <given-names>J</given-names>
          </string-name>
          <source>(eds) Proceedings of the first Joint BMES/EMBS Conference</source>
          , p
          <fpage>627</fpage>
        </mixed-citation>
      </ref>
      <ref id="ref25">
        <mixed-citation>
          25.
          <string-name>
            <surname>Krückhans</surname>
            <given-names>B</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Meier</surname>
            <given-names>H</given-names>
          </string-name>
          (
          <year>2013</year>
          )
          <article-title>Industrie 4.0 - Handlungsfelder der Digitalen Fabrik zur Optimierung der Ressourceneffizienz in der Produktion</article-title>
          . In: Dangelmaier W,
          <string-name>
            <surname>Laroque</surname>
            <given-names>C</given-names>
          </string-name>
          ,
          <article-title>Klaas A (eds) Proceeding der 15</article-title>
          .
          <source>ASIM Fachtagung Simulation in Produktion und Logistik</source>
          <year>2013</year>
          .
          <article-title>Entscheidungsunterstützung von der Planung bis zur Steuerung</article-title>
          . HNI-Verlagsschriftenreihe, Paderborn, pp
          <fpage>31</fpage>
          -
          <lpage>40</lpage>
        </mixed-citation>
      </ref>
      <ref id="ref26">
        <mixed-citation>
          26.
          <string-name>
            <surname>Law</surname>
            <given-names>AM</given-names>
          </string-name>
          (
          <year>2014</year>
          )
          <article-title>Simulation Modeling and Analysis, 5th edn</article-title>
          .
          <article-title>McGraw-Hill Series in Industrial Engineering and Management Science</article-title>
          .
          <source>McGraw Hill Book Co</source>
          , New York, N.Y.
        </mixed-citation>
      </ref>
      <ref id="ref27">
        <mixed-citation>
          27.
          <string-name>
            <surname>Ledi</surname>
            <given-names>T</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Spagon</surname>
            <given-names>P</given-names>
          </string-name>
          ,
          <string-name>
            <surname>del Castillo</surname>
            <given-names>E</given-names>
          </string-name>
          et al. (
          <year>2013</year>
          )
          <article-title>e-Handbook of Statistical Methods. 5</article-title>
          .
          <string-name>
            <given-names>Process</given-names>
            <surname>Improvement</surname>
          </string-name>
          . http://www.itl.nist.gov/div898/handbook/pri/pri.htm
        </mixed-citation>
      </ref>
      <ref id="ref28">
        <mixed-citation>
          28.
          <string-name>
            <surname>Lorig</surname>
            <given-names>F</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Timm</surname>
            <given-names>IJ</given-names>
          </string-name>
          (
          <year>2014</year>
          )
          <article-title>How to Model the "Human Factor" for Agent-based Simulation in Social Media Analysis? Work in Progress Paper</article-title>
          .
          <source>In: Proceedings of the 2014 Symposium on Agent Directed Simulation. SCS</source>
          , San Diego, CA, USA
        </mixed-citation>
      </ref>
      <ref id="ref29">
        <mixed-citation>
          29.
          <string-name>
            <surname>Lorig</surname>
            <given-names>F</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Becker</surname>
            <given-names>CA</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Timm</surname>
            <given-names>IJ</given-names>
          </string-name>
          (
          <year>2017</year>
          )
          <article-title>Formal Specification of Hypotheses for Assisting Computer Simulation Studies</article-title>
          .
          <source>In: Proceedings of the Symposium on Theory of Modeling &amp; Simulation</source>
          . Society for Computer Simulation International, San Diego, CA, USA
        </mixed-citation>
      </ref>
      <ref id="ref30">
        <mixed-citation>
          30.
          <string-name>
            <surname>Lorig</surname>
            <given-names>F</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Lebherz</surname>
            <given-names>DS</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Berndt</surname>
            <given-names>JO</given-names>
          </string-name>
          et al. (
          <year>2017</year>
          )
          <article-title>HYpothesis-driven Experiment Design in Computer Simulation Studies</article-title>
          . In: Chan V,
          <string-name>
            <surname>D'Ambrogio</surname>
            <given-names>A</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Zacharewicz</surname>
            <given-names>G</given-names>
          </string-name>
          et al.
          <source>(eds) Proceedings of the 2017 Winter Simulation Conference. IEEE Inc</source>
        </mixed-citation>
      </ref>
      <ref id="ref31">
        <mixed-citation>
          31.
          <string-name>
            <surname>Nair</surname>
            <given-names>VN</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Abraham</surname>
            <given-names>B</given-names>
          </string-name>
          ,
          <string-name>
            <surname>MacKay</surname>
            <given-names>J</given-names>
          </string-name>
          et al. (
          <year>1992</year>
          )
          <article-title>Taguchi's Parameter Design. A Panel Discussion</article-title>
          .
          <source>Technometrics</source>
          <volume>34</volume>
          (
          <issue>2</issue>
          ):
          <fpage>127</fpage>
          . doi:
          <volume>10</volume>
          .2307/1269231
        </mixed-citation>
      </ref>
      <ref id="ref32">
        <mixed-citation>
          32.
          <string-name>
            <surname>Park</surname>
            <given-names>G-J</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Lee</surname>
            <given-names>T-H</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Lee</surname>
            <given-names>KH</given-names>
          </string-name>
          et al. (
          <year>2006</year>
          )
          <article-title>Robust Design. An Overview</article-title>
          .
          <source>AIAA Journal</source>
          <volume>44</volume>
          (
          <issue>1</issue>
          ):
          <fpage>181</fpage>
          -
          <lpage>191</lpage>
          . doi:
          <volume>10</volume>
          .2514/1.13639
        </mixed-citation>
      </ref>
      <ref id="ref33">
        <mixed-citation>
          33.
          <string-name>
            <surname>Petelet</surname>
            <given-names>M</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Looss</surname>
            <given-names>B</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Asserin</surname>
            <given-names>O</given-names>
          </string-name>
          et al. (
          <year>2010</year>
          )
          <article-title>Latin hypercube sampling with inequality constraints</article-title>
          .
          <source>AStA Adv Stat Anal</source>
          <volume>94</volume>
          (
          <issue>4</issue>
          ):
          <fpage>325</fpage>
          -
          <lpage>339</lpage>
          . doi:
          <volume>10</volume>
          .1007/s10182- 010-0144-z
        </mixed-citation>
      </ref>
      <ref id="ref34">
        <mixed-citation>
          34.
          <string-name>
            <surname>Phadke</surname>
            <given-names>MS</given-names>
          </string-name>
          (
          <year>1989</year>
          )
          <article-title>Quality engineering using robust design</article-title>
          . Prentice Hall, Englewood Cliffs,
          <string-name>
            <surname>N.J.</surname>
          </string-name>
        </mixed-citation>
      </ref>
      <ref id="ref35">
        <mixed-citation>
          35.
          <string-name>
            <surname>Rao</surname>
            <given-names>RS</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Kumar</surname>
            <given-names>CG</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Prakasham</surname>
            <given-names>RS</given-names>
          </string-name>
          et al. (
          <year>2008</year>
          )
          <article-title>The Taguchi Methodology as a Statistical Tool for Biotechnological Applications: A Critical Appraisal</article-title>
          .
          <source>Biotechnol J</source>
          <volume>3</volume>
          (
          <issue>4</issue>
          ):
          <fpage>510</fpage>
          -
          <lpage>523</lpage>
          . doi:
          <volume>10</volume>
          .1002/biot.200700201
        </mixed-citation>
      </ref>
      <ref id="ref36">
        <mixed-citation>
          36.
          <string-name>
            <surname>Rodermund</surname>
            <given-names>SC</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Lorig</surname>
            <given-names>F</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Berndt</surname>
            <given-names>JO</given-names>
          </string-name>
          et al.
          <article-title>An Agent Architecture for Simulating Communication Dynamics in Social Media</article-title>
          . In: Multiagent System Technologies
        </mixed-citation>
      </ref>
      <ref id="ref37">
        <mixed-citation>
          37.
          <string-name>
            <surname>Sanchez</surname>
            <given-names>SM</given-names>
          </string-name>
          (
          <year>2000</year>
          )
          <article-title>Robust design: seeking the best of all possible worlds</article-title>
          . In:
          <string-name>
            <surname>Joines</surname>
            <given-names>JA</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Barton</surname>
            <given-names>RR</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Kang</surname>
            <given-names>K</given-names>
          </string-name>
          et al.
          <source>(eds) Proceedings of the 2000 Winter Simulation Conference. IEEE Inc</source>
          , Piscataway,
          <string-name>
            <surname>N.J.</surname>
          </string-name>
          , pp
          <fpage>69</fpage>
          -
          <lpage>76</lpage>
        </mixed-citation>
      </ref>
      <ref id="ref38">
        <mixed-citation>
          38.
          <string-name>
            <surname>Sanchez</surname>
            <given-names>SM</given-names>
          </string-name>
          (
          <year>1994</year>
          )
          <article-title>A Robust Design Tutorial</article-title>
          . In:
          <string-name>
            <surname>Tew</surname>
            <given-names>JD</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Manivannan</surname>
            <given-names>S</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Sadowski</surname>
            <given-names>DA</given-names>
          </string-name>
          et al.
          <source>(eds) Proceedings of the 1994 Winter Simulation Conference</source>
          , pp
          <fpage>106</fpage>
          -
          <lpage>113</lpage>
        </mixed-citation>
      </ref>
      <ref id="ref39">
        <mixed-citation>
          39.
          <string-name>
            <surname>Sanchez</surname>
            <given-names>SM</given-names>
          </string-name>
          (
          <year>2007</year>
          )
          <article-title>Work Smarter, Not Harder: Guidelines for Designing Simulation Experiments</article-title>
          . In:
          <string-name>
            <surname>Henderson</surname>
            <given-names>SG</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Biller</surname>
            <given-names>B</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Hsieh M-H</surname>
          </string-name>
          et al.
          <source>(eds) Proceedings of the 2007 Winter Simulation Conference. December 9 - 12</source>
          ,
          <year>2007</year>
          , Washington, DC, U.S.A. IEEE,
          <string-name>
            <surname>Piscataway</surname>
            ,
            <given-names>N.J.</given-names>
          </string-name>
          , pp
          <fpage>84</fpage>
          -
          <lpage>94</lpage>
        </mixed-citation>
      </ref>
      <ref id="ref40">
        <mixed-citation>
          40.
          <string-name>
            <surname>Sanchez</surname>
            <given-names>SM</given-names>
          </string-name>
          (
          <year>2014</year>
          )
          <article-title>Simulation Experiments: Better Data, Not Just Big Data</article-title>
          . In:
          <string-name>
            <surname>Tolk</surname>
            <given-names>A</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Diallo</surname>
            <given-names>SD</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Ryzhov</surname>
            <given-names>IO</given-names>
          </string-name>
          et al.
          <source>(eds) Proceedings of the 2014 Winter Simulation Conference. IEEE Inc</source>
          , Piscataway,
          <string-name>
            <surname>N.J.</surname>
          </string-name>
          , pp
          <fpage>805</fpage>
          -
          <lpage>816</lpage>
        </mixed-citation>
      </ref>
      <ref id="ref41">
        <mixed-citation>
          41.
          <string-name>
            <surname>Sanchez</surname>
            <given-names>SM</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Wan</surname>
            <given-names>H</given-names>
          </string-name>
          (
          <year>2009</year>
          )
          <article-title>Better than a petaflop: The power of efficient experimental design</article-title>
          . In:
          <string-name>
            <surname>Rossetti</surname>
            <given-names>MD</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Hill</surname>
            <given-names>RR</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Johansson</surname>
            <given-names>B</given-names>
          </string-name>
          et al.
          <source>(eds) Proceedings of the 2009 Winter Simulation Conference (WSC</source>
          <year>2009</year>
          ).
          <source>(WSC</source>
          <year>2009</year>
          ) : Austin, Texas :
          <fpage>13</fpage>
          -
          <lpage>16</lpage>
          December
          <year>2009</year>
          . IEEE Inc, Piscataway,
          <string-name>
            <surname>N.J.</surname>
          </string-name>
          , pp
          <fpage>60</fpage>
          -
          <lpage>74</lpage>
        </mixed-citation>
      </ref>
      <ref id="ref42">
        <mixed-citation>
          42.
          <string-name>
            <surname>Schulze</surname>
            <given-names>T</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Feldkamp</surname>
            <given-names>N</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Bergmann</surname>
            <given-names>S</given-names>
          </string-name>
          et al. (
          <year>2018</year>
          )
          <article-title>Data Farming und simulationsbasierte Robustheitsanalyse für Fertigungssysteme</article-title>
          . In:
          <string-name>
            <surname>Deatcu</surname>
            <given-names>C</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Schramm</surname>
            <given-names>T</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Zobel</surname>
            <given-names>K</given-names>
          </string-name>
          <source>(eds) Tagungsband ASIM 2018 - 24. Symposium Simulationstechnik</source>
          , pp
          <fpage>243</fpage>
          -
          <lpage>251</lpage>
        </mixed-citation>
      </ref>
      <ref id="ref43">
        <mixed-citation>
          43.
          <string-name>
            <surname>Song</surname>
            <given-names>J</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Dong</surname>
            <given-names>F</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Zhao</surname>
            <given-names>J</given-names>
          </string-name>
          et al. (
          <year>2017</year>
          )
          <article-title>Optimal Design of Permanent Magnet Linear Synchronous Motors based on Taguchi Method</article-title>
          .
          <source>IET Electric Power Applications</source>
          <volume>11</volume>
          (
          <issue>1</issue>
          ):
          <fpage>41</fpage>
          -
          <lpage>48</lpage>
          . doi:
          <volume>10</volume>
          .1049/iet-epa.
          <year>2016</year>
          .0164
        </mixed-citation>
      </ref>
      <ref id="ref44">
        <mixed-citation>
          44.
          <string-name>
            <surname>Stefanovic</surname>
            <given-names>D</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Stefanovic</surname>
            <given-names>N</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Radenkovic</surname>
            <given-names>B</given-names>
          </string-name>
          (
          <year>2009</year>
          )
          <article-title>Supply network modelling and simulation methodology</article-title>
          .
          <source>Simulation Modelling Practice and Theory</source>
          <volume>17</volume>
          (
          <issue>4</issue>
          ):
          <fpage>743</fpage>
          -
          <lpage>766</lpage>
          . doi:
          <volume>10</volume>
          .1016/j.simpat.
          <year>2009</year>
          .
          <volume>01</volume>
          .001
        </mixed-citation>
      </ref>
      <ref id="ref45">
        <mixed-citation>
          45.
          <string-name>
            <surname>Strassburger</surname>
            <given-names>S</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Schulze</surname>
            <given-names>T</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Fujimoto</surname>
            <given-names>R</given-names>
          </string-name>
          (
          <year>2009</year>
          )
          <article-title>Future trends in distributed simulation and distributed virtual environments</article-title>
          . In:
          <string-name>
            <surname>Alexopoulos</surname>
            <given-names>C</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Goldsman</surname>
            <given-names>D</given-names>
          </string-name>
          , Wilson JR (
          <article-title>eds) Advancing the frontiers of simulation: a Festschrift in honor of George Samual Fishman</article-title>
          . Springer, Heidelberg, pp
          <fpage>231</fpage>
          -
          <lpage>261</lpage>
        </mixed-citation>
      </ref>
      <ref id="ref46">
        <mixed-citation>
          46.
          <string-name>
            <surname>Straßburger</surname>
            <given-names>S</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Bergmann</surname>
            <given-names>S</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Feldkamp</surname>
            <given-names>N</given-names>
          </string-name>
          et al. (
          <year>2018</year>
          )
          <article-title>Data Farming Research Project with Audi and VW</article-title>
          . In: Siemens AG (ed) 2018
          <source>Plant Simulation Worldwide User Conference</source>
        </mixed-citation>
      </ref>
      <ref id="ref47">
        <mixed-citation>
          47.
          <string-name>
            <surname>Taguchi</surname>
            <given-names>G</given-names>
          </string-name>
          (
          <year>1988</year>
          )
          <article-title>System of Experimental Design, 3rd edn</article-title>
          . Unipub,
          <string-name>
            <given-names>White</given-names>
            <surname>Plains</surname>
          </string-name>
          , New York
        </mixed-citation>
      </ref>
      <ref id="ref48">
        <mixed-citation>
          48.
          <string-name>
            <surname>Taguchi</surname>
            <given-names>G</given-names>
          </string-name>
          (
          <year>1995</year>
          )
          <article-title>Quality engineering (Taguchi methods) for the development of electronic circuit technology</article-title>
          .
          <source>IEEE Trans. Rel</source>
          .
          <volume>44</volume>
          (
          <issue>2</issue>
          ):
          <fpage>225</fpage>
          -
          <lpage>229</lpage>
          . doi:
          <volume>10</volume>
          .1109/24.387375
        </mixed-citation>
      </ref>
      <ref id="ref49">
        <mixed-citation>
          49.
          <string-name>
            <surname>Thomas</surname>
            <given-names>JJ</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Cook</surname>
            <given-names>KA</given-names>
          </string-name>
          (
          <year>2005</year>
          )
          <article-title>Illuminating the Path. Research and Development Agenda for Visual Analytics, 1st edn</article-title>
          .
          <source>IEEE Computer Society</source>
          , Los Alamitos, California
        </mixed-citation>
      </ref>
      <ref id="ref50">
        <mixed-citation>
          50.
          <string-name>
            <surname>Verein Deutscher Ingenieure</surname>
          </string-name>
          (
          <year>2014</year>
          )
          <article-title>Simulation of Systems in Materials Handling, Logistics and Production - Fundamentals VDI 3633-1(VDI 3633-1)</article-title>
        </mixed-citation>
      </ref>
      <ref id="ref51">
        <mixed-citation>
          51.
          <string-name>
            <surname>Vieira</surname>
            <given-names>H</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Sanchez</surname>
            <given-names>SM</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Kienitz</surname>
            <given-names>KH</given-names>
          </string-name>
          et al. (
          <year>2011</year>
          )
          <article-title>Improved efficient, nearly orthogonal, nearly balanced mixed designs</article-title>
          . In: Jain S,
          <string-name>
            <surname>Creasey</surname>
            <given-names>R</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Himmelspach</surname>
            <given-names>J</given-names>
          </string-name>
          et al.
          <source>(eds) Proceedings of the 2011 Winter Simulation Conference. IEEE Inc</source>
          , Piscataway, NJ, pp
          <fpage>3600</fpage>
          -
          <lpage>3611</lpage>
        </mixed-citation>
      </ref>
    </ref-list>
  </back>
</article>