Visualisierung von Daten aus Online-Partizipationsverfahren

Abstract

Online-Partizipation nutzt das Internet, um Menschen uber Entscheidungen diskutieren zu lassen und ihnen die Moglichkeit der Teilhabe an Prozessen zu gewahren. In dieser Arbeit sollen verschiedene Methoden zur Visualisierung solcher Online-Partizipationsverfahren vorgestellt werden, die dabei helfen sollen Verfahren zu uberblicken und mit ihrem Ergebnis zu arbeiten. Dabei konnen sowohl extrahierte Themen als auch Metadaten visualisiert werden.

EINLEITUNG

1.1

Problematiken bei Online-Partizipationsverfahren

Generell ist es sinnvoll vor dem Einsatz solcher Verfahren die Datengrundlage zu begutachten. Online-Partizipationsverfahren konnen, wie beispielsweise die Raddialoge, sehr zielgerichtet sein. Dies macht es notwendig zu hinterfragen, ob die Themen in den Dokumenten gut genug trennbar sind.

1https://www.fortschrittskolleg.de

2http://www.monitor-online-partizipation.de

3https://github.com/Liebeck/

OnlineParticipationDatasets Es ist schwierig semantische Strukturen in Dokumenten zu nden, wenn diese wenig verschiedene semantische Strukturen aufweisen.

Ein weiter zu bedenkender Aspekt liegt in der Form der Online-Partizipationsverfahren. Mitunter sind Vorschlage, und damit die Dokumente, sehr kurz und beinhalten nur wenige Worter. Damit diesem Dokument die richtigen Themen zugewiesen werden konnen, muss das eingesetzte Verfahren sehr prazise arbeiten. Das Problem Topic Modeling auf kurzen Texten zu verwenden wird unter anderem von Jin et al. [ 7 ] oder Yan et al. [ 26 ] behandelt.

Auf der anderen Seite stehen lange Vorschlage mit vielen Kommentaren. Diese konnen gleich mehrere Themen behandeln. Oder aber der Diskurs in den Kommentaren wird nur uber einen Aspekt gefuhrt, was ebenfalls die Themen dieses Dokuments verfalscht.

Die ublichen in der Forschung eingesetzten Datensatze zum Topic Modeling entstammen Zeitungen oder Wikipedia. Meistens sind Dokumente aus diesen beiden Spektren nicht nur langer, sondern viel themenbezogener als bei Online-Partizipationsverfahren. Neben der Tatsache, dass diese Dokumente formaler geschrieben sind, unterliegen sie in der Regel einer Systematik der Kategorisierung. So steht schon das Erstellen im Zusammenhang mit beispielsweise einer Kategorie bei Wikipedia oder Rubrik einer Zeitung. Zusatzlich unterliegen diese Texte einer strengen Qualitatskontrolle, anders als Vorschlage oder Kommentare bei Online-Partizipationsverfahren, die diese Kategorisierung einigerma en sicherstellt.

VISUALISIERUNG

Daten wurden schon visualisiert, als es noch keine Computer gab. Eine Visualisierung kann zum einen eine A~ IJbersicht uber gro e Datenmengen scha en, zum anderen konnen gefundene Strukturen dargestellt werden. Auch kann eine Visualisierung Menschen ermoglichen, Strukturen oder Besonderheiten der Daten zu erkennen. Die Arten der Visualisierung und deren Moglichkeiten sind vielfaltig und richten sich nach Art und Struktur der Daten, Anforderungen der Benutzer und nicht selten A~ Dsthetik. Dabei sollte die Verwendung durch den Menschen im Vordergrund stehen und zu dessen Verstandnis beitragen.

Visualisierungen konnen interdisziplinar unter verschiedensten Aspekten betrachtet werden, wobei diese Arbeit nur einen kleinen Ausschnitt uber die Moglichkeiten bieten kann. Der Hauptfokus der zu visualisierenden Daten liegt auf Texten, aber auch statistische Daten sind verwendbar. Kuscher und Kerren [ 10 ] bieten eine interessante A~ IJbersicht uber Techniken, die zur Visualisierung von Text verwendet werden konnen und stellen ein Online-Tool dafur bereit4. Die Daten die bei Online-Partizipation anfallen, sind hauptsachlich Textbeitrage, aber etwa auch Abstimmungsdaten. Dazu gibt es auch erhobene Zeitpunkte, etwa wann ein Beitrag erstellt wurde. Je nachdem wie viel Einsicht in ein System vorliegt, konnen auch Zeitpunkte von Abstimmungen erhoben oder das Suchverhalten protokolliert werden. Analog zu Cao und Cui. [ 1 ] konnen so folgende Ebenen der Visualisierung bei der Online-Partizipation identi ziert werden: Gesamtheit aller Dokumente, Dokumentebene, Wortebene und Themenebene. Au erdem konnen zeitliche Ver

4http://textvis.lnu.se/

laufe und Suchanfragen visualisiert werden.

Im folgenden werden verschiedene Techniken vorgestellt und diskutiert, auf welchen Ebenen diese im Bezug auf OnlinePartizipationsverfahren verwendet werden konnen. 2.1

Histogramme

Histogramme bilden eine recht einfache, aber ubersichtliche Visualisierung. Dabei werden Datenpunkte eines kontinuierlichen Wertebereiches in Intervalle unterteilt, dessen Wahrscheinlichkeitsverteilungen uber eine Variable dargestellt werden Vellemann und Hoaglin [ 25 ]. Diese Intervalle, Klassen genannt, werden uber den gesamten Wertebereich der Datenpunkte gebildet. Die Addition der Hau gkeiten ergibt dann die Gesamtanzahl aller Datenpunkte. Dabei konnen entweder die absoluten oder die relativen Hau gkeiten betrachtet werden.

Im Zusammenhang mit Online-Partizipation konnen Histogramme eine A~ IJbersicht uber numerische Werte bieten. Etwa Abstimmungsdaten von Vorschlagen, Anzahl an Kommentaren der Vorschlage, Anzahl der Worter in einem Dokument oder auch Nutzungsdaten von Benutzern, falls diese erhoben werden. Ein Beispiel solcher Histogramme zeigt Abbildung 1. Mit Hilfe dieser Abbildung kann beurteilt werden, wie die Anzahlen der Zustimmungen und Kommentare bei den einzelnen Vorschlagen verteilt ist, was Aufschluss uber die Beteiligung gibt. 2.2

Word Clouds

Eine relativ neue Visualisierung sind Word Clouds [ 5 ], die Worter in einer Art Wolke darstellen. Die Gro e der Worte wird durch ein Gewicht bestimmt. Dies kann die Hau gkeit eines Wortes sein. Es bietet sich etwa tf idf an, oder tf unter Verwendung des Logarithmus, damit hau ge Worter nicht zu stark dominieren. Au erdem konnen die Worte auch verschiedene Farben haben, welche hauptsachlich der einfacheren Unterscheidung dienen.

Wesentlich ist die Anordnung der Worte innerhalb der Wolke, da dies die Wahrnehmung der Wolke beein usst. Lohmann et al. [ 12 ] haben verschiedene Ansatze evaluiert und kommen zu dem Ergebnis, dass die Anordnung in einer Word Cloud von ihrem Verwendungszweck abhangt. Soll diese dazu dienen die Suche nach einem Wort zu vereinfachen, empfehlen sie eine sequentielle, alphabetisch geordnete Anordnung. Wird eine Word Cloud hingegen verwendet, um die hau gsten Begri e zu visualisieren, sei eine zirkulare Ausrichtung mit den hau gsten Begri en im Zentrum zu bevorzugen. Schlie lich zeigen Lohmann et al. [ 12 ] auch die Moglichkeit auf, Word Clouds nach Themen zu strukturieren.

Fur Online-Partizipationsverfahren konnen Word Clouds die Hau gkeit von Wortern auf verschiedenen Ebenen visualisieren. Word Clouds konnen das gesamte Verfahren oder Beitrage, aber auch gefundene Themen darstellen. Denkbar ist auch die Darstellung von Suchergebnissen, die aber wenig sinnvoll erscheint da der Suchende an konkreten Ergebnissen interessiert ist. Bei dem Einsatz von Word Clouds sollte die Zweckma igkeit im Auge behalten werden. Abbildung 2 zeigt ein Beispiel einer Word Cloud, deren enthaltenen Worter zufallig angeordnet sind. 2.3

Visualisierungen mittels nicht-linearer Dimensionsreduzierung

Der nachste Teilbereich von Visualisierungen ist vergleichs

Abbildung 1: Histogramme uber die 2331 Vorschlage des Bonner Rad-Dialoges. Abbildung 2: Word Cloud des Bonner Rad-Dialoges mit logarithmischer Gewichtung. weise komplex und viel beschrieben. Da Daten nur in zwei Dimensionen verstandlich dargestellt werden konnen, verwenden viele nicht-lineare Ansatze eine Dimensionsreduzierung, um mehrdimensionale Daten in einem zweidimensionalen Raum darzustellen. Dafur werden die Daten zuerst auf zwei Dimensionen reduziert und dann mit einem Streudiagramm dargestellt. Es gibt einige Verfahren, wie das von Sammon [ 19 ], Silva und Tenenbaum [ 22 ] oder Roweis und Saul [ 18 ]. Als state of the art wird t-SNE von Maaten und Hilton [ 14 ] angesehen. Ein relativ neues Verfahren, UMAP von McInnes und Healy [ 15 ], verspricht eine bessere Performance als t-SNE bei geringerer Laufzeit. All diese Verfahren nehmen an, dass Datenpunkte eine Mannigfaltigkeit teilen und verwenden mathematische Verfahren, um diese abzuschatzen. UMAP beispielsweise verwendet die Riemannsche Geometrie zusammen mit Fuzzy-Sets [ 9 ].

Fur Online-Partizipationsverfahren sind theoretisch mehrere Moglichkeiten des Einsatzes moglich, wobei alle mit latenten Themen innerhalb der Beitrage arbeiten. So konnten nicht-lineare Dimensionsreduzierung verwendet werden, um Themen zu nden (analog zum linearen Topic-Modeling) und gegebenenfalls darzustellen. Au erdem konnten bereits reduzierte Vektoren und somit gefundene Themen im zweidimensionalen Raum dargestellt werden. Die zweite Verwendung erscheint dabei deutlich sinnvoller, vor allem wegen der hohen Laufzeit der Reduzierung. Da die zweidimensionale Reduzierung die Dokumente als kleine Punkte visualisiert, kann dies die intuitive Verwendung durch den Benutzer beeintrachtigen.

Dabei konnen unubersichtliche Graphen entstehen, die wenig Erkenntnisgewinn bringen. Der Graph ist interaktiv, sodass Daten uber jedes Dokument angezeigt werden, wenn die Maus uber den entsprechenden Punkt bewegt wird. Jedoch ist diese Graphik zu irritierend, um bei Online-Partizipationsverfahren sinnvoll verwendet werden zu konnen. 2.4

Streudiagramm

Neben der Darstellung von dimensionsreduzierten Daten kann ein Streudiagramm eine Vielzahl von zweidimensionalen Daten visualisieren. Dabei wird jedes Dokument als Punkt in einem Graphen dargestellt. So konnen zwei Features gegeneinander aufgetragen und so Korrelationen erkannt werden. Abgesehen von der Position der einzelnen Datenpunkte, konnen die Datenpunkte fur verschiedene Eigenschaften unterschiedliche Farben erhalten.

Neben den bereits angesprochenen Daten bspw. zur Zustimmung, konnen damit auch zwei Textkorpora verglichen werden, wie [ 8 ] aufzeigt. Die entwickelte Software tragt den Namen Scatteretext 5 Die Hauptidee ist, dass jedem Korpus eine Achse zugewiesen wird, die die relative Hau gkeit eines Terms beschreibt. So bestimmt sich die Position eines Terms durch die relative Hau gkeit in beiden Korpora, wodurch sich ebenfalls das Verhaltnis der beiden Hau gkeiten erkennen lasst. In den beiden Ecken oben links bzw. unten rechts, sind die Terme verzeichnet, die die Korpora vom jeweils anderen unterscheiden. Die Farbe andert sich in Abhangigkeit zur Distanz zu einer der Ecken. Au erdem wird an jedem Punkt der Term notiert, was erheblich zur Verstandlichkeit beitragt. Ein Beispiel ist in Abbildung 3 zu sehen. Scattertext macht vor allem Sinn, wenn zwei Online-Partizipationsverfahren , etwa aus verschiedenen Jahren oder Stadten, verglichen werden sollen. So kann beurteilt werden durch welche Begri e sich Verfahren unterscheiden, was wiederum eine Aussagekraft uber das Verfahren selbst liefert, da die Hau gkeit der Worter in den Kontext eines ande

5https://github.com/JasonKessler/scattertext

ren Verfahrens gesetzt werden. Denkbar ist auch, dass zwei Korpora vergleichen werden die jeweils mehrere Online-Partizipationsverfahren zusammenfassen.

Neben der Visualisierung von nicht-linearer Dimensionsreduktion, werden Streudiagramme eingesetzt, um Korrelationen zwischen zwei numerischen Features zu visualisieren. 2.5

Netzdiagramm

Netzdiagramme stellen die Auspragungen verschiedener Dimensionen in einer runden Form da. Dabei wird jede Dimension auf einer eigenen Achse um den Mittelpunkt eines Kreises herum aufgetragen [ 24 ]. Zwar werden die Punkte auf den einzelnen Achsen verbunden, jedoch stehen die benachbarten Achsen nicht beabsichtigt nebeneinander. Sollen in einem Diagramm mehrere Objekte dargestellt werden, sollten diese visuell unterscheidbar sein, etwa durch verschiedene Farben [ 13 ]. Allerdings sollten damit nicht zu viele Objekte vergleichen werden, weshalb hau g auch Diagramme fur verschiedene Objekte nebeneinander gezeigt werden, wobei die Position der Achsen in jedem Diagramm gleich sein sollte.

Daten von Online-Partizipationensverfahren konnen damit in vielfaltiger Hinsicht verglichen werden. So konnen Netzdiagramme dazu genutzt werden einzelne Aspekte des Verfahrens zu visualisieren, beispielsweise die Verteilung von Vorschlagen oder Kommentaren auf die einzelnen Wochentage (siehe Abbildungen 4). Die Information wann sich beteiligt wird, kann etwa fur sozialwissenschaftliche Auswertungen interessant sein.

Diese zu vergleichenden Aspekte, also Dimensionen, werden anders als bei Histogrammen jedoch vorher ausgewahlt. Verwendet werden Netzdiagramme auch, um die Themenverteilung eines Dokuments oder einer Suchanfrage zu visualisieren [ 20 ]. Dabei wird an jede Achse ein fur das Thema aussagekraftiger Begri vermerkt. Diese aussagekraftigen Begri e konnen auch mit Topic Labeling [ 16 ] gefunden werden. Schlie lich konnen mit Netzdiagrammen auch verschiedene Dokumente, Dokumentenmengen oder gesamte OnlinePartizipationen visuell vergleichen werden. 2.6

Visualisierung von extrahierten Themen

Extrahierte Themen zu visualisieren hat vor dem Hintergrund dieser Arbeit einen besonderen Stellenwert. Es gibt auch Arbeiten, die sich hauptsachlich damit beschaftigen Themen in unterschiedlicher Weise visualisieren, visualisierend vergleichen oder damit Interaktion visualisierend zu Unterstutzen. Davon werden hier einige vorgestellt. Murdock und Allen [ 17 ] stellen eine Visualisierung von A~ Dhnlichkeitssuchen unter Verwendung eines Topic Models vor. Dies ermoglicht dem Benutzer ahnliche Dokumente zu einem von ihm ausgewahlten zu nden. Visualisiert werden die ahnlichsten Dokumente mit einem nach A~ Dhnlichkeit sortierten Balkendiagramm. Der Charakter dieser Visualisierung ist mehr von unterstutzender Natur und eher fur Korpora geeignet, wo Dokumente leicht anhand ihres Titels identi ziert werden konnen. Somit erscheint eine Verwendung der Visualisierung sinnvoll, die dem Benutzer ahnliche Dokumente zu dem aktuell betrachtetem aufzeigt und dabei gefundene Themen mit darstellt. Denkbar ist auch die A~ Dhnlichkeit einer Anfrage zu Dokumenten in dieser Weise zu visualisieren.

LDAvis, welches von Sievert und Shirley [ 21 ] entwickelt wurde, kombiniert im wesentlichen zwei Darstellungformen. Eine davon ist, die Themen anhand ihrer A~ Dhnlichkeit im zweidimensionalen Raum darzustellen. Dazu wird eine Distanzmatrix der Dokumente mit einem dimensionsreduzierenden Verfahren, z.B. PCA, auf zwei Dimensionen reduziert [ 3 ]. Dargestellt wird jedes Thema in diesen zwei Dimensionen als Kreis, dessen Flache sich nach dem Ein uss des Themas auf den Korpus bezieht. Kreise konnen sich uberlappen und auch komplett in anderen Kreisen liegen, wobei kein Zusammenhang zwischen Ein uss des Themas und der Lage erkennbar ist. Themen konnen so andere uberlagern, auch wenn sie sich wenig ahneln, nur falls eines einen gro en Ein uss hat. Dieses A~ IJberlagern kann Hierarchie vortauschen, die so nicht aus der Berechnung abgeleitet werden kann. Grundsatzlich ist LDAvis auch fur Online-Partizipationsverfahren geeignet, jedoch sollte die Art der Verwendung auch unerfahrene Benutzer nicht uberfordern. In Abbildung 5 ist ein Beispiel von LDAvis zu sehen.

Die Autoren schlagen ebenfalls Clustering innerhalb dieses zweidimensionalen Raums vor.

Die andere Darstellungsform zeigt ein Balkendiagramm der Top-Words eines ausgewahlten Themas an. Jedes Wort hat zwei Balken, einen der den Anteil am Thema und einen der die Hau gkeit im Korpus wiedergibt. Bewegt man die Maus uber einen Begri , wird im Graph der Ein uss auf die Themen durch Veranderung der Flache der Kreise angezeigt. Ein Verfahren Begri e innerhalb eines Themas zu visualisieren, haben Smith et al. [ 23 ] vorgestellt. Dazu werden kraftebasierte Zeichenverfahren [ 6 ] unter Einbeziehung von statistischen Daten und Daten der Themen verwendet. Jedes Thema wird als eigener Graph dargestellt, wo eine ausgewahlte Anzahl von Begri en die Knoten darstellen. Kanten verbinden zwei Knoten nur, wenn der Kookorenzwert der dazugehorigen Begri e hoch genug ist, sie also hau g genug zusammen auftreten. Zusatzlich beschreibt die Flache der Knoten den Zugehorigkeitswert eines Begri s zu einem Thema. Die Graphen der Themen werden dann nach Kovarianz zwischen den Themen angeordnet.

Diese Art der Visualisierung ist nur begrenzt sinnvoll, da sie schon bei einer begrenzten Anzahl an Themen und kraftebasierten Graphen mit vielen Kanten unubersichtlich werden konnen. 2.7

Simple Formen der Visualisierung

Sinnvoll sein kann der Einsatz von simplen Formen der Visualisierung. Diese sind nicht selten intuitiver oder werden auch ohne viel Vorwissen verstanden.

Balkendiagramme sind nicht die schlichteste Visualisierungsform, jedoch lassen sie sich analog zu Netzdiagrammen verwenden, so dass sich ahnliche A~ IJberlegungen ergeben. Anders als Histogramme, visualisieren Balkendiagramme feste Variablen, dessen Auspragungen dargestellt werden. Auch mussen Balkendiagramme nicht die Hau gkeit darstellen. Wie bereits erortert, konnen Balkendiagramme auch horizontal angewendet werden und die Balken aus mehreren Segmenten bestehen.

Eine viel verwendete und leicht zugangliche Methode extrahierte Themen zu visualisieren, sind die jeweiligen TopWorter als Liste darzustellen, absteigend nach Zugehorigkeit zum Thema. Solche Wortlisten mussen nicht weiter erklart werden. 2.8

Schlussfolgerung

Betrachtet man die vorhandenen Methoden zur VisualiAbbildung 3: Screenshot von Scattertext : Vergleich der Online-Partizipationsverfahren Bonn und Koln-Ehrenfeld. der Raddialoge in Abbildung 4: Relative Hau gkeiten der Vorschlage und Kommentare des Raddialog Bonn und des Bonner Burgerhaushalt 2011 an den Wochentagen.

Abbildung 5: Screenshot einer 2D-Darstellung des Modells von extrahierten Themen sierung fallt ins Auge, dass vor allem Metadaten visualisiert werden konnen. Numerische Daten wie Abstimmungszahlen, Anzahl an Kommentaren oder zeitliche Daten konnen mit gangigen Methoden visualisiert werden. Dazu gehoren Graphen, Diagramme und Histogramme.

Texte zu visualisieren ist dagegen eine Herausforderung. Einerseits konnen simple Wortlisten oder Wortwolken verwendet werden, andererseits konnen Methoden angewendet werden, um extrahierte Themen zu visualisieren. Diese Visualisierungen sind oft komplex oder bieten wenig Vorteile gegenuber einer textbasierten Darstellung.

Schlie lich kann eine gute Visualisierung auch bedeuten, Suchergebnisse oder Beitrage verstandlich und ubersichtlich darzustellen. 3.

FAZIT UND AUSBLICK

Online-Partizipationsverfahren maschinell zu analysieren, kann Teilnehmenden und Betreuenden einen Einblick in und eine A~ IJbersicht uber das Verfahren geben. Beides kann helfen Verfahren so zu gestalten, dass sich mehr Menschen beteiligen und diese Beitilgung besser ausgewertet wird. Eine zentraler Wunsch bei Online-Partizipation ist, die Akzeptanz von Entscheidungen bei den Betro enen zu steigern. Zur Themenextraktion bieten sich neben der state-of-the-art Methode LDA ebenfalls NMF und LSI an. Diese extrahieren Themen werden mit einer sortierten Menge von Wortern assoziiert. Damit kann eine A~ IJbersicht uber die Beitrage gegeben werden. Die Ergebnisse, also gefundenen Themen sind jedoch stark subjektiv [ 2 ]. Da Wortlisten extrahierter Themen nicht alle Aspekte eines Online-Partizipationsverfahrens abdecken konnen, wurden Visualisierungen vorgestellt. Neben Darstellungen fur Metadaten, gibt es auch Visualisierungen fur extrahierte Themen oder Modelle. Diese sind leider oft kompliziert oder zeigen selten neue Aspekte auf. Weiterhin ist die Beurteilung einer Visualisierung stark subjektiv. Visualisierungen sollten intuitiv, informativ und leicht zuganglich sein.

In Zukunft bietet sich weitere Forschung an, um extrahierte Themen intuitiv und interaktiv darzustellen. Au erdem konnen diese Visualisierungen in Studien evaluiert werden, um die Verstandlichkeit zu beurteilen.

References

[1] N. Cao and W. Cui . Introduction to text visualization . In Atlantis Briefs in Arti cial Intelligence , 2016 .

[2] J. Chang , J. L. Boyd-Graber , S. Gerrish , C. Wang , and D. M. Blei . Reading tea leaves: How humans interpret topic models . In Advances in Neural Information Processing Systems 22: 23rd Annual Conference on Neural Information Processing Systems 2009. Proceedings of a meeting held 7-10 December 2009 , Vancouver, British Columbia, Canada., pages 288 { 296 , 2009 .

[3] J. Chuang , D. Ramage , C. D. Manning , and J. Heer . Interpretation and trust: designing model-driven visualizations for text analysis . In CHI , 2012 .

[4] T. Escher and B. Rottinghaus . Local government platforms for citizen participation and their e ects on legitimacy . 2018 .

[5] J. Feinberg . Wordle. In J. Steele and N. Iliinsky, editors, Beautiful visualization: looking at data through the eyes of experts, chapter 3 . O 'Reilly Media , Inc." , 2010 .

[6] T. M. Fruchterman and E. M. Reingold . Graph drawing by force-directed placement . Software: Practice and experience , 21 ( 11 ): 1129 { 1164 , 1991 .

[7] O. Jin , N. N. Liu , K. Zhao , Y. Yu , and Q. Yang . Transferring topical knowledge from auxiliary long texts for short text clustering . In Proceedings of the 20th ACM international conference on Information and knowledge management , pages 775 { 784 . ACM, 2011 .

[8] J. S. Kessler . Scattertext: a browser-based tool for visualizing how corpora di er . CoRR, abs/1703.00565 , 2017 .

[9] G. Klir and B. Yuan . Fuzzy sets and fuzzy logic , volume 4 . Prentice hall New Jersey, 1995 .

[10] K. Kucher and A. Kerren . Text visualization techniques: Taxonomy, visual survey, and community insights . In 2015 IEEE Paci c Visualization Symposium (Paci cVis) , pages 117 { 121 , 2015 .

[11] M. Liebeck , K. Esau , and S. Conrad . Text Mining fur Online-Partizipationsverfahren: Die Notwendigkeit einer maschinell unterstutzten Auswertung . HMD Praxis der Wirtschaftsinformatik , 54 ( 4 ): 544 { 562 , 2017 .

[12] S. Lohmann , J. Ziegler , and L. Tetzla . Comparison of tag cloud layouts: Task-related performance and visual exploration . In IFIP Conference on Human-Computer Interaction , pages 392 { 404 . Springer, 2009 .

[13] R. B. Lydiard , K. Rickels , B. Herman , and D. E. Feltner . Comparative e cacy of pregabalin and benzodiazepines in treating the psychic and somatic symptoms of generalized anxiety disorder . International Journal of Neuropsychopharmacology , 13 ( 2 ): 229 { 241 , 2010 .

[14] L. v . d. Maaten and G. Hinton . Visualizing data using t-sne . Journal of machine learning research , 9 (Nov): 2579 { 2605 , 2008 .

[15] L. McInnes and J. Healy . UMAP: Uniform Manifold Approximation and Projection for Dimension Reduction . ArXiv e-prints, Feb . 2018 .

[16] Q. Mei , X. Shen , and C. Zhai . Automatic labeling of multinomial topic models . In Proceedings of the 13th ACM SIGKDD international conference on Knowledge discovery and data mining , pages 490 { 499 . ACM, 2007 .

[17] J. Murdock and C. Allen . Visualization techniques for topic model checking . In AAAI , pages 4284 { 4285 , 2015 .

[18] S. T. Roweis and L. K. Saul . Nonlinear dimensionality reduction by locally linear embedding . science , 290 ( 5500 ): 2323 { 2326 , 2000 .

[19] J. W. Sammon . A nonlinear mapping for data structure analysis . IEEE Transactions on Computers , C- 18 : 401 { 409 , 1969 .

[20] S. Sasaki , K. Yoshii , T. Nakano , M. Goto , and S. Morishima . Lyricsradar: A lyrics retrieval system based on latent topics of lyrics . In Ismir, pages 585 { 590 , 2014 .

[21] C. Sievert and K. Shirley. Ldavis : A method for visualizing and interpreting topics . In Proceedings of the workshop on interactive language learning, visualization, and interfaces , pages 63 { 70 , 2014 .

[22] V. D. Silva and J. B. Tenenbaum . Global versus local methods in nonlinear dimensionality reduction . In Advances in neural information processing systems , pages 721 { 728 , 2003 .

[23] A. Smith , J. Chuang , Y. Hu , J. L. Boyd-Graber , and L. Findlater . Concurrent visualization of relationships between words and topics in topic models . 2014 .

[24] N. R. Tague et al. The quality toolbox , volume 600 . ASQ Quality Press Milwaukee, WI, 2005 .

[25] P. F. Velleman and D. C. Hoaglin . Applications, basics, and computing of exploratory data analysis . Duxbury Press , 1981 .

[26] X. Yan , J. Guo , Y. Lan , and X. Cheng . A biterm topic model for short texts . In Proceedings of the 22nd international conference on World Wide Web , pages 1445 { 1456 . ACM, 2013 .