=Paper=
{{Paper
|id=Vol-1366/paper9.pdf
|storemode=property
|title=Ansätze zur Erkennung von Kommunikationsmodi in Online-Diskussionen
|pdfUrl=https://ceur-ws.org/Vol-1366/paper9.pdf
|volume=Vol-1366
|dblpUrl=https://dblp.org/rec/conf/gvd/Liebeck15
}}
==Ansätze zur Erkennung von Kommunikationsmodi in Online-Diskussionen==
<pdf width="1500px">https://ceur-ws.org/Vol-1366/paper9.pdf</pdf>
<pre>
       Ansätze zur Erkennung von Kommunikationsmodi in
                      Online-Diskussionen

                                                         Matthias Liebeck
                                               Heinrich-Heine-Universität Düsseldorf
                                                       Institut für Informatik
                                                         Universitätsstr. 1
                                                D-40225 Düsseldorf, Deutschland
                                               liebeck@cs.uni-duesseldorf.de

Zusammenfassung                                                            se Textbeiträge können automatisiert analysiert werden, um
Bei der automatisierten Analyse von Textbeiträgen aus                     Meinungsbilder über individuelle Themen zu erstellen.
Online-Plattformen erfolgt oft eine Einteilung in positive                 1.1   Analyse von Online-Diskussionen
und negative Aussagen. Bei der Analyse von Textbeiträ-
gen eines kommunalen Online-Partizipationsverfahrens ist                      Von besonderem Interesse ist die automatisierte Analy-
eine Aufteilung der geäußerten Meinungen in Kommuni-                      se von Online-Partizipationsverfahren, bei denen Bürger die
kationsmodi sinnvoll, um eine Filterung nach Argumenten                    Möglichkeit nutzen, ihre Meinung zu lokalkommunalen The-
und Emotionsäußerungen für nachfolgende Verarbeitungs-                   men zu äußern. Bei einer oft erwünschten, hohen Teilneh-
schritte zu ermöglichen. In dieser Arbeit werden zwei An-                 merzahl an Bürgern kann schnell das Problem auftreten,
sätze zur Erkennung von Kommunikationsmodi vorgestellt.                   dass die beteiligten Bürger viele Textbeiträge erstellen und
Das erste Verfahren unterscheidet verschiedene Kommuni-                    dadurch ein hoher Aufwand für eine manuelle Auswertung
kationsmodi anhand von Wortlisten. Die zweite Methode                      entsteht. Dieser nicht unerhebliche Arbeitsaufwand kann für
berücksichtigt Wortarten und extrahiert weitere sprachli-                 Kommunen mit geringem Budget zu dem Problem führen,
che Eigenschaften. Zur Evaluation der Ansätze wird ein Da-                dass für die Analyse nicht genügend personelle Ressourcen
tensatz aus Schlagzeilen von Nachrichtenartikeln der Inter-                zu Verfügung stehen und eine Analyse durch einen externen
netseite ZEIT ONLINE und der Satire-Website Postillon er-                  Dienstleister finanziell ebenfalls nicht möglich ist.
stellt. Die Ansätze werden zur Erkennung des Kommunika-                      Eine weitere Schwierigkeit entsteht, wenn in einer Kom-
tionsmodus Satire eingesetzt. Das beste Ergebnis mit einem                 mune erstmalig ein Online-Beteiligungsverfahren eingesetzt
durchschnittlichen F1 von 75,5 % wird durch den zweiten                    wird und die beteiligten Bürger vermehrt Inhalte äußern,
Ansatz mit einer Support Vector Machine erreicht.                          die nicht zu dessen Thema passen. Werden in einem Verfah-
                                                                           ren beispielsweise gemeinsam Sparmaßnahmen diskutiert, so
                                                                           sind Beiträge, in denen Bürger kostenintensive Baumaßnah-
Kategorien                                                                 men an der städtischen Infrastruktur vorschlagen, nicht kon-
I.2.7 [Natural Language Processing]: Text Analysis;                        struktiv und sollten herausgefiltert werden können.
H.3.1 [Information stogare and retrieval]: Text Mining                        Um diese Probleme zu reduzieren, sind mehrere auto-
                                                                           matisierte Schritte denkbar, die zu einer Arbeitsreduk-
Schlüsselwörter                                                            tion bei einer qualitativen Analyse führen. Durch diese
                                                                           Arbeitsreduktion kann eine Verwaltung umfassender mit
Natural Language Processing, Text Mining, Text Analysis,                   den beteiligten Bürgern über eingereichte Verbesserungs-
Sentiment Analysis, Opinion Mining, Emotion Recognition,                   vorschläge diskutieren. Zu diesen automatisierten Schrit-
Satire Detection, Postillon                                                ten gehören die thematische Gruppierung von Textbeiträ-
                                                                           gen und die themenspezifische Bestimmung einer Tonalität
1.   EINLEITUNG                                                            t ∈ {positiv, negativ, neutral}, um ein Stimmungsbild ab-
   Im Internet gibt es viele verschiedene Plattformen, auf de-             schätzen zu können. Dadurch kann beispielsweise ermittelt
nen Meinungen, z. B. über Produkte, Filme oder politische                 werden, dass sich viele Bürger über eine Parkplatzsituati-
Themen, als Textbeiträge geäußert werden können. Die Be-                on in einem Stadtteil beschweren und Anpflanzungen neuer
nutzer können untereinander Diskussionen führen, in denen                Bäume in einem Park befürworten.
sie idealerweise argumentativ ihre Meinungen darlegen. Die-                   Ein üblicher Ansatz zur Bestimmung von Tonalitäten ist
                                                                           der Einsatz eines Tonalitätslexikons, in dem für einzelne
                                                                           Wörter jeweils ein numerischer Tonalitätswert angegeben
                                                                           ist. In [10] wurde gezeigt, dass für das deutsche Tonali-
                                                                           tätslexikon SentiWS [14] nur eine geringe Abdeckung für
                                                                           die untersuchten Kommentare aus einem kleineren Online-
                                                                           Partizipationsverfahren und einem Nachrichtenportal er-
                                                                           reicht wurde und daher weitergehende Ansätze zur Bestim-
                                                                           mung von positiven und negativen Aussagen nötig sind. In
27th GI-Workshop on Foundations of Databases (Grundlagen von Daten-
banken), 26.05.2015 - 29.05.2015, Magdeburg, Germany.                      dieser Publikation werden daher zwei Ansätze vorgestellt,
Copyright is held by the author/owner(s).                                  die eine differenziertere Analyse von Meinungsäußerungen

                                                                      42
ermöglichen sollen, indem genauer auf Kommunikationsmo-             ordnet wird, hat sich für die Analyse von Zeitungsartikeln
di und geäußerte Emotionen eingegangen wird.                        im Rahmen einer Medienresonanzanalyse [16] bewährt.
                                                                        Die Erkennung von Emotionen in Texten ist bereits mehr-
1.2   Kommunikationsmodi                                             fach [1, 8, 17] untersucht worden. Das Ziel von [1] ist die
   In Online-Diskussionen verwenden die Teilnehmer ver-              Erkennung von Emotionen in Märchentexten. Die Autoren
schiedene Kommunikationsmodi. Die einzelnen Beteiligten              fokussieren sich dabei auf die binäre Klassifikation von eng-
können beispielsweise Aussagen tätigen (1), Argumente für         lischsprachigen Sätzen und untersuchen, ob in einem Satz
oder gegen einen Standpunkt formulieren (2) oder Emoti-              Emotionen auftreten. Dafür annotieren sie einen Datensatz
onsäußerungen zum Ausdruck bringen (3).                             von 1580 Sätzen aus 22 Geschichten der Gebrüder Grimm,
   (1) Ich bin für den Bau eines Schwimmbads.                       auf dem ein linearer Klassifikator trainiert und evaluiert
   (2) Es sollte kein Geld für die Oper ausgegeben werden,          wird. Zur vektoriellen Repräsentation der einzelnen Sätze
       da unsere Schulen das Geld dringender benötigen.             verwendet [1] mehrere sprachliche Eigenschaften wie die Ver-
   (3) Die steigende Kriminalitätsrate macht mir Angst.             teilung von POS-Tags, Satzlängen, Interpunktionszeichen
   Die Emotionsäußerungen können wiederum in ver-                  und mehrere Listen von Wörtern, die auf Emotionen hin-
schiedene Emotionen differenziert werden. Bei der                    deuten.
Untersuchung von Textbeiträgen aus Online-Par-                         Eine automatisierte Erkennung von sechs verschiedenen
tizipationsverfahren sind zunächst die Emotionen                    Emotionen erfolgt in [17]. Die Autoren untersuchen meh-
E := {Freude, Hoffnung, Empörung, Enttäuschung, Angst}             rere Techniken auf einem Datensatz aus 1000 Schlagzeilen
für ein Stimmungsbild der Bürgermeinungen interessant.             von Nachrichtenartikeln. Für ein Baseline-Verfahren erstel-
Eine fundiertere Einteilung wird in zukünftigen Arbeiten            len die Autoren sechs Wortlisten aus WordNet-Affect [18],
durch Experten erfolgen. Die folgenden Beispiele aus einem           einer um Emotionen annotierte Erweiterung von WordNet
fiktiven Online-Partizipationsverfahren veranschaulichen             [11]. In dem Baseline-Verfahren erfolgt die Klassifikation ei-
die unterschiedenen Emotionen.                                       nes Satzes s zu Emotionen durch das Auftreten der einzelnen
   (4) Freude: Das wäre wirklich schön.                            Wörter aus s in den Wortlisten. In einem fortgeschrittenen
   (5) Hoffnung: Ich hoffe, dass an der Hauptstraße neue             Verfahren, das aus einer Kombination aus Latent Semantic
       Bäume gepflanzt werden können.                              Analysis [9] und Synonymen aus WordNet und WordNet-
   (6) Empörung: Das gehört doch verboten!                         Affect besteht, erreicht [17] einen durchschnittlichen F1 Wert
   (7) Enttäuschung: Die zur letzten Wahlperiode verspro-           von 17,57 % als bestes Ergebnis für die Erkennung der sechs
       chene Änderung konnte meine Erwartungen nicht er-            Emotionen.
       füllen.                                                         In [3] wird ebenfalls das binäre Klassifikationsproblem der
   (8) Angst: Ich befürchte, dass meine Buslinie durch diese        Satire-Erkennung in Zeitungsartikeln behandelt. Dabei be-
       Änderung eingestellt wird.                                   rücksichtigen die Autoren zusätzlich den Inhalt der Nach-
   Bei der automatisierten Erkennung von Emotionen vari-             richtenartikel. Als Datensatz untersucht [3] dabei insgesamt
iert die Einteilung der Emotionen je nach Textmaterial. [17]         4000 englischsprachige Zeitungsartikel, von denen 233 Satire
unterscheidet in die sechs Emotionen anger, disgust, fear,           beinhalten. Als Basismodell wählen die Autoren ein Bag-
joy, sadness und surprise, wohingegen [8] nur die vier Emo-          of-Words-Modell mit binärer Gewichtung. Eine deutliche
tionen anger, fear, joy und sadness betrachtet.                      Steigerung der Ergebnisse kann mit Bi-Normal Separation
   Der Grund für die Untersuchung von Kommunikations-               (BNS) [6] als Gewichtung, dem Nachschlagen von Wörtern
modi ist die Arbeitshypothese, dass durch eine automatische          in einem Lexikon und einer Google-Suche nach auftreten-
Erkennung der Emotionen E ein detaillierteres, themenspe-            den Personen und Organisationsnamen erreicht werden. Zur
zifisches Stimmungsbild angegeben werden kann, als es ein            Klassifikation setzt [3] eine lineare Support Vector Machine
Mittelwert über numerische Tonalitätsangaben ermöglicht.          ein.
Dazu muss ein Klassifikator K erstellt werden, der jedem
Satz eines Textbeitrags individuell eine Emotion oder die            3.   ANSÄTZE
Klasse neutral zuordnet. Erschwerend bei der Klassifikation
                                                                        Im Folgenden werden zwei Ansätze vorgestellt, die für die
ist die subjektive und kontextabhängige Wahrnehmung von
                                                                     Erkennung von Kommunikationsmodi in Textbeiträgen aus
Emotionen.
                                                                     Online-Partizipationsverfahren naheliegend sind. Beide An-
   Der Rest dieser Arbeit ist wie folgt aufgebaut: Im nächs-
                                                                     sätze versuchen, die menschliche Erkennung von Emotionen
ten Kapitel werden verwandte Arbeiten vorgestellt. Nach-
                                                                     nachzuahmen, indem sie auf die in den Textbeiträgen vor-
dem in Kapitel 3 zwei Ansätze zur Erkennung von Kommu-
                                                                     handenen Wörter, in Form von Signalwörtern und bestimm-
nikationsmodi präsentiert werden, erfolgt in Kapitel 4 eine
                                                                     ten sprachlichen Konstruktionen, achten.
Evaluation beider Ansätze am Beispiel des Kommunikati-
                                                                        Dazu müssen die zu untersuchenden Texte satzweise ana-
onsmodus Satire. Anschließend wird in Kapitel 5 ein Fazit
                                                                     lysiert werden. Die Eingabetexte werden zunächst durch ei-
gezogen und Ideen für zukünftige Arbeiten angegeben.
                                                                     ne Natural Language Processing Pipeline aufbereitet. Die
                                                                     Anzahl an Verarbeitungsschritten der Pipeline ist von der
2.    VERWANDTE ARBEITEN                                             konkreten Aufgabenstellung abhängig. Für die vorgestellten
   Der Bereich Sentiment Analysis beschäftigt sich mit der          Ansätze werden insgesamt vier Schritte in der NLP-Pipeline
automatisierten Bestimmung von Tonalitäten in Textdoku-             durchgeführt: Mittels eines Tokenizers wird ein Eingabetext
menten. Übliche Anwendungsgebiete sind die Analyse von              in einzelne Wörter zerlegt. Durch einen Sentence Splitter
Produktrezensionen [7] und Filmrezensionen [12], die in po-          werden die Wörter in Sätze gruppiert. Anschließend werden
sitive und negative Äußerungen kategorisiert werden. Die            für jedes Wort ein Part-of-Speech Tag (POS-Tag) bzw. eine
automatisierte Extraktion von Tonalitäten, bei der einer            Wortart bestimmt und eine Lemmatisierung durchgeführt,
Aussage eine Tonalität t ∈ {positiv, negativ, neutral} zuge-        durch die für jedes Wort zusätzlich eine Grundform (z. B.

                                                                43
Schwimmbäder → Schwimmbad) angegeben wird.                             werden.
   Der erste Ansatz untersucht, inwiefern bestimmte Schlüs-               In einer Modifikation dieses Ansatzes werden nicht die
selwörter auf einzelne Kommunikationsmodi oder Emotio-                 Wörter, sondern deren, durch eine Lemmatisierung be-
nen hinweisen. Der zweite Ansatz arbeitet unter der Hy-                 stimmte, Grundformen in Wortlisten geführt bzw. nachge-
pothese, dass eine Korrelation bestimmter sprachlicher Ei-              schlagen.
genschaften zu einzelnen Kommunikationsmodi auftritt. Da-
bei werden die verwendeten Wortarten untersucht. Motiviert              3.2      Sprachliche Eigenschaften
wird dieser Ansatz dadurch, dass eine positive Emotion bei-                Der zweite Ansatz basiert auf der Hypothese, dass die ver-
spielsweise mit einer überdurchschnittlichen Anzahl an Ad-             schiedenen Kommunikationsmodi bzw. Emotionen im Text
jektiven korrelieren könnte.                                           charakteristische sprachliche Merkmale besitzen. Um die-
   In beiden Ansätzen wird jedem Satz mittels eines Klassi-            se Vermutung auf einem Datensatz zu überprüfen, ist ei-
fikators ein Kommunikationsmodus bzw. eine Emotion oder                 ne Methode M notwendig, die sprachliche Eigenschaften ei-
die Klasse neutral zugeordnet. Um beide Ansätze evaluieren             nes Satzes in eine vektorielle Darstellung überführt. Dazu
zu können, muss ein annotierter Datensatz bzw. ein Korpus              werden aus allen Sätzen einer Trainingsmenge sprachliche
als Trainingsmenge verwendet werden, in dem auf Satzebe-                Eigenschaften durch M extrahiert. Für einen zu klassifizie-
ne alle Sätze mit entsprechenden Kommunikationsmodi an-                renden Satz einer Testmenge werden ebenfalls sprachliche
notiert sind. Der Korpus wird in eine Trainings- und eine               Eigenschaften mittels M extrahiert, die anschließend mit ei-
Testmenge aufgeteilt, anhand derer ein Klassifikator trai-              nem Klassifikationsverfahren und einer Distanzfunktion zu
niert bzw. bewertet werden kann.                                        einem Kommunikationsmodus zugeordnet werden können.
                                                                           Eine einfache Annahme ist, dass bestimmte Kommunika-
3.1    Wortlisten                                                       tionsmodi bzw. Emotionen mit einer bestimmten Verteilung
   Der erste Ansatz basiert auf der Annahme, dass das Auf-              von POS-Tags korrelieren. Als erste vektorielle Modellierung
treten bestimmter Wörter mit einem Kommunikationsmo-                   eines Satzes s wird daher für jeden POS-Tag p eines Tagsets
dus bzw. einer Emotion korreliert. Das Ziel des Ansatzes ist            die Häufigkeit von p in s angegeben.
die Verwendung von Wortlisten, die eine Klassifikation eines               Diese vektorielle Darstellung kann um weitere sprachliche
Satzes, basierend auf den in ihm enthaltenen Wörtern, er-              Eigenschaften ergänzt werden, die eventuell charakteristisch
möglichen. Für den nachfolgenden Satz können die Wörter             für eine Emotion sein können, beispielsweise welche Wort-
Angst und verliere auf die Emotion Angst hinweisen:                     art am Satzanfang und am Satzende steht oder welches In-
   (9) Ich habe Angst, dass ich verliere.                               terpunktionszeichen (Punkt, Fragezeichen oder Ausrufezei-
   Um diese Erkennung zu automatisieren, können für jede              chen) einen Satz beendet. Ferner kann das Auftreten von
Emotion charakteristische Wörter aus einer Trainingsmen-               Negationen oder von verschachtelten Nebensätzen berück-
ge extrahiert werden. Dazu werden in der Trainingsmenge                 sichtigt werden.
auftretende Wörter untersucht und in disjunkte Wortlisten
eingeteilt. Bei der Konstruktion dieser Wortlisten könnten
für Beispiel (9) die Wörter Angst und verliere als charakte-
                                                                        4.     KOMMUNIKATIONSMODUS SATIRE
ristisch identifiziert werden, falls sie auch in anderen Sätzen            Da zum aktuellen Zeitpunkt noch keine ausreichende Da-
der Trainingsmenge auftreten, die ebenfalls mit der Emoti-              tenmenge an Diskussionensbeiträgen aus Online-Partizipati-
on Angst annotiert sind. Die größte Schwierigkeit bei diesem           onsverfahren vorliegt, werden die in Kapitel 3 beschriebenen
Ansatz ist die passende Auswahl der Wörter für die Wortlis-           Ansätze zur Erkennung von Kommunikationsmodi konkret
ten. So muss darauf geachtet werden, keine Wörter zu ver-              auf den Kommunikationsmodus Satire angewendet, indem
wenden, die in allen Klassen häufig vorkommen. Daher bie-              die Erkennung von Satire in Nachrichtenartikeln evaluiert
tet es sich an, nur Wörter zu betrachten, die überwiegend in          wird. In zukünftigen Arbeiten werden diese Techniken eben-
einer Klasse (relative Häufigkeit größer als ein Schwellwert          falls für die Erkennung von Emotionsäußerungen in Online-
τ ) und damit nur selten in anderen Klassen vorkommen.                  Partizipationsverfahren erprobt und evaluiert.
   Wird allein auf den Schwellwert τ geachtet, so entsteht das              Zur Evaluation wird ein Datensatz aus Nachrichtenar-
Problem, dass auch Wörter in die Wortlisten aufgenommen                tikeln zusammengestellt. Basierend auf den Überschriften
werden, die insgesamt nur selten auftreten. Tritt beispiels-            der Nachrichtenartikel soll das binäre Klassifikationsproblem
weise das Wort Glück nur einmal in der Trainingsmenge                  gelöst werden, ob ein Nachrichtenartikel von der Satire-
auf, und zwar in einem mit der Emotion Empörung anno-                  Webseite Postillon 1 stammt oder auf ZEIT ONLINE2 ver-
tierten Satz, so würde das Wort Glück in die Wortliste für           öffentlicht wurde.
die Emotion Empörung aufgenommen werden, anstatt in die
Wortliste der Emotion Freude. Um diese Problematik zu ver-              4.1      Datensatz
meiden, bietet sich ein Parameter supp an, der angibt, wie                Der zur Satire-Erkennung verwendete Datensatz setzt sich
häufig ein Wort insgesamt in der Trainingsmenge auftreten              aus den beiden Nachrichtenquellen Postillon und ZEIT ON-
muss, bevor es in eine Wortliste eingefügt werden darf.                LINE zusammen. Die Schlagzeilen der Artikel beider Web-
   Durch diese beiden Parameter werden häufig in allen Emo-            seiten wurden jeweils über einen JSON-Webservice herun-
tionen auftretende Wörter, wie Artikel und Pronomen, her-              tergeladen. Für den Postillon werden 3650 Artikel aus dem
ausgefiltert. Die konkrete Wahl der beiden Parameter kann               Zeitraum Oktober 2008 bis März 2015 betrachtet. Die beiden
durch ein Experiment geschätzt werden.                                 nachfolgenden Schlagzeilen sind Beispiele für Satire-Artikel
   Um einen neuen Satz einer Emotion zuzuordnen, kann                   aus dem Postillon:
jedes Wort w des Satzes in den Wortlisten nachgeschlagen
                                                                        1
werden. Dem Satz wird diejenige Emotion zugeordnet, für                    http://www.der-postillon.com
                                                                        2
die am meisten Wörter in der jeweiligen Wortliste gefunden                 http://www.zeit.de

                                                                   44
   (10) Sensation! Autobahn-Fahrer entdeckt weitere Fahr-
         bahn rechts neben der Mittelspur                                 Tabelle 1: Satire-Erkennung mit Wortlisten
   (11) Kölner Dom von Unbekannten über Nacht um 360                                 Wort               Lemma
                                                                          τ
         Grad gedreht                                                         + Default            + Default
   Eine genauere Betrachtung der Satire-Artikel hat ergeben,            0,55    59,24 %    56,84 %  62,88 %   60,21 %
dass bestimmte Artikelformate in regelmäßigen Abständen                0,6   61,51 % 57,74 % 64,21 % 60,38 %
vorkommen, wie z. B. Sonntagsfragen oder Newsticker. Diese              0,65    59,23 %    55,73 %  57,59 %   54,03 %
wurden für die weitere Betrachtung entfernt, um das Klassi-             0,7    58,87 %    52,11 %  53,75 %   47,70 %
fikationsproblem zu erschweren. Da einige Artikel mehrfach              0,75    52,36 %    46,11 %  50,90 %   45,24 %
veröffentlicht wurden, wird von allen Artikeln mit demselben            0,8    49,02 %    41,52 %  48,13 %   40,97 %
Namen jeweils nur die chronologisch erste Veröffentlichung             0,85    43,41 %    33,58 %  43,81 %   33,58 %
verwendet. Durch diese Filterungsschritte reduziert sich die             0,9    42,42 %    30,76 %  42,96 %   30,06 %
Anzahl der zur Verfügung stehenden Postillon-Artikel auf               0,95    41,39 %    28,77 %  42,04 %   29,30 %
2260.                                                                     1     41,39 %    28,77 %  42,04 %   29,30 %
   Die zweite Klasse des Datensatzes setzt sich aus klas-
sischen Zeitungsartikeln zusammen, die auf ZEIT ONLI-
NE veröffentlicht wurden. Aus den Kategorien Wirtschaft,             Wörter die durch die Lemmatisierung bestimmten Lemmata
Gesellschaft, Sport, Wissen und Digital wurden jeweils die            der Wörter untersucht.
2000 aktuellsten Artikel vor dem Stichtag 1.4.2015 mittels               Da bisher noch keine Erfahrungswerte für die Parame-
ZeitOnlineAPISharp 3 heruntergeladen. Für die weitere Ver-           terwahl vorliegen, werden die Auswirkungen verschiedener
arbeitung wurden aus diesen 10000 Artikeln insgesamt 2260             Parameter experimentell bestimmt, indem eine Gittersuche
Artikel zufällig ausgewählt, um einen balancierten Daten-           mit τ ∈ {0.55, 0.6, . . . , 1} und supp ∈ {3, 4, . . . , 10} durchge-
satz betrachten zu können. Die beiden folgenden Schlagzei-           führt wird.
len stammen aus Artikeln von ZEIT ONLINE:                                Die Ergebnisse der Satire-Erkennung durch Wortlisten
   (12) Lehrerverband warnt vor Risiken für Bildung                  sind in Tabelle 1 als durchschnittlicher F1 Wert über bei-
   (13) Energiekonzern verzichtet auf Atomenergie, Kohle              de Klassen angegeben, wobei für jeden Wert von τ das je-
         und Gas                                                      weils beste Ergebnis angegeben ist, welches durchgehend mit
   Zur nachfolgenden Evaluation werden die Artikel in eine            supp = 3 erreicht wird. Bei dem Mehrheitsentscheid des An-
Trainings- und eine Testmenge aufgeteilt. Zum Training wer-           satzes ist es möglich, dass ein Unentschieden vorliegt. Dies
den pro Klasse 1000 Artikel zufällig ausgewählt, sodass das         bedeutet, dass keines der Wörter einer zu klassifizierenden
Training auf insgesamt 2000 Artikeln stattfindet. Die Eva-            Schlagzeile in WP oder WZ auftritt oder dass ein Gleich-
luation erfolgt auf der Grundlage der verbleibenden 2520              stand vorliegt. Für jede Parameterbelegung von τ und supp
Artikel.                                                              werden zwei Evaluationen mit einem unterschiedlichen Stan-
                                                                      dardwert d ∈ {Postillon, ZEIT ONLINE} zur Auflösung ei-
4.2      Evaluation                                                   nes Gleichstands durchgeführt, von denen in Tabelle 1 je-
  Der zusammengestellte Datensatz wird zunächst durch ei-            weils das schlechtere der beiden Ergebnisse aufgeführt ist.
ne NLP-Pipeline aufbereitet: Für jede Schlagzeile erfolgt            Um die Auswirkungen eines Standardwerts beurteilen zu
durch OpenNLP4 eine Zerlegung in einzelne Wörter, eine               können, sind in Tabelle 1 ebenfalls die Ergebnisse einer Klas-
Trennung in Sätze und eine Bestimmung von Wortarten für             sifikation aufgeführt, bei der ein Unentschieden bei einem
jedes einzelne Wort. Die ermittelten Wortarten stammen aus            Mehrheitsentscheid als falsche Klassifikation behandelt wird.
dem Stuttgart-Tübingen-Tagset (STTS) [15], welches aus 54               Für die Satire-Erkennung erreicht der erste Ansatz mit
verschiedenen Wortarten besteht. Die Lemmatisierung von               den auftretenden Wörtern als Datengrundlage als bestes Er-
Wörtern erfolgt durch Mate Tools [2].                                gebnis den Wert 61,51 % für τ = 0, 6 und supp = 3. Durch
                                                                      eine Lemmatisierung kann das Ergebnis auf 64,21 % gestei-
4.2.1     Wortlisten                                                  gert werden. Bei einem fixierten Wert für τ und einem stei-
   Für die Satire-Erkennung über Wortlisten müssen zwei            genden Wert für supp werden die Klassifikationsergebnisse
disjunkte Wortlisten WP und WZ erstellt werden, in de-                schlechter, da die Größen der Wortlisten entsprechend ab-
nen jeweils Wörter vertreten sind, die überwiegend nur in           nehmen. Für den untersuchten Datensatz verschlechtern sich
den Schlagzeilen des Postillons bzw. in den Schlagzeilen von          die Ergebnisse bei einem steigenden τ aus demselben Grund.
ZEIT ONLINE auftreten. Zur Erstellung dieser Wortlisten
werden zunächst die einzelnen Wörter als Datengrundlage             4.2.2     Sprachliche Features
verwendet. Im Postillon treten 4025 (3583 Lemmata) und
                                                                         In einem ersten vektoriellen Modell wird jede Schlagzei-
in ZEIT ONLINE 3050 (2696 Lemmata) verschiedene Wör-
                                                                      le durch die absoluten Häufigkeiten der auftretenden POS-
ter auf. Für die Erstellung der Wortlisten wird zunächst pro
                                                                      Tags aus dem STTS-Tagset repräsentiert. Zum Vergleich
Wort bestimmt, wie häufig es in der Trainingsmenge auf-
                                                                      wird ein zweites Modell untersucht, in dem die Auswir-
tritt. Wörter, die weniger als supp mal auftreten, werden
                                                                      kungen einer Reduktion der 54 POS-Tags auf die 12 POS-
ignoriert. Anschließend wird für jedes Wort w berechnet,
                                                                      Tags des UTS-Tagsets [13] beobachtet werden. Beide Mo-
wie groß die relative Häufigkeit p von w in den Schlagzeilen
                                                                      delle werden mit den drei Klassifikationsverfahren k-Nearest
des Postillons bzw. in den Schlagzeilen aus ZEIT ONLINE
                                                                      Neighbors (kNN), Support Vector Machine (SVM) und out-
ist. Falls p ≥ τ ist, so wird w in die entsprechende Wortlis-
                                                                      of-place measure [4] evaluiert.
te eingefügt. In einer zweiten Variante werden anstelle der
                                                                         Als SVM-Implementierung wird LIBSVM [5] verwendet.
3
    https://github.com/Liebeck/ZeitOnlineAPISharp                     Eingesetzt wird eine soft-margin SVM mit einem RBF-
4
    https://opennlp.apache.org/                                       Kernel K(x, y) = exp(−γ||x − y||2 ). Die für das Training der

                                                                 45
                            Tabelle 2: Satire-Erkennung mit sprachlichen Eigenschaften
                                                                kNN
                            Modell              SVM                         Out-of-place
                                                        + Default
                            STTS               73,65 %   71,77 %    71,04 %   67,13 %
                            STTS, Variante B 75,50 %     73,13 %    72,94 %      —
                            UTS                71,51 %   74,75 %    74,48 %   60,74 %
                            UTS, Variante B    73,55 %  75,25 % 75,05 %          —


SVM benötigten Werte für den Strafterm C und für γ wer-            5.     FAZIT UND AUSBLICK
den pro Modell jeweils über eine Gittersuche mittels einer              In dieser Arbeit wurden zwei Ansätze zur Erkennung
Kreuzvalidierung über die Trainingsmenge bestimmt. Als               von Kommunikationsmodi präsentiert. Für die nahe Zukunft
Konvergenzkriterium der SVM wird  = 10−3 gesetzt.                    ist geplant, beide Ansätze auf Textbeiträge eines Online-
   Für den kNN-Algorithmus werden verschiedene Werte für            Partizipationsverfahrens anzuwenden. Dazu wird ein Code-
k ∈ {1, . . . , 12} erprobt. Bei der Bestimmung der nächs-           buch entwickelt werden, mit dem der Datensatz in Bezug auf
ten Nachbarn werden jeweils die k nächsten Nachbarn per              Kommunikationsmodi annotiert wird. Beide Ansätze werden
euklidischer Distanz ermittelt. Sollten mehrere Kandidaten            dann auf das Multiklassenproblem der Erkennung von Emo-
für die Auswahl des k-nächsten Nachbarn p vorhanden sein,           tionsäußerungen transferiert und evaluiert.
so wird die Liste der nächsten Nachbarn um alle Nachbarn                Bei der Untersuchung des Kommunikationsmodus Satire
erweitert, die zum Anfrageobjekt o denselben Abstand ha-              wurde gezeigt, dass die beiden Ansätze gute Ergebnisse von
ben wie o zu p. Die Klassenzugehörigkeit erfolgt über einen         bereits 75,5 % erreicht haben. Bei der Evaluation ist auf-
Mehrheitsentscheid der Klassen aller gefundenen nächsten             gefallen, dass das Festlegen eines Standardwerts bei einem
Nachbarn. Tritt dabei ein Gleichstand auf, so wird ebenfalls          Gleichstand für den mit Wortlisten arbeitenden Ansatz eine
ein Standardwert verwendet.                                           größere Auswirkung auf die Klassifikationsergebnisse hat, als
   Das out-of-place measure wird gewöhnlich für die Sprach-         beim kNN-Algorithmus für die sprachlichen Eigenschaften.
erkennung durch N-Gramme eingesetzt. Für die Evaluation              Für das binäre Klassifikationsproblem der Satire-Erkennung
wird es für den Vergleich von Verteilungen von POS-Tags              sind ein Reihe von weitergehenden Untersuchen möglich.
verwendet, indem für beide Nachrichtenquellen sogenann-              Es könnte untersucht werden, welche Auswirkungen durch
te Kategorienprofile bestimmt werden. Ein Kategorienprofil            die Filterung von Stoppwörtern, durch den Vergleich un-
besteht dabei jeweils aus einer nach absoluten Häufigkei-            terschiedlicher Distanzfunktionen für den kNN-Algorithmus
ten absteigend sortierten Liste von POS-Tags der jeweiligen           und durch die Verwendung weiterer sprachlicher Eigenschaf-
Trainingsmenge. Zur Klassifikation einer Schlagzeile wird ein         ten entstehen können und ob dadurch die Ergebnisse gegen-
Anfrageprofil mittels derselben Methode berechnet. Die In-            über Variante B noch gesteigert werden können.
dexpositionen des Anfrageprofils werden mit den Indexpo-                 Die größte Schwierigkeit des ersten Ansatzes ist die Aus-
sitionen der Kategorienprofile verglichen. Einer Schlagzeile          wahl charakteristischer Wörter. Bei einem Transfer des An-
wird dann diejenige Nachrichtenquelle zugeordnet, zu deren            satzes auf andere Datenquellen werden die Auswirkungen
Kategorienprofil der kleinste Abstand zum Anfrageprofil be-           von manuell vorgegebenen Wortlisten untersucht. Insbeson-
steht.                                                                dere ist geplant, die Auswirkungen einer Erweiterung der
   Die Modellierung wird in einer Variante B ergänzt, in der         Listen durch Synonyme aus einem Thesaurus zu beobachten.
weitere sprachliche Eigenschaften als binäre Dimension hin-          Bei der Generierung der Wortlisten konnten die Ergebnisse
zugefügt werden. Dabei wird berücksichtigt, ob in der Über-        durch eine Lemmatisierung verbessert werden. In zukünfti-
schrift das erste Wort ein Nomen ist, ob das erste Wort ein           gen Arbeiten wird untersucht werden, inwiefern Wiktionary5
Verb ist, ob das letzte Wort ein Verb ist, ob in der Über-           zur Grundformreduktion eingesetzt werden kann. Außerdem
schrift ein Anführungszeichen vorhanden ist und ob ein Fra-          wird der Ansatz für den Umgang mit Negationen erweitert
gezeichen, ein Ausrufezeichen oder ein Komma (jeweils bi-             werden.
när) auftritt.                                                          Für den zweiten Ansatz sind weitere sprachliche Eigen-
   Die Ergebnisse der drei Klassifikationsverfahren sind in           schaften in einer vektoriellen Darstellung vorstellbar, wie
Tabelle 2 mit durchschnittlichen F1 Werten über bei-                 beispielsweise das Auftreten von POS-Tag-Bigrammen. Um
de Klassen dargestellt. Das insgesamt beste Ergebnis von              bei einer Klassifikation gute Ergebnisse erzielen zu können,
75,5 % erreicht eine SVM mit STTS POS-Tags und Vari-                  ist eine Filterung nach sprachlichen Eigenschaften notwen-
ante B. Das beste Ergebnis des kNN-Algorithmus ist mini-              dig, die besonders gut mit den einzelnen Klassen korrelie-
mal schlechter mit 75,25 %. Die Klassenzugehörigkeit beim            ren. Darüber hinaus wird in zukünftigen Arbeiten unter-
kNN-Algorithmus kann in fast allen Fällen per Mehrheits-             sucht werden, inwiefern beide Ansätze kombinierbar sind.
entscheid bestimmt werden. Interessant zu beobachten sind             Anstelle eines Mehrheitsentscheids des ersten Ansatzes kann
die Auswirkungen der Reduktion des STTS-Tagsets auf                   die vektorielle Darstellung für jeden Eintrag einer Wortliste
das UTS-Tagset, die je nach Klassifikationsverfahren unter-           um binäre Dimensionen erweitert werden, die jeweils ange-
schiedlich sind. Für den kNN-Algorithmus konnte eine Ver-            ben, ob in dem zu klassifizierenden Satz das entsprechen-
besserung der Ergebnisse erzielt werden. Bei den anderen              de Wort einer Wortliste auftritt. In nachfolgenden Arbeiten
Verfahren verschlechtert sich das Ergebnis im Vergleich zu            wird untersucht werden, welchen Einfluss eine Verkleinerung
den STTS-Tags.                                                        des STTS-Tagsets auf das UTS-Tagset auf anderen Daten-
                                                                      sätzen hat.
                                                                      5
                                                                          https://de.wiktionary.org/

                                                                 46
6.   LITERATUR                                                         International Conference on Language Resources and
 [1] C. O. Alm, D. Roth, and R. Sproat. Emotions from                  Evaluation (LREC’12). European Language Resources
     Text: Machine Learning for Text-based Emotion                     Association, 2012.
     Prediction. In Proceedings of the Conference on              [14] R. Remus, U. Quasthoff, and G. Heyer. SentiWS – a
     Human Language Technology and Empirical Methods                   Publicly Available German-language Resource for
     in Natural Language Processing, HLT ’05, pages                    Sentiment Analysis. In Proceedings of the 7th
     579–586. Association for Computational Linguistics,               International Language Resources and Evaluation
     2005.                                                             (LREC’10), pages 1168–1171, 2010.
 [2] A. Björkelund, B. Bohnet, L. Hafdell, and P. Nugues.        [15] A. Schiller, S. Teufel, C. Stöckert, and C. Thielen.
     A High-Performance Syntactic and Semantic                         Guidelines für das Tagging deutscher Textcorpora mit
     Dependency Parser. In Proceedings of the 23rd                     STTS (kleines und großes Tagset). Technical report,
     International Conference on Computational                         Universität Stuttgart, Universität Tübingen, 1999.
     Linguistics: Demonstrations, COLING ’10, pages               [16] T. Scholz and S. Conrad. Opinion Mining in
     33–36. Association for Computational Linguistics,                 Newspaper Articles by Entropy-Based Word
     2010.                                                             Connections. In Proceedings of the 2013 Conference on
 [3] C. Burfoot and T. Baldwin. Automatic Satire                       Empirical Methods in Natural Language Processing,
     Detection: Are You Having a Laugh? In Proceedings of              pages 1828–1839. Association for Computational
     the ACL-IJCNLP 2009 Conference Short Papers,                      Linguistics, 2013.
     ACLShort ’09, pages 161–164. Association for                 [17] C. Strapparava and R. Mihalcea. Learning to Identify
     Computational Linguistics, 2009.                                  Emotions in Text. In Proceedings of the 2008 ACM
 [4] W. B. Cavnar and J. M. Trenkle. N-Gram-Based Text                 Symposium on Applied Computing, SAC ’08, pages
     Categorization. In Proceedings of SDAIR-94, 3rd                   1556–1560. ACM, 2008.
     Annual Symposium on Document Analysis and                    [18] C. Strapparava and A. Valitutti. WordNet-Affect: An
     Information Retrieval, pages 161–175, 1994.                       affective extension of WordNet. In Proceedings of the
 [5] C.-C. Chang and C.-J. Lin. LIBSVM: A library for                  4th International Conference on Language Resources
     support vector machines. ACM Transactions on                      and Evaluation, pages 1083–1086. European Language
     Intelligent Systems and Technology, 2:27:1–27:27,                 Resources Association, 2004.
     2011.
 [6] G. Forman. BNS Feature Scaling: An Improved
     Representation over TF-IDF for SVM Text
     Classification. In Proceedings of the 17th ACM
     Conference on Information and Knowledge
     Management, CIKM ’08, pages 263–270. ACM, 2008.
 [7] M. Hu and B. Liu. Mining and Summarizing Customer
     Reviews. In Proceedings of the Tenth ACM SIGKDD
     International Conference on Knowledge Discovery and
     Data Mining, KDD ’04, pages 168–177. ACM, 2004.
 [8] S. M. Kim, A. Valitutti, and R. A. Calvo. Evaluation
     of Unsupervised Emotion Models to Textual Affect
     Recognition. In Proceedings of the NAACL HLT 2010
     Workshop on Computational Approaches to Analysis
     and Generation of Emotion in Text, CAAGET ’10,
     pages 62–70. Association for Computational
     Linguistics, 2010.
 [9] T. Landauer, P. Foltz, and D. Laham. An introduction
     to latent semantic analysis. Discourse processes,
     25:259–284, 1998.
[10] M. Liebeck. Aspekte einer automatischen
     Meinungsbildungsanalyse von Online-Diskussionen. In
     Proceedings BTW 2015 - Workshops und
     Studierendenprogramm, pages 203–212, 2015.
[11] G. A. Miller. WordNet: A Lexical Database for
     English. Communications of the ACM, 38(11):39–41,
     1995.
[12] B. Pang, L. Lee, and S. Vaithyanathan. Thumbs Up?:
     Sentiment Classification Using Machine Learning
     Techniques. In Proceedings of the ACL-02 Conference
     on Empirical Methods in Natural Language Processing
     - Volume 10, EMNLP ’02, pages 79–86. Association
     for Computational Linguistics, 2002.
[13] S. Petrov, D. Das, and R. McDonald. A Universal
     Part-of-Speech Tagset. In Proceedings of the Eight

                                                             47

</pre>