<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Archiving and Interchange DTD v1.0 20120330//EN" "JATS-archivearticle1.dtd">
<article xmlns:xlink="http://www.w3.org/1999/xlink">
  <front>
    <journal-meta />
    <article-meta>
      <title-group>
        <article-title>L'impatto emotivo della comunicazione istituzionale durante la pandemia di Covid-19: uno studio di Twitter Sentiment Analysis.</article-title>
      </title-group>
      <contrib-group>
        <contrib contrib-type="author">
          <string-name>Italy ggagliardi@unior.it</string-name>
          <xref ref-type="aff" rid="aff0">0</xref>
          <xref ref-type="aff" rid="aff1">1</xref>
        </contrib>
        <contrib contrib-type="author">
          <string-name>Lorenzo Gregori</string-name>
          <email>lorenzo.gregori@unifi.it</email>
          <xref ref-type="aff" rid="aff0">0</xref>
          <xref ref-type="aff" rid="aff1">1</xref>
        </contrib>
        <aff id="aff0">
          <label>0</label>
          <institution>Alice Suozzi Universita` Ca' Foscari Venezia Venezia</institution>
          ,
          <country country="IT">Italy</country>
        </aff>
        <aff id="aff1">
          <label>1</label>
          <institution>Universita` di Firenze Firenze</institution>
          ,
          <country country="IT">Italy</country>
        </aff>
      </contrib-group>
      <pub-date>
        <year>2086</year>
      </pub-date>
      <abstract>
        <p>Italiano. L'articolo si propone di investigare l'impatto delle comunicazioni istituzionali durante la crisi sanitaria causata dal Covid-19 in Italia, attraverso l'analisi computazionale dell'attivita` di microblogging su Twitter. A partire dal corpus TWITA, abbiamo realizzato una Sentiment Analysis per osservare eventuali cambiamenti nella polarita` delle scritture degli utenti, in reazione a undici discorsi istituzionali tenuti durante l'emergenza sanitaria. Variazioni sono state osservate in reazione a tre discorsi tenuti dal Presidente del Consiglio rispettivamente il 4 marzo, il 9 marzo e il 26 aprile 2020.</p>
      </abstract>
    </article-meta>
  </front>
  <body>
    <sec id="sec-1">
      <title>-</title>
      <p>English. This paper aims at
investigating the impact of institutional
communications during the health crisis due to
Covid19 pandemic in Italy, through the analysis
of micro-blogging activities on Twitter by
means of NLP techniques. We performed a
Sentiment Analysis on the TWITA corpus,
to pinpoint potential correlations between
opinion polarity (positive or negative) of
the users and public speeches during the
outbreak. Our findings show changes in
sentiment polarity related to three
institutional speeches delivered by the Italian
Prime Minister Giuseppe Conte on March,
4th, March, 9th, and April, 26th 2020.</p>
      <p>
        La Sentiment Analysis e` un campo di studi
multidisciplinare finalizzato ad investigare e valutare
le opinioni espresse nei testi
        <xref ref-type="bibr" rid="ref14 ref21 ref3">(Beigi et al., 2016;
Mejova et al., 2013; Zimbra et al., 2018)</xref>
        cioe`
l’orientamento (positivo o negativo) che il parlante
esprime verso un oggetto
        <xref ref-type="bibr" rid="ref10">(Jurafsky and Martin,
2019)</xref>
        attraverso dispositivi lessicali. Twitter e` una
fonte privilegiata di dati per l’analisi di emozioni
e opinioni, tanto che oggi si parla di Twitter
Sentiment Analysis (TSA) per identificare la specifica
branca di ricerca basata su dati estratti da questo
social network. Oggi la TSA e` usata in vari ambiti
e per diversi scopi, come, ad esempio, monitorare
le opinioni degli utenti su prodotti commerciali
        <xref ref-type="bibr" rid="ref7 ref9">(Ghiassi et al., 2013; Jansen et al., 2009)</xref>
        , studiare
gli orientamenti politici
        <xref ref-type="bibr" rid="ref13 ref14 ref14 ref19 ref20 ref6 ref7">(Mejova and Srinivasan,
2012; Mejova et al., 2013; Garcia and Thelwall,
2013; Wang et al., 2012; Wang et al., 2014)</xref>
        ,
analizzare i livelli e le cause di stress tra gli adolescenti
        <xref ref-type="bibr" rid="ref2">(Basili et al., 2017)</xref>
        o l’opinione pubblica riguardo
i vaccini
        <xref ref-type="bibr" rid="ref17">(Tavoschi et al., 2020)</xref>
        .
      </p>
      <p>Questo studio utilizza la TSA per investigare
l’impatto che le comunicazioni istituzionali hanno
riodo di emergenza della pandemia, come parte
dell’iniziativa Computational Linguistics and the
Covid-19 Outbreak5 promossa dall’Associazione
degli utenti (positiva o negativa) e i discorsi tenuti
Italiana di Linguistica Computazionale (AILC). Il
dal Presidente del Consiglio e dal Presidente della</p>
    </sec>
    <sec id="sec-2">
      <title>Repubblica durante la pandemia.</title>
      <p>2
2.1</p>
      <sec id="sec-2-1">
        <title>Materiali</title>
        <sec id="sec-2-1-1">
          <title>Il corpus ItalC-Covid19</title>
          <p>
            Preliminarmente allo studio, e` stato costruito
un piccolo corpus di dichiarazioni e conferenze
stampa pronunciate dal Presidente del Consiglio
Giuseppe Conte e dal Presidente della
Repubblica Sergio Mattarella, chiamato ItalC-Covid19
            <xref ref-type="bibr" rid="ref5">(Gagliardi and Suozzi, 2020)</xref>
            .1 Tutti i dati
provengono dal canale YouTube ufficiale di Palazzo
Chigi2 e del Quirinale3.
          </p>
          <p>Attualmente, il corpus include undici testi orali,
pronunciati tra il 3 marzo e il 16 maggio 2020.
2018), una versione del formato standardizzato</p>
        </sec>
      </sec>
    </sec>
    <sec id="sec-3">
      <title>CHAT (MacWhinney, 2000).</title>
      <p>2.2</p>
      <sec id="sec-3-1">
        <title>Il corpus Twitter Covid-19</title>
        <p>I tweet utilizzati per questo studio sono derivati
dal corpus 40wita,4 un dataset di tweet italiani
1https://euiccovid19.altervista.org/
2https://www.youtube.com/user/
governoit</p>
        <p>3https://www.youtube.com/user/
presidenzarepubblica</p>
        <p>
          4http://twita.di.unito.it/dataset/
40wita
dataset e` stato costruito giornalmente dal 1
febbraio 2020, filtrando TWITA
          <xref ref-type="bibr" rid="ref1 ref14 ref6 ref7">(Basile and Nissim,
2013; Basile et al., 2018)</xref>
          , la piu` grande raccolta di
messaggi pubblicati su social media in lingua
italiana, con le parole-chiave relative al Covid-19,6.
2.3
        </p>
      </sec>
      <sec id="sec-3-2">
        <title>Il dataset</title>
        <p>Al fine di ottenere delle statistiche generali, e` stato
esaminato un lasso di tempo di 88 giorni, dal 26
febbraio al 23 maggio 2020. Il periodo
considerato inizia una settimana prima della prima
comunicazione istituzionale, e finisce una settimana
dopo l’ultima. Il numero di tweet giornalieri sul
coronavirus durante questo periodo va da un
minimo di 9:245 a un massimo di 51:490, per un
totale di 2:298:566 post. In fig. 1 e` illustrata la
distribuzione di questi numeri in funzione del tempo.
Si puo` chiaramente osservare una crescita
significativa nei primi giorni di marzo, quando, in
alcune regioni, il lockdown e` iniziato; il picco viene
raggiunto il 10 marzo 2020, in corrispondenza
5http://www.ai-lc.it/covid-19/
6covid, covid19, covid-19 corona virus, coronavirus,
quarantena, autoisolamento, auto-isolamento, iorestoacasa,
stateacasa, COVID19Italia, redditodicittadinaza, eurobond,
coronabond, restiamoacasa, preghiamoinsieme, NoMes,
milanononsiferma, bergamononsiferma, l’italianonsiferma,
abbracciauncinese, iononsonounvirus, iononmifermo,
aperisera, covidunstria, italiazonarossa,
bergamoisrunning, quarantena, chiudetetutto, apritetutto, CuraItalia,
ciricordiamotutto, oggisciopero, chiudiamolefabbriche,
iononrinuncioalletradizioni, andra`tuttobene, INPSdown,
percheQuando, cercareDi, ringraziarevoglio, 600euro,
CineINPS, COVID19Pandemic.
dell’estensione del lockdown a tutto il territorio
nazionale. Segue una diminuzione graduale fino
alla fine di maggio, quando la maggior parte delle
attivita` viene riaperta.</p>
        <p>
          La Sentiment Analysis e` stata realizzata con
Sentita
          <xref ref-type="bibr" rid="ref15">(Nicola, 2018)</xref>
          .7 Lo strumento, specifico
per i tweet italiani, fornisce due valori
indipendenti: un valore tra 0 e 1 per la polarita`
positiva (0 = neutro, 1 = completamente positivo) e
uno tra 0 e 1 per la polarita` negativa (0 = neutro,
1 = completamente negativo). Per ridurre la
complessita` del compito, sono stati inclusi nell’analisi
solo i tweet con una polarita` chiaramente
orientata, escludendo quelli con bassa polarita` (positivi
e negativi sotto la soglia di 0:5) e quelli polarizzati
sia in positivo che in negativo (con entrambi i
valori superiori a 0:5). Due esempi di tweet analizzati
con Sentita sono riportati in tabella 2.
3
        </p>
        <p>Analisi della sentiment polarity
Il dataset appena descritto e` stato utilizzato per
misurare se e in che misura le reazioni dei
cittadini alle comunicazioni istituzionali siano riflesse
nei loro tweet.</p>
        <p>
          A tal fine, e` necessario considerare che la
polarita` dei tweet non e` uniforme durante il giorno
          <xref ref-type="bibr" rid="ref11">(Larsen et al., 2015)</xref>
          : i tweet pubblicati al
mattino sono solitamente piu` neutri di quelli della
sera. Per avere una panoramica di questa
vari7https://nicgian.github.io/Sentita/
        </p>
      </sec>
      <sec id="sec-3-3">
        <title>Tweet</title>
        <p>Che palle questo coronavirus
mi sta rovinando tutti i
piani e mi sta togliendo troppe
gioie mi uccido
So che non si puo`
abbracciare per il Covid-19
ma io voglio mandare un
enorme abbraccio virtuale a
medici, infermieri, operatori
ospedalieri che in queste
settimane lavorano senza sosta
per garantire la salute di tutti.</p>
        <p>Grazie, grazie, grazie.
pos.
0.046
neg.</p>
        <p>0.963
0.985
0.093
azione all’interno del corpus, e` stato misurato
l’andamento di tweet positivi e negativi nell’arco
delle 24 ore e la media e` stata calcolata sull’intero
periodo di osservazione (88 giorni). Questo ha
permesso di comparare l’andamento di tweet
positivi e negativi intorno agli eventi comunicativi con
la media giornaliera, per determinare eventuali
deviazioni. Per l’analisi e` stata considerata una
finestra temporale che va da quattro ore prima a quattro
ore dopo ogni comunicazione: all’interno di essa
e` stata misurata la percentuale di tweet positivi e
negativi per ogni ora. Per evitare ogni potenziale
fluttuazione oraria, e` stata misurata la deviazione
di polarita` rispetto alla media calcolata su tutti gli
88 giorni. In tab. 3 sono riportati, a titolo di
esempio, i dati relativi alla prima comunicazione, la
dichiarazione del Presidente del Consiglio del 4
marzo 2020, trasmessa tra le 19:00 e le 20:00.</p>
        <p>I dati rappresentati sono i seguenti: distanza in
ore dall’evento comunicativo (dist), ora del giorno
(hour), percentuale di tweet positivi (pos),
differenza tra pos e la media percentuale di tweet
positivi per la stessa ora del giorno (pos dev);
analogamente sono calcolati neg e neg dev sui
tweet negativi.</p>
        <p>I valori delle ultime due colonne (pos dev e
neg dev) sono stati divisi in due gruppi: le
percentuali relative ai tweet precedenti all’evento (A)
e quelle relative ai tweet successivi all’evento (B).
Numericamente i tweet considerati per l’analisi
(nella finestra temporale [-4,+4] ore da ogni
evento) sono 161.197, di cui 27.057 con
polarita` positiva o negativa. Abbiamo applicato un
modello di regressione lineare con una variabile
dummy per ogni evento, assegnando un valore di
1:0 agli elementi di (A) e di 0:0 a quelli di (B). I
p-value risultanti sono stati utilizzati per
identificare gli eventi dopo i quali la polarita` dei tweet e`
cambiata significativamente.
4</p>
        <sec id="sec-3-3-1">
          <title>Risultati e discussione</title>
          <p>I risultati della regressione lineare sono riportati
nella tab. 4.</p>
          <p>I dati mostrano che per tre comunicazioni
istituzionali si registrano variazioni significative:
sono quelle rilasciate il 4 marzo, il 9 marzo e
il 26 aprile 2020. Tali risultati sono coerenti
con il contenuto delle comunicazioni: le prime
due (4 e 9 marzo) hanno annunciato,
rispettivamente, l’istituzione delle prime zone rosse
e l’estensione del lockdown a tutto il territorio
nazionale. L’ultima, al contrario, ha annunciato
le misure contenitive relative alla cosiddetta Fase
2 (cioe` la parziale riapertura delle attivita`, e la fine
del lockdown). E` importante sottolineare che i tre
eventi hanno suscitato tre reazioni diverse (fig. 2):
4 marzo 2020: significativa diminuzione sia
di tweet positivi sia di negativi;
9 marzo 2020: significativa crescita sia di
tweet positivi sia di tweet negativi;
26 aprile 2020: significativa crescita
esclusivamente di tweet negativi, con percentuale di
tweet positivi invariata.</p>
          <p>La prima dichiarazione e` stata seguita da un
forte calo sia di tweet positivi sia di negativi:
questo e` coerente con il clima di grande incertezza
che ha caratterizzato i primi giorni di marzo 2020.
Il Covid-19 si stava, infatti, ancora diffondendo
prevalentemente nel Nord Italia, e la dichiarazione
analizzata ha stabilito le prime misure contro
un’ulteriore diffusione del virus. La percezione di
pericolo crescente, da un lato, e l’attesa generale
di altre misure contenitive, dall’altro, si traduce in
opinioni meno chiaramente orientate.</p>
          <p>La seconda dichiarazione e` servita ad
annunciare il decreto ”Io resto a casa”: da quel
momento, tutta la nazione e` diventata ”zona
protetta”. Le reazioni emotive a questa
comunicazione sono ambivalenti, con una crescita
importante di tweet sia positivi, che negativi. Questa
”doppiezza” emotiva mostra da un lato la paura
causata dall’epidemia in corso, e il lutto per le
vittime, in quel momento particolarmente
numerose; dall’altro, l’approvazione che il lockdown
nazionale ha suscitato nella popolazione, e la
tendenza a rimanere ottimisti e soprattutto uniti,
esemplificata dall’hashtag andr a`tuttobene.</p>
          <p>
            La terza comunicazione ha, invece, provocato
solo una significativa crescita di tweet negativi: il
26 aprile sono state annunciate le linee guida per
la progressiva riapertura, e l’ingresso nella
cosiddetta Fase 2. Una reazione cos`ı negativa e`
imputabile prevalentemente alla delusione: le
misure annunciate sono state percepite come ancora
troppo restrittive, tanto che molti tweet
ironizzavano sulla sostanziale identita` di Fase 1 e Fase 2.
La delusione e` derivata da una precedente
aspettativa: un rapido ritorno alla normalita`. Questo
desiderio, a sua volta, e` stato provocato da
effetti piu` generali che la pandemia ha avuto sul
benessere mentale ed emotivo della popolazione
italiana. La pandemia di Covid-19, analogamente a
quanto osservato per altre epidemie, ha suscitato
reazioni psicologiche negative, come un’incidenza
maggiore di depressione, stress
            <xref ref-type="bibr" rid="ref16">(Shultz et al.,
2016)</xref>
            , preoccupazione
            <xref ref-type="bibr" rid="ref18">(Thompson et al., 2017)</xref>
            ,
e ansia di essere contagiati
            <xref ref-type="bibr" rid="ref8">(Horney et al., 2010)</xref>
            ;
il tutto e` stato esacerbato dall’impossibilita` di
accedere a servizi di supporto e di dedicarsi ad
attivita` come hobbies e sport.
5
          </p>
        </sec>
        <sec id="sec-3-3-2">
          <title>Conclusioni</title>
          <p>Per concludere, questo studio ha lo scopo di
investigare le reazioni dei cittadini italiani alle
comunicazioni istituzionali durante l’epidemia di
Covid-19. Grazie al crescente utilizzo dei social
network, e` infatti possibile esplorare le reazioni
psicologiche ad eventi traumatici, sia individuali
sia collettivi: secondo i nostri dati, le
comunicazioni istituzionali che hanno provocato reazioni
psicologico-emotive piu` forti sono quelle
pronunciate il 4 e 9 marzo e il 26 aprile 2020, che hanno
annunciato le misure piu` drastiche di
contenimento dell’epidemia. Ulteriori studi potrebbero
espandere questo lavoro, considerando contesti
nazionali differenti (sia dove sono state attuate
misure di contenimento del virus simili a quelle
italiane, sia dove sono state attuate misure molto
diverse). Inoltre, potrebbero essere oggetti di
analisi eventi socio-politici diversi, come
suggerito dallo studio Emoitaly8 (es. elezioni politiche,
Giornata Internazionale dei Lavoratori, omicidio
di George Floyd).
Valerio Basile and Tommaso Caselli.</p>
          <p>40twita 1.0: An collection
Tweets during the COVID-19
http://twita.di.unito.it/dataset/40wita.</p>
          <p>2020.
of Italian</p>
          <p>Pandemic.</p>
          <p>Valerio Basile and Malvina Nissim. 2013.
Sentiment analysis on Italian tweets. In Alexandra
Balahur, Erik van der Goot, and Andres Montoyo,
editors, Proceedings of the 4th Workshop on
Computational Approaches to Subjectivity, Sentiment and
Social Media Analysis, page 100–107. Association
for Computational Linguistics.
sis in Social Media and Its Applications in Disaster
Relief. Springer, New York.</p>
        </sec>
      </sec>
    </sec>
  </body>
  <back>
    <ref-list>
      <ref id="ref1">
        <mixed-citation>
          <string-name>
            <given-names>Valerio</given-names>
            <surname>Basile</surname>
          </string-name>
          , Mirko Lai, and
          <string-name>
            <given-names>Manuela</given-names>
            <surname>Sanguinetti</surname>
          </string-name>
          .
          <year>2018</year>
          .
          <article-title>Long-term Social Media Data Collection at the University of Turin</article-title>
          . In Elena Cabrio, Alessandro Mazzei, and Fabio Tamburini, editors,
          <source>Proceedings of the Fifth Italian Conference on Computational Linguistics</source>
          (CLiC-it
          <year>2018</year>
          ), volume
          <volume>2253</volume>
          <source>of CEUR Workshop Proceedings</source>
          , pages
          <fpage>40</fpage>
          -
          <lpage>45</lpage>
          . CEURWS.org.
        </mixed-citation>
      </ref>
      <ref id="ref2">
        <mixed-citation>
          <string-name>
            <given-names>Roberto</given-names>
            <surname>Basili</surname>
          </string-name>
          , Valentina Bellomaria,
          <string-name>
            <given-names>Niels J.</given-names>
            <surname>Bugge</surname>
          </string-name>
          , Danilo Croce, Francesco De Michele, Federico Fiori Nastro, Paolo Fiori Nastro, Chantal Michel,
          <string-name>
            <given-names>Stefanie J.</given-names>
            <surname>Schmidt</surname>
          </string-name>
          , and
          <string-name>
            <surname>Frauke</surname>
          </string-name>
          Schultze-Lutter.
          <year>2017</year>
          .
          <article-title>Monitoring Adolescents' Distress using Social Web data as a Source: the InsideOut Project</article-title>
          . In Roberto Basili, Malvina Nissim, and Giorgio Satta, editors,
          <source>Proceedings of the Fourth Italian Conference on Computational Linguistics</source>
          CLiC-it, Rome.
        </mixed-citation>
      </ref>
      <ref id="ref3">
        <mixed-citation>
          <string-name>
            <given-names>Ghazaleh</given-names>
            <surname>Beigi</surname>
          </string-name>
          ,
          <string-name>
            <surname>Xia (Ben) Hu</surname>
          </string-name>
          ,
          <string-name>
            <surname>Maciejewski Ross</surname>
          </string-name>
          , and Huan Liu,
          <year>2016</year>
          . An Overview of Sentiment Analy8http://corpora.ficlit.unibo.it/ EmoItaly/
        </mixed-citation>
      </ref>
      <ref id="ref4">
        <mixed-citation>
          <string-name>
            <given-names>Emanuela</given-names>
            <surname>Cresti</surname>
          </string-name>
          and
          <string-name>
            <given-names>Massimo</given-names>
            <surname>Moneglia</surname>
          </string-name>
          .
          <year>2018</year>
          .
          <article-title>Chapter 13. The illocutionary basis of information structure: The Language into Act Theory (L-AcT)</article-title>
          . In Evangelia Adamou, Katharina Haude, and Martine Vanhove, editors,
          <source>Information Structure in Lesserdescribed Languages. Studies in prosody and syntax</source>
          , pages
          <fpage>360</fpage>
          -
          <lpage>402</lpage>
          . John Benjamins, Amsterdam - Philadelphia.
        </mixed-citation>
      </ref>
      <ref id="ref5">
        <mixed-citation>
          <string-name>
            <given-names>Gloria</given-names>
            <surname>Gagliardi</surname>
          </string-name>
          and
          <string-name>
            <given-names>Alice</given-names>
            <surname>Suozzi</surname>
          </string-name>
          .
          <year>2020</year>
          .
          <article-title>ItaIC-Covid19: Institutional Communication in Times of COVID-19</article-title>
          . http://gloriagagliardi.altervista.org/psychologicalreactions-to-the-pandemic/.
        </mixed-citation>
      </ref>
      <ref id="ref6">
        <mixed-citation>
          <string-name>
            <given-names>David</given-names>
            <surname>Garcia</surname>
          </string-name>
          and
          <string-name>
            <given-names>Mike</given-names>
            <surname>Thelwall</surname>
          </string-name>
          .
          <year>2013</year>
          .
          <article-title>Political alignment and emotional expression in Spanish Tweets</article-title>
          .
          <source>In Proceedings of the TASS Workshop</source>
          at SEPLN.
        </mixed-citation>
      </ref>
      <ref id="ref7">
        <mixed-citation>
          <string-name>
            <given-names>Manoochehr</given-names>
            <surname>Ghiassi</surname>
          </string-name>
          ,
          <string-name>
            <given-names>J.</given-names>
            <surname>Skinner</surname>
          </string-name>
          , and
          <string-name>
            <given-names>David</given-names>
            <surname>Zimbra</surname>
          </string-name>
          .
          <year>2013</year>
          .
          <article-title>Twitter brand Sentiment Analysis: A hybrid system using n-gram analysis</article-title>
          and
          <source>Dynamic Artificial Neural Network. Expert Systems with Applications</source>
          ,
          <volume>40</volume>
          (
          <issue>16</issue>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref8">
        <mixed-citation>
          <string-name>
            <given-names>Jennifer A.</given-names>
            <surname>Horney</surname>
          </string-name>
          , Zack Moore,
          <string-name>
            <given-names>Meredith</given-names>
            <surname>Davis</surname>
          </string-name>
          , and
          <string-name>
            <surname>Pia D. M. MacDonald</surname>
          </string-name>
          .
          <year>2010</year>
          .
          <article-title>Intent to receive pandemic influenza A (H1N1) vaccine, compliance with social distancing and sources of information in NC, 2009</article-title>
          .
          <source>PloS One</source>
          ,
          <volume>5</volume>
          (
          <issue>5</issue>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref9">
        <mixed-citation>
          <string-name>
            <given-names>Jim</given-names>
            <surname>Jansen</surname>
          </string-name>
          , Mimi Zang, Kate Sobel, and
          <string-name>
            <given-names>Abdur</given-names>
            <surname>Chowdury</surname>
          </string-name>
          .
          <year>2009</year>
          .
          <article-title>Twitter power: Tweets as electronic word of mouth</article-title>
          .
          <source>Journal of the American Society for Information Science and Technology</source>
          ,
          <volume>60</volume>
          (
          <issue>11</issue>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref10">
        <mixed-citation>
          <string-name>
            <given-names>Dan</given-names>
            <surname>Jurafsky</surname>
          </string-name>
          and
          <string-name>
            <given-names>H.</given-names>
            <surname>Martin</surname>
          </string-name>
          ,
          <string-name>
            <given-names>James. 2019.</given-names>
            <surname>Speech</surname>
          </string-name>
          and
          <string-name>
            <given-names>Language</given-names>
            <surname>Processing</surname>
          </string-name>
          .
          <article-title>An Introduction to Natural Language Processing,Computational Linguistics, and Speech Recognition, Third Edition Draft</article-title>
          . Pearson, New York.
        </mixed-citation>
      </ref>
      <ref id="ref11">
        <mixed-citation>
          <string-name>
            <surname>Mark E Larsen</surname>
          </string-name>
          , Tjeerd W Boonstra, Philip J Batterham,
          <string-name>
            <surname>Bridianne O'Dea</surname>
          </string-name>
          , Cecile Paris, and Helen Christensen.
          <year>2015</year>
          .
          <article-title>We feel: mapping emotion on Twitter</article-title>
          .
          <source>IEEE journal of biomedical and health informatics</source>
          ,
          <volume>19</volume>
          (
          <issue>4</issue>
          ):
          <fpage>1246</fpage>
          -
          <lpage>1252</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref12">
        <mixed-citation>
          <string-name>
            <given-names>Brian</given-names>
            <surname>MacWhinney</surname>
          </string-name>
          .
          <year>2000</year>
          .
          <article-title>The CHILDES Project: Tools for analyzing talk</article-title>
          . Lowrence Erlbaum Associates, Mahwah.
        </mixed-citation>
      </ref>
      <ref id="ref13">
        <mixed-citation>
          <string-name>
            <given-names>Yelena</given-names>
            <surname>Mejova</surname>
          </string-name>
          and
          <string-name>
            <given-names>Padimni</given-names>
            <surname>Srinivasan</surname>
          </string-name>
          .
          <year>2012</year>
          .
          <article-title>Political Speech in Social Media Streams: YouTube Comments and Twitter Posts</article-title>
          . In Noshir S Contractor, Brian Uzzi,
          <string-name>
            <given-names>Michael</given-names>
            <surname>Macy</surname>
          </string-name>
          , and W. Nejdl, editors,
          <source>Proceedings of the 3rd Annual ACM Web Science Conference</source>
          , New York. Association for Computing Machinery.
        </mixed-citation>
      </ref>
      <ref id="ref14">
        <mixed-citation>
          <string-name>
            <given-names>Yelena</given-names>
            <surname>Mejova</surname>
          </string-name>
          , Padmini Srinivasan, and
          <string-name>
            <given-names>Bob</given-names>
            <surname>Boynton</surname>
          </string-name>
          .
          <year>2013</year>
          .
          <article-title>GOP primary season on Twitter: popular political sentiment in social media</article-title>
          .
          <source>In Proceedings of the ACM Web Search and Data Mining Conference (WSDM'13)</source>
          , Rome. ACM.
        </mixed-citation>
      </ref>
      <ref id="ref15">
        <mixed-citation>
          <string-name>
            <given-names>Giancarlo</given-names>
            <surname>Nicola</surname>
          </string-name>
          .
          <year>2018</year>
          .
          <article-title>Bidirectional Attentional LSTM for Aspect Based Sentiment Analysis on Italian</article-title>
          . In Tommaso Caselli, Nicole Novielli, Viviana Patti, and Paolo Rosso, editors,
          <source>Proceedings of the Sixth Evaluation Campaign of Natural Language Processing and Speech Tools for Italian. Final Workshop (EVALITA</source>
          <year>2018</year>
          ), volume
          <volume>2263</volume>
          <source>of CEUR Workshop Proceedings. CEUR-WS.org.</source>
        </mixed-citation>
      </ref>
      <ref id="ref16">
        <mixed-citation>
          <string-name>
            <surname>M. James Shultz</surname>
          </string-name>
          , Janice L. Cooper, Florence Baingana, Zelde Oquendo,
          <article-title>Maria A.and</article-title>
          <string-name>
            <surname>Espinel</surname>
          </string-name>
          ,
          <string-name>
            <surname>Benjamin M. Althouse</surname>
          </string-name>
          , Louis Herns Marcelin, Sherry Towers, Maria Espinola,
          <string-name>
            <surname>Laurie</surname>
            <given-names>McCoy</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Clyde</surname>
            <given-names>B.</given-names>
          </string-name>
          and
          <string-name>
            <surname>Mazurik</surname>
            , Milton L. Wainberg, Yuval Neria, and
            <given-names>Andreas</given-names>
          </string-name>
          <string-name>
            <surname>Rechkemmer</surname>
          </string-name>
          .
          <year>2016</year>
          .
          <article-title>The role of fear-related behaviors in the 2013-2016 West Africa Ebola virus disease outbreak</article-title>
          .
          <source>Current Psychiatry Reports</source>
          ,
          <volume>18</volume>
          (
          <issue>104</issue>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref17">
        <mixed-citation>
          <string-name>
            <given-names>Lara</given-names>
            <surname>Tavoschi</surname>
          </string-name>
          , Filippo Quattrone,
          <string-name>
            <surname>Eleonora D'Andrea</surname>
          </string-name>
          , Pietro Ducange, Marco Vabanesi, Francesco Marcelloni, and Pier Luigi Lopalco.
          <year>2020</year>
          .
          <article-title>Twitter as a sentinel tool to monitor public opinion on vaccination: an opinion mining analysis from September 2016 to August 2017 in Italy</article-title>
          .
          <source>Human Vaccines &amp; Immunotherapeutics</source>
          ,
          <volume>16</volume>
          (
          <issue>5</issue>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref18">
        <mixed-citation>
          <string-name>
            <surname>Rebecca R. Thompson</surname>
            , Dana Rose Garfin,
            <given-names>E. Alison</given-names>
          </string-name>
          <string-name>
            <surname>Holman</surname>
          </string-name>
          , and Roxane Cohen Silver.
          <year>2017</year>
          .
          <article-title>Distress, worry, and functioning following a global health crisis: A national study of Americans' responses to Ebola</article-title>
          .
          <source>Clinical Pasychological Science</source>
          ,
          <volume>5</volume>
          (
          <issue>3</issue>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref19">
        <mixed-citation>
          <string-name>
            <given-names>Hao</given-names>
            <surname>Wang</surname>
          </string-name>
          , Dogan Can, Abe Kazemzadeh, Franc¸ois Bar, and
          <string-name>
            <given-names>Shrikanth</given-names>
            <surname>Narayanan</surname>
          </string-name>
          .
          <year>2012</year>
          .
          <article-title>A System for Real-time Twitter Sentiment Analysis of 2012 U.S. Presidential Election Cycle</article-title>
          .
          <source>In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics</source>
          , Jeju. Association for Computational Linguistics.
        </mixed-citation>
      </ref>
      <ref id="ref20">
        <mixed-citation>
          <string-name>
            <surname>Yu</surname>
            <given-names>Wang</given-names>
          </string-name>
          , Tom Clark,
          <string-name>
            <given-names>Eugene</given-names>
            <surname>Agichtein</surname>
          </string-name>
          , and
          <string-name>
            <given-names>Jeffrey</given-names>
            <surname>Staton</surname>
          </string-name>
          .
          <year>2014</year>
          .
          <article-title>Towards Tracking Political Sentiment through Microblog Data</article-title>
          .
          <source>In Proceedings of the Joint Workshop on Social Dynamics and Personal Attributes in Social Media</source>
          , pages
          <fpage>88</fpage>
          -
          <lpage>93</lpage>
          , Baltimore.
        </mixed-citation>
      </ref>
      <ref id="ref21">
        <mixed-citation>
          <string-name>
            <given-names>David</given-names>
            <surname>Zimbra</surname>
          </string-name>
          , Ahmed Abbasi, Daniel Zeng, and
          <string-name>
            <given-names>Hsinchun</given-names>
            <surname>Chen</surname>
          </string-name>
          .
          <year>2018</year>
          .
          <article-title>The State-of-the-Art in Twitter Sentiment Analysis: A Review and Benchmark Evaluation</article-title>
          .
          <source>ACM Transactions on Management Information Systems</source>
          ,
          <volume>9</volume>
          (
          <issue>5</issue>
          ).
        </mixed-citation>
      </ref>
    </ref-list>
  </back>
</article>