<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Archiving and Interchange DTD v1.0 20120330//EN" "JATS-archivearticle1.dtd">
<article xmlns:xlink="http://www.w3.org/1999/xlink">
  <front>
    <journal-meta />
    <article-meta>
      <title-group>
        <article-title>Usando la miner´ıa de emociones para la deteccio´n de problemas reales</article-title>
      </title-group>
      <contrib-group>
        <contrib contrib-type="author">
          <string-name>Flor Miriam Plaza-del-Arco</string-name>
          <xref ref-type="aff" rid="aff0">0</xref>
        </contrib>
        <aff id="aff0">
          <label>0</label>
          <institution>Departamento de Inform ́atica, Escuela Polit ́ecnica Superior de Ja ́en Universidad de Ja ́en, Campus Las Lagunillas</institution>
          ,
          <addr-line>23071, Ja ́en</addr-line>
          ,
          <country country="ES">Spain</country>
        </aff>
      </contrib-group>
      <pub-date>
        <year>2019</year>
      </pub-date>
      <fpage>7</fpage>
      <lpage>12</lpage>
      <abstract>
        <p>Emotions play an important role in human intelligence and behaviour and are a major vehicle for communication. Emotion mining is a relatively recent task that attempts to identify different emotional categories in text. However, due to its complexity and the limited availability of annotated lexical resources, it is still in the early stages of research. In addition, most of the work and resources have been focus on English texts, but the presence of other languages, such as Spanish, is growing on the Web. Therefore, in this work, we describe a thesis project that will focus on the development of emotion recognition systems in Spanish texts. In addition, we aim to use these systems to solve other relevant tasks, such as, hate speech identification on social media or mental disorders detection.</p>
      </abstract>
    </article-meta>
  </front>
  <body>
    <sec id="sec-1">
      <title>-</title>
      <p>Las emociones juegan un papel adaptativo,
social y motivacional en nuestro d´ıa a d´ıa ya
que representan diferentes caracter´ısticas
indicativas del comportamiento humano, como
el estado emocional, el nivel de inter´es o el
estado de alerta.</p>
      <p>
        El objetivo de la computaci´on afectiva es
permitir que los ordenadores puedan
reconocer, interpretar y procesar emociones
humanas. Por lo tanto, esta rama es un elemento
clave para el progreso de la Inteligencia
Artificial. La miner´ıa de emociones se
enmarca dentro del an´alisis de sentimientos y de la
computaci´on afectiva y trata de identificar
diferentes categor´ıas emocionales en un texto,
tales como la tristeza, la alegr´ıa, el enfado o
el miedo. En los u´ltimos an˜os, ha surgido un
creciente inter´es en la detecci´on autom´atica
de las emociones en un texto dando lugar a
trabajos muy prometedores en el ´area
        <xref ref-type="bibr" rid="ref22">(Strapparava, 2016)</xref>
        .
      </p>
      <p>
        Por otra parte, actualmente cada vez son
m´as los usuarios que utilizan las redes
sociales, blogs o foros para comunicarse, por lo que
el texto es una fuente de datos
particularmente importante con contenido emocional en la
Web. El tratamiento de estos datos
requiere la identificaci´on y el an´alisis automatizado
de las emociones expresadas por los usuarios
en el texto
        <xref ref-type="bibr" rid="ref5">(Hasan, Rundensteiner, y Agu,
2019)</xref>
        .
      </p>
      <p>
        La miner´ıa de emociones tiene el
potencial de humanizar las interacciones digitales
y ofrecer beneficios en una gama casi
ilimitada de aplicaciones. Por ejemplo, en el campo
de la psicolog´ıa, puede ayudar a los
profesionales a comprender r´apidamente el estado
de ´animo de un paciente o buscar signos de
que el usuario sufre alguna enfermedad
mental como la depresi´on o la anorexia. En las
redes sociales, se podr´ıa identificar usuarios
que est´an sufriendo ciberbullying o incluso
usuarios que piensan en suicidarse
        <xref ref-type="bibr" rid="ref6">(Hinduja y
Patchin, 2010)</xref>
        . Al igual, es posible identificar
en estas plataformas mensajes que incitan al
odio provocando efectos psicol´ogicos
negativos a otros usuarios.
      </p>
      <p>
        La incitaci´on al odio se define
comu´nmente como el lenguaje hostil, malicioso y
motivado por prejuicios dirigido a una persona en
espec´ıfico o a un grupo de personas en base a
alguna caracter´ıstica, como puede ser la raza,
la sexualidad, el color, la etnia, la apariencia
f´ısica, la religi´on o la discapacidad
        <xref ref-type="bibr" rid="ref14">(CohenAlmagor, 2011; Erjavec y Kovaˇciˇc, 2012)</xref>
        .
Inicialmente, este tipo de contenido se difund´ıa
a trav´es de medios tradicionales, como la
televisi´on, la radio o los peri´odicos. Actualmente,
con el continuo crecimiento de las redes
sociales, desafortunadamente encontramos una
gran variedad de contenido malintencionado
en la Web. Este hecho preocupa a la
sociedad, a los gobiernos y a las plataformas de
redes sociales. Segu´n un informe sobre la
evoluci´on de los incidentes relacionados con los
delitos motivados por el odio en Espan˜a
realizado por el Ministerio del Interior en 20171,
Internet y las redes sociales aparecen como
los medios m´as utilizados para difundir la
incitaci´on al odio, con un 36,5 % y un 17,9 %,
respectivamente.
      </p>
      <p>Las graves consecuencias de este
problema, combinadas con la gran cantidad de
datos que los usuarios publican diariamente en
la Web, requieren el desarrollo de algoritmos
capaces de detectar autom´aticamente
comentarios inapropiados.</p>
      <p>
        Recientemente, un gran nu´mero de
investigadores han comenzado a trabajar en la
tarea de detecci´on autom´atica del odio en redes
sociales
        <xref ref-type="bibr" rid="ref1 ref1 ref10 ref11 ref11 ref17 ref18 ref19 ref2 ref2 ref20">(Fortuna y Nunes, 2018; Fersini,
Ros1http://www.interior.gob.es/
documents/10180/7146983/ESTUDIO+
INCIDENTES+DELITOS+DE+ODIO+2017+v3.pdf/
5d9f1996-87ee-4e30-bff4-e2c68fade874
so, y Anzovino, 2018)</xref>
        . Se considera una tarea
muy compleja para estas plataformas tanto
que, para resolver este problema, a menudo
dependen de su comunidad para reportar el
contenido malicioso.
      </p>
      <p>Este proyecto de tesis se centra en el
an´alisis de las emociones y en la aplicaci´on de
dicho an´alisis a problemas reales, como puede
ser la detecci´on del odio o de trastornos
mentales en las redes sociales. Adem´as, a
diferencia de la mayor´ıa de los trabajos existentes
hasta el momento, la tesis principalmente se
centrar´a en el tratamiento de textos en
espan˜ol, ya que su presencia en Internet es cada
vez mayor, por lo que surge la necesidad de
desarrollar sistemas aplicados a dicho idioma.</p>
      <p>El resto del art´ıculo est´a organizado de la
siguiente forma: en primer lugar, en la
Secci´on 2 se mencionar´a el origen y trabajo
relacionado con el proyecto de tesis. En la
Secci´on 3 se describe la investigaci´on
propuesta. La Secci´on 4 expone la metodolog´ıa y los
experimentos que se van a desarrollar y por
u´ltimo, se presentan los elementos de
investifaci´on propuestos para su discusi´on en la
Secci´on 5.
2</p>
    </sec>
    <sec id="sec-2">
      <title>Origen y trabajo relacionado</title>
      <p>
        Uno de los primeros estudios relacionados con
la computaci´on afectiva es el de Picard
        <xref ref-type="bibr" rid="ref16">(Picard, 1997)</xref>
        . Ella propuso la idea de entrenar
a los sistemas para identificar las emociones
humanas. La construcci´on de sistemas
afectivos requiere un procesamiento multimodal,
ya que un ser humano puede expresar
emociones a partir de una amplia gama de sen˜ales
de comportamiento. Los investigadores
realizan el an´alisis a trav´es de diferentes fuentes
de informaci´on, como los gestos, el habla, los
movimientos, la expresi´on facial o las sen˜ales
fisiol´ogicas. El reconocimiento de la emoci´on
en un texto es considerado una de las
ramas m´as recientes de la computaci´on
afectiva. De hecho, las redes sociales representan
una fuente enorme de expresividad
emocional textual mayor que cualquier otra. Esta es
una de las razones por las que muchos
investigadores de ´areas como el Procesamiento del
Lenguaje Natural (PNL), la Inteligencia
Artificial (IA) o la psicolog´ıa est´an interesados
en este campo.
      </p>
      <p>
        Los estudios cient´ıficos sobre la
clasificaci´on de las emociones humanas datan de la
d´ecada de 1960. Muchos te´oricos han
propuesto conjuntos de emociones que tienden a
ser b´asicos con caracter´ısticas innatas y
universales
        <xref ref-type="bibr" rid="ref24 ref7">(Tomkins, 1962; Izard, 1992)</xref>
        . Si bien
los psic´ologos no est´an de acuerdo sobre qu´e
modelo describe con mayor precisi´on el
conjunto de emociones b´asicas, el m´as utilizado
en la investigaci´on inform´atica es el
propuesto por Ekman (1992) con 6 emociones
(enfado, repulsi´on, miedo, alegr´ıa, tristeza y
sorpresa)
        <xref ref-type="bibr" rid="ref3">(Gholipour Shahraki, 2015)</xref>
        .
      </p>
      <p>
        Uno de los pilares fundamentales en la
investigaci´on relacionada con la miner´ıa de
emociones se centra en los recursos
lingu¨´ısticos disponibles. Los recursos l´exicos son
indispensables y existen varios disponibles para
el idioma ingl´es, como WordnetAffect
        <xref ref-type="bibr" rid="ref23">(Strapparava y Valitutti, 2004)</xref>
        , Emolex
        <xref ref-type="bibr" rid="ref12">(Mohammad y Turney, 2013)</xref>
        NRC Affect Intensity
Lexicon
        <xref ref-type="bibr" rid="ref1 ref10 ref11 ref2">(Mohammad y Kiritchenko, 2018)</xref>
        y
LIWC
        <xref ref-type="bibr" rid="ref15">(Pennebaker, Francis, y Booth, 2001)</xref>
        .
Sin embargo, con respecto a la
disponibilidad de recursos para otros idiomas, nos
encontramos con que el nu´mero es bastante
m´as reducido
        <xref ref-type="bibr" rid="ref25">(Yadollahi, Shahraki, y
Zaiane, 2017)</xref>
        . Concretamente, para el espan˜ol
podemos citar el recurso Spanish Emotion
Lexicon (SEL) de D´ıaz Rangel, Sidorov, y
Su´arez Guerra (2014).
      </p>
      <p>
        Los algoritmos basados en el
reconocimiento de emociones en el texto pueden
clasificarse en dos categor´ıas: enfoques basados
en el l´exico y enfoques basados en
aprendizaje autom´atico (Cambria, 2016). El primero
trata sobre el uso de recursos l´exicos u
ontolog´ıas clasificados por emoci´on
        <xref ref-type="bibr" rid="ref9">(Mohammad,
2012)</xref>
        . El segundo aplica algoritmos
estad´ısticos sobre caracter´ısticas lingu¨´ısticas, los
cuales pueden ser supervisados o no supervisados
(Chaffar y Inkpen, 2011).
      </p>
      <p>
        La incitaci´on al odio y el an´alisis de
emociones est´an estrechamente relacionados, ya
que generalmente las emociones negativas
aparecen en comentarios maliciosos. En los
u´ltimos an˜os, el inter´es por desarrollar
sistemas para combatir contenido malicioso en las
redes sociales apoy´andose en t´ecnicas
basadas en el reconocimiento de emociones ha
incrementado, tanto que, cada vez son m´as los
trabajos que proliferan en el ´ambito del PLN.
Algunos trabajos realizados hasta el
momento siguen un enfoque en el que se aplica en
primer lugar un clasificador para detectar
comentarios negativos antes de que el
clasificador final verifique espec´ıficamente si hay
evidencia de odio
        <xref ref-type="bibr" rid="ref14 ref21 ref4">(Dinakar et al., 2012; Sood,
Churchill, y Antin, 2012; Gitari et al., 2015)</xref>
        .
      </p>
    </sec>
    <sec id="sec-3">
      <title>Descripci´on de la investigaci´on propuesta</title>
      <p>Este proyecto de tesis se propone con la
finalidad de desarrollar un sistema autom´atico de
reconocimiento de emociones en espan˜ol con
el objetivo de aplicarlo a tareas reales, como
por ejemplo, la detecci´on del odio en las redes
sociales.</p>
      <p>En primer lugar, se est´an estudiando en
detalle los trabajos que tratan el
reconocimiento de emociones en ingl´es y en espan˜ol.
Este estudio es fundamental para obtener
conocimiento de los enfoques m´as utilizados en
ingl´es y reproducirlos con objeto de conocer
y comparar su funcionamiento en espan˜ol.</p>
      <p>Elegimos realizar el trabajo en espan˜ol, ya
que son escasos los recursos disponibles
actualmente en nuestra lengua, a pesar de ser
la segunda lengua m´as hablada en el mundo
y la tercera lengua m´as usada en la Web.</p>
      <p>A continuaci´on, se mencionar´an los
trabajos que se han realizado hasta el momento
para la persecuci´on del objetivo de la tesis.</p>
      <p>
        En 2018, uno de nuestros primeros
trabajos fue el desarrollo de tres sistemas
multilingu¨es con motivo de nuestra
participaci´on en tres subtareas (EI-oc, EI-reg, E-c)
de la Tarea 1 de SemEval: Affect in Tweets
        <xref ref-type="bibr" rid="ref10 ref11">(Mohammad et al., 2018)</xref>
        . Son tareas
relacionadas con la identificaci´on de la intensidad
de la emoci´on y con la clasificaci´on de
emociones en tweets. Nuestra principal
contribuci´on fue la implementaci´on de un sistema
para adaptar WordNet-Affect al espan˜ol
        <xref ref-type="bibr" rid="ref17 ref18 ref19 ref20">(Plazadel-Arco et al., 2018a)</xref>
        utilizando diferentes
recursos como BabelNet
        <xref ref-type="bibr" rid="ref14">(Navigli y Ponzetto,
2012)</xref>
        o Babelfy
        <xref ref-type="bibr" rid="ref13">(Moro, Raganato, y Navigli,
2014)</xref>
        . Otro de los trabajos relacionado con
los recursos l´exicos, fue la adaptaci´on del
lexic´on NRC Affect Intensity construyendo un
nuevo lexic´on para el espan˜ol probado sobre
el conjunto de datos liberado en la tarea 1 de
la competici´on de SemEval 2018.
        <xref ref-type="bibr" rid="ref17 ref18 ref19 ref20">(Plaza-delArco et al., 2018d)</xref>
        . Por otra parte, se realiz´o
un sistema autom´atico para categorizar
emocionalmente art´ıculos de noticias para la
tarea 4 de la competici´on TASS 2018
        <xref ref-type="bibr" rid="ref17 ref18 ref19 ref20">(Plazadel-Arco et al., 2018c)</xref>
        . Adem´as, participamos
en WASSA 2018 Implicit Emotion
desarrollando un sistema basado en redes
neuronales para predecir la emoci´on que expresa una
palabra excluida en el texto
        <xref ref-type="bibr" rid="ref17 ref18 ref19 ref20">(Plaza-del-Arco
et al., 2018a)</xref>
        . Por u´ltimo, se desarroll´o un
sistema para el reconocimiento de emociones
en el dominio pol´ıtico
        <xref ref-type="bibr" rid="ref17 ref18 ref19 ref20">(Plaza-del-Arco et al.,
2018b)</xref>
        .
      </p>
      <p>
        En 2019, no solo nos centramos en el
reconocimiento de emociones en s´ı, si no que
tambi´en optamos por realizar sistemas orientados
a diferentes aplicaciones dentro del ´ambito de
la miner´ıa de la emoci´on, como por ejemplo,
la identificaci´on del lenguaje ofensivo o la
detecci´on de trastornos mentales (anorexia,
depresi´on) en las redes sociales. Por ello, hemos
participado en diferentes competiciones que
tratan dichas tareas. En primer lugar,
participamos una vez m´as en SemEval, en concreto,
en las tareas EmoContext, HatEval y
OffensEval. En la primera de ellas, implementamos
un sistema autom´atico orientado al
reconocimiento de cuatro emociones (enfado, tristeza
y alegr´ıa y otras) en un di´alogo textual entre
dos personas incorporando caracter´ısticas
derivadas de diferentes lexicones afectivos. En
la segunda tarea, implementamos un sistema
multilingu¨e para la detecci´on del odio en
redes sociales dirigido a dos objetivos
espec´ıficos: inmigrantes y mujeres. Para la tercera
tarea, desarrollamos un sistema con el
objetivo de identificar el lenguaje ofensivo en las
redes sociales. Por otra parte, este an˜o
hemos participamos por primera vez en CLEF
eRisk 2019: Early risk prediction on the
Internet
        <xref ref-type="bibr" rid="ref5 ref8">(Losada, Crestani, y Parapar, 2019)</xref>
        en
la tarea 1: Detecci´on temprana de signos de
anorexia.
      </p>
      <p>Los objetivos concretos que se pretenden
alcazar con este proyecto son los siguientes:
Extraer informaci´on subjetiva de las
diferentes plataformas (blogs, redes
sociales, foros, etc) que dispongan de
emociones.</p>
      <p>Generar y adaptar distintos recursos
para el reconocimiento de emociones en
espan˜ol, tanto corpus como lexicones.</p>
      <p>Procesar dicha informaci´on para
desarrollar sistemas que sean capaces de
identificar las diferentes categor´ıas
emocionales.</p>
      <p>Aplicar los sistemas desarrollados a
aplicaciones reales para solucionar
problemas actuales.
4</p>
    </sec>
    <sec id="sec-4">
      <title>Metodolog´ıa y experimentos propuestos</title>
      <p>La metodolog´ıa que se propone para la
consecuci´on de esta tesis se presenta a
continuaci´on:
1. Estudio y revisi´on del estado del arte.</p>
      <p>Se realizar´a un estudio de la bibliograf´ıa
existen sobre la miner´ıa de emociones en
ingl´es y en espan˜ol.
2. Creaci´on, adaptaci´on e integraci´on de
recursos existentes para poder realizar
un an´alisis de los m´etodos propuestos.
Se intentar´a crear recursos lingu¨´ısticos
adem´as de adaptar ciertos recursos ya
disponibles en ingl´es.
3. Desarrollo de un prototipo. Se tratar´a de
implementar un sistema de detecci´on de
emociones para el espan˜ol y se aplicar´a
a determinadas tareas tales como la
detecci´on de la incitaci´on al odio.</p>
      <sec id="sec-4-1">
        <title>Disen˜o de una arquitectura modu</title>
        <p>lar que permita integrar nuevas
funcionalidades a medida que se vaya
avanzando en la investigaci´on.</p>
      </sec>
      <sec id="sec-4-2">
        <title>Construcci´on de la arquitectura modular disen˜ada. Prueba del correcto funcionamiento del prototipo.</title>
        <p>4. Experimentaci´on y evaluaci´on. Se
utilizar´an los recursos generados para llevar
a cabo la experimentaci´on y
posteriormente se proceder´a a la evaluaci´on del
prototipo, llevando a cabo una
comparaci´on de los resultados obtenidos con los
ya existentes. Los resultados obtenidos
se pondr´an a disposici´on de la
comunidad cient´ıfica.
5</p>
      </sec>
    </sec>
    <sec id="sec-5">
      <title>Elementos de investigaci´on espec´ıficos propuestos para discusi´on</title>
      <p>Las principales cuestiones de investigaci´on a
las que se pretende responder con este
proyecto de tesis son las siguientes:</p>
      <p>Estudios psicol´ogicos muestran que las
emociones del ser humano van ligadas a
su cultura e idioma. Por tanto, ¿es
necesario crear recursos emocionales
teniendo en cuenta el idioma? o ¿una simple
traducci´on entre recursos es suficiente?
¿Qu´e caracter´ısticas se deben tener en
cuenta en el proceso del an´alisis de
emociones? ¿C´omo se pueden utilizar estas
caracter´ısticas para mejorar los sistemas
de reconocimiento de emociones?
¿Qu´e algoritmos son los que nos
proporcionan una mayor exactitud para
reconocer las diferentes categor´ıas emocionales
en un texto?
Dado que los usuarios en las redes
sociales es donde m´as suelen expresar sus
emociones, ¿es u´til esta informaci´on para
la creaci´on de recursos l´exicos?
¿Es u´til incorporar conocimiento
afectivo para detectar problemas como el
odio o los trastornos mentales?. En caso
afirmativo, ¿qu´e caracter´ısticas afectivas
aportan m´as valor?</p>
    </sec>
    <sec id="sec-6">
      <title>Agradecimientos</title>
      <p>Este trabajo ha sido parcialmente
subvencionado por el Fondo Europeo de
Desarrollo Regional (FEDER) y el proyecto REDES
(TIN2015-65136-C2-1-R) del Gobierno de
Espan˜a.</p>
    </sec>
    <sec id="sec-7">
      <title>Bibliograf´ıa</title>
      <p>Cambria, E. 2016. Affective computing and
sentiment analysis. IEEE Intelligent
Systems, 31(2):102–107.</p>
      <p>Chaffar, S. y D. Inkpen. 2011. Using a
heterogeneous dataset for emotion analysis in
text. En Canadian Conference on
Artificial Intelligence, p´aginas 62–67. Springer.
Cohen-Almagor, R. 2011. Fighting hate and
bigotry on the internet. Policy &amp; Internet,
3(3):1–26.</p>
      <p>D´ıaz Rangel, I., G. Sidorov, y S. Su´arez
Guerra. 2014. Creaci´on y evaluaci´on de un
diccionario marcado con emociones y
ponderado para el espan˜ol. Onomazein, 1(29).
Dinakar, K., B. Jones, C. Havasi, H.
Lieberman, y R. Picard. 2012.
Common sense reasoning for detection,
prevention, and mitigation of cyberbullying.
ACM Transactions on Interactive
Intelligent Systems (TiiS), 2(3):18.</p>
      <p>Ekman, P. 1992. An argument for basic
emotions. Cognition &amp; emotion, 6(3-4):169–
200.</p>
      <p>Erjavec, K. y M. P. Kovaˇciˇc. 2012. “you
don’t understand, this is a new war!”
analysis of hate speech in news web sites’
comments. Mass Communication and
Society, 15(6):899–920.</p>
    </sec>
  </body>
  <back>
    <ref-list>
      <ref id="ref1">
        <mixed-citation>
          <string-name>
            <surname>Fersini</surname>
            ,
            <given-names>E.</given-names>
          </string-name>
          , P. Rosso, y
          <string-name>
            <given-names>M.</given-names>
            <surname>Anzovino</surname>
          </string-name>
          .
          <year>2018</year>
          .
          <article-title>Overview of the task on automatic misogyny identification at ibereval</article-title>
          <year>2018</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref2">
        <mixed-citation>
          <string-name>
            <surname>Fortuna</surname>
            ,
            <given-names>P. y S.</given-names>
          </string-name>
          <string-name>
            <surname>Nunes</surname>
          </string-name>
          .
          <year>2018</year>
          .
          <article-title>A survey on automatic detection of hate speech in text</article-title>
          .
          <source>ACM Computing Surveys (CSUR)</source>
          ,
          <volume>51</volume>
          (
          <issue>4</issue>
          ):
          <fpage>85</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref3">
        <mixed-citation>
          <string-name>
            <given-names>Gholipour</given-names>
            <surname>Shahraki</surname>
          </string-name>
          ,
          <string-name>
            <surname>A.</surname>
          </string-name>
          <year>2015</year>
          .
          <article-title>Emotion mining from text</article-title>
          .
        </mixed-citation>
      </ref>
      <ref id="ref4">
        <mixed-citation>
          <string-name>
            <surname>Gitari</surname>
            ,
            <given-names>N. D.</given-names>
          </string-name>
          ,
          <string-name>
            <given-names>Z.</given-names>
            <surname>Zuping</surname>
          </string-name>
          , H. Damien,
          <string-name>
            <given-names>y J.</given-names>
            <surname>Long</surname>
          </string-name>
          .
          <year>2015</year>
          .
          <article-title>A lexicon-based approach for hate speech detection</article-title>
          .
          <source>International Journal of Multimedia and Ubiquitous Engineering</source>
          ,
          <volume>10</volume>
          (
          <issue>4</issue>
          ):
          <fpage>215</fpage>
          -
          <lpage>230</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref5">
        <mixed-citation>
          <string-name>
            <surname>Hasan</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>E</surname>
          </string-name>
          . Rundensteiner,
          <string-name>
            <given-names>y E.</given-names>
            <surname>Agu</surname>
          </string-name>
          .
          <year>2019</year>
          .
          <article-title>Automatic emotion detection in text streams by analyzing twitter data</article-title>
          .
          <source>International Journal of Data Science and Analytics</source>
          ,
          <volume>7</volume>
          (
          <issue>1</issue>
          ):
          <fpage>35</fpage>
          -
          <lpage>51</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref6">
        <mixed-citation>
          <string-name>
            <surname>Hinduja</surname>
            , S. y
            <given-names>J. W.</given-names>
          </string-name>
          <string-name>
            <surname>Patchin</surname>
          </string-name>
          .
          <year>2010</year>
          .
          <article-title>Bullying, cyberbullying, and suicide</article-title>
          .
          <source>Archives of suicide research</source>
          ,
          <volume>14</volume>
          (
          <issue>3</issue>
          ):
          <fpage>206</fpage>
          -
          <lpage>221</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref7">
        <mixed-citation>
          <string-name>
            <surname>Izard</surname>
            ,
            <given-names>C. E.</given-names>
          </string-name>
          <year>1992</year>
          .
          <article-title>Basic emotions, relations among emotions, and emotion-cognition relations</article-title>
          .
        </mixed-citation>
      </ref>
      <ref id="ref8">
        <mixed-citation>
          <string-name>
            <surname>Losada</surname>
            ,
            <given-names>D. E.</given-names>
          </string-name>
          ,
          <string-name>
            <given-names>F.</given-names>
            <surname>Crestani</surname>
          </string-name>
          ,
          <string-name>
            <given-names>y J.</given-names>
            <surname>Parapar</surname>
          </string-name>
          .
          <year>2019</year>
          . Overview of eRisk 2019:
          <article-title>Early Risk Prediction on the Internet. En Experimental IR Meets Multilinguality, Multimodality, and Interaction</article-title>
          .
          <source>10th International Conference of the CLEF Association, CLEF</source>
          <year>2019</year>
          , Lugano, Switzerland. Springer International Publishing.
        </mixed-citation>
      </ref>
      <ref id="ref9">
        <mixed-citation>
          <string-name>
            <surname>Mohammad</surname>
            ,
            <given-names>S. M.</given-names>
          </string-name>
          <year>2012</year>
          .
          <article-title>From once upon a time to happily ever after: Tracking emotions in mail and books</article-title>
          .
          <source>Decision Support Systems</source>
          ,
          <volume>53</volume>
          (
          <issue>4</issue>
          ):
          <fpage>730</fpage>
          -
          <lpage>741</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref10">
        <mixed-citation>
          <string-name>
            <surname>Mohammad</surname>
            ,
            <given-names>S. M.</given-names>
          </string-name>
          ,
          <string-name>
            <given-names>F.</given-names>
            <surname>Bravo-Marquez</surname>
          </string-name>
          , M. Salameh, y
          <string-name>
            <given-names>S.</given-names>
            <surname>Kiritchenko</surname>
          </string-name>
          .
          <year>2018</year>
          .
          <article-title>Semeval-2018 Task 1: Affect in tweets</article-title>
          .
          <source>En Proceedings of International Workshop on Semantic Evaluation (SemEval-2018)</source>
          , New Orleans, LA, USA.
        </mixed-citation>
      </ref>
      <ref id="ref11">
        <mixed-citation>
          <string-name>
            <surname>Mohammad</surname>
            ,
            <given-names>S.</given-names>
            M. y S.
          </string-name>
          <string-name>
            <surname>Kiritchenko</surname>
          </string-name>
          .
          <year>2018</year>
          .
          <article-title>Understanding emotions: A dataset of tweets to study interactions between affect categories</article-title>
          .
          <source>En Proceedings of the 11th Edition of the Language Resources and Evaluation Conference</source>
          , Miyazaki, Japan.
        </mixed-citation>
      </ref>
      <ref id="ref12">
        <mixed-citation>
          <string-name>
            <surname>Mohammad</surname>
            , S. M. y
            <given-names>P. D.</given-names>
          </string-name>
          <string-name>
            <surname>Turney</surname>
          </string-name>
          .
          <year>2013</year>
          .
          <article-title>Crowdsourcing a word-emotion association lexicon</article-title>
          .
          <source>Computational Intelligence</source>
          ,
          <volume>29</volume>
          (
          <issue>3</issue>
          ):
          <fpage>436</fpage>
          -
          <lpage>465</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref13">
        <mixed-citation>
          <string-name>
            <surname>Moro</surname>
            ,
            <given-names>A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>A</surname>
          </string-name>
          . Raganato, y
          <string-name>
            <given-names>R.</given-names>
            <surname>Navigli</surname>
          </string-name>
          .
          <year>2014</year>
          .
          <article-title>Entity linking meets word sense disambiguation: a unified approach</article-title>
          .
          <source>Transactions of the Association for Computational Linguistics</source>
          ,
          <volume>2</volume>
          :
          <fpage>231</fpage>
          -
          <lpage>244</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref14">
        <mixed-citation>
          <string-name>
            <surname>Navigli</surname>
            , R. y
            <given-names>S. P.</given-names>
          </string-name>
          <string-name>
            <surname>Ponzetto</surname>
          </string-name>
          .
          <year>2012</year>
          .
          <article-title>Babelnet: The automatic construction, evaluation and application of a wide-coverage multilingual semantic network</article-title>
          .
          <source>Artificial Intelligence</source>
          ,
          <volume>193</volume>
          :
          <fpage>217</fpage>
          -
          <lpage>250</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref15">
        <mixed-citation>
          <string-name>
            <surname>Pennebaker</surname>
            ,
            <given-names>J. W.</given-names>
          </string-name>
          , M. E. Francis, y
          <string-name>
            <given-names>R. J.</given-names>
            <surname>Booth</surname>
          </string-name>
          .
          <year>2001</year>
          .
          <article-title>Linguistic inquiry and word count: Liwc 2001</article-title>
          . Mahway: Lawrence Erlbaum Associates,
          <volume>71</volume>
          (
          <year>2001</year>
          ):
          <year>2001</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref16">
        <mixed-citation>
          <string-name>
            <surname>Picard</surname>
            ,
            <given-names>R. W.</given-names>
          </string-name>
          <year>1997</year>
          . Affective computing.
          <year>1997</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref17">
        <mixed-citation>
          <article-title>Plaza-del-</article-title>
          <string-name>
            <surname>Arco</surname>
            ,
            <given-names>F. M.</given-names>
          </string-name>
          ,
          <string-name>
            <given-names>S. M.</given-names>
            <surname>Jim</surname>
          </string-name>
          <article-title>´enez-</article-title>
          <string-name>
            <surname>Zafra</surname>
            , M. Martin,
            <given-names>y L. A.</given-names>
          </string-name>
          <string-name>
            <surname>Uren</surname>
          </string-name>
          <article-title>˜a-Lopez. 2018a. Sinai at semeval-2018 task 1: Emotion recognition in tweets</article-title>
          .
          <source>En Proceedings of the 12th International Workshop on Semantic Evaluation</source>
          , p´aginas 128-
          <fpage>132</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref18">
        <mixed-citation>
          <article-title>Plaza-del-</article-title>
          <string-name>
            <surname>Arco</surname>
            , F.,
            <given-names>S. M.</given-names>
          </string-name>
          <string-name>
            <surname>Jim</surname>
          </string-name>
          <article-title>´enez-</article-title>
          <string-name>
            <surname>Zafra</surname>
          </string-name>
          , M.-
          <string-name>
            <surname>T.</surname>
          </string-name>
          Martın-Valdivia, y L.
          <article-title>A. Urena-Lo´pez. 2018b. Using facebook reactions to recognize emotion in political domain</article-title>
          .
        </mixed-citation>
      </ref>
      <ref id="ref19">
        <mixed-citation>
          <article-title>Plaza-del-</article-title>
          <string-name>
            <surname>Arco</surname>
            ,
            <given-names>F. M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>E.</surname>
          </string-name>
          <article-title>Mart´ınez-C´amara</article-title>
          , M. T. M. Valdivia, y
          <string-name>
            <surname>L. A. U.</surname>
          </string-name>
          <article-title>L´opez</article-title>
          . 2018c.
          <source>SINAI en TASS</source>
          <year>2018</year>
          :
          <article-title>Inserci´on de conocimiento emocional externo a un clasificador lineal de emociones (SINAI at TASS 2018: Lineal classification system with emotional external knowledge)</article-title>
          .
          <source>En Proceedings of TASS 2018: Workshop on Semantic Analysis at SEPLN, TASS@SEPLN</source>
          <year>2018</year>
          ,
          <article-title>co-located with 34nd SEPLN Conference (SEPLN</article-title>
          <year>2018</year>
          ), Sevilla, Spain,
          <year>September 18th</year>
          ,
          <year>2018</year>
          ., p´aginas 125-
          <fpage>130</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref20">
        <mixed-citation>
          <article-title>Plaza-del-</article-title>
          <string-name>
            <surname>Arco</surname>
            ,
            <given-names>F. M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>M. D.</surname>
          </string-name>
          <article-title>MolinaGonza´lez</article-title>
          , S. M.
          <article-title>Jim´enez-</article-title>
          <string-name>
            <surname>Zafra</surname>
          </string-name>
          , y M. T. Mart´ın-Valdivia.
          <year>2018d</year>
          .
          <article-title>Lexicon adaptation for spanish emotion mining</article-title>
          .
          <source>Procesamiento del Lenguaje Natural</source>
          ,
          <volume>61</volume>
          :
          <fpage>117</fpage>
          -
          <lpage>124</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref21">
        <mixed-citation>
          <string-name>
            <surname>Sood</surname>
            ,
            <given-names>S. O.</given-names>
          </string-name>
          ,
          <string-name>
            <given-names>E. F.</given-names>
            <surname>Churchill</surname>
          </string-name>
          ,
          <string-name>
            <given-names>y J.</given-names>
            <surname>Antin</surname>
          </string-name>
          .
          <year>2012</year>
          .
          <article-title>Automatic identification of personal insults on social news sites</article-title>
          .
          <source>Journal of the American Society for Information Science and Technology</source>
          ,
          <volume>63</volume>
          (
          <issue>2</issue>
          ):
          <fpage>270</fpage>
          -
          <lpage>285</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref22">
        <mixed-citation>
          <string-name>
            <surname>Strapparava</surname>
            ,
            <given-names>C.</given-names>
          </string-name>
          <year>2016</year>
          .
          <article-title>Emotions and nlp: Future directions</article-title>
          .
          <source>En Proceedings of the 7th workshop on computational approaches to subjectivity, sentiment and social media analysis</source>
          , p´
          <fpage>agina</fpage>
          180.
        </mixed-citation>
      </ref>
      <ref id="ref23">
        <mixed-citation>
          <string-name>
            <surname>Strapparava</surname>
            , C. y
            <given-names>A.</given-names>
          </string-name>
          <string-name>
            <surname>Valitutti</surname>
          </string-name>
          .
          <year>2004</year>
          .
          <article-title>Wordnet affect: an affective extension of wordnet. En Language Resources and Evaluation Conference (LREC), volumen 4</article-title>
          , pa´ginas 1083-
          <fpage>1086</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref24">
        <mixed-citation>
          <string-name>
            <surname>Tomkins</surname>
            ,
            <given-names>S.</given-names>
          </string-name>
          <year>1962</year>
          .
          <article-title>Affect imagery consciousness: Volume I: The positive affects</article-title>
          . Springer publishing company.
        </mixed-citation>
      </ref>
      <ref id="ref25">
        <mixed-citation>
          <string-name>
            <surname>Yadollahi</surname>
            ,
            <given-names>A.</given-names>
          </string-name>
          ,
          <string-name>
            <given-names>A. G.</given-names>
            <surname>Shahraki</surname>
          </string-name>
          , y
          <string-name>
            <given-names>O. R.</given-names>
            <surname>Zaiane</surname>
          </string-name>
          .
          <year>2017</year>
          .
          <article-title>Current state of text sentiment analysis from opinion to emotion mining</article-title>
          .
          <source>ACM Comput. Surv.</source>
          ,
          <volume>50</volume>
          (
          <issue>2</issue>
          ):
          <volume>25</volume>
          :
          <fpage>1</fpage>
          -
          <lpage>25</lpage>
          :
          <fpage>33</fpage>
          ,
          <string-name>
            <surname>Mayo</surname>
          </string-name>
          .
        </mixed-citation>
      </ref>
    </ref-list>
  </back>
</article>