In this paper, we present the emotion classi cation system developed by the SINAI team for the Task 4 at TASS 2018 workshop. Our approach is based on a supervised learning algorithm, SVM, using emotional features, which are grounded in several emotional lexicons. The obtained results encourage us to continue working on this line.
En este trabajo se describen las
aportaciones realizadas a la Tarea 4 del taller TASS
(Good Or Bad News? Emotional
categorization of news articles)
Con la aparicion de la Web 2.0, la cantidad de informacion subjetiva en Internet ha crecido exponencialmente. Existen diferentes plataformas como son las redes sociales, portales
1Los detalles de la tarea y el corpus pueden leerse
en
El reconocimiento de emociones en textos tiene multiples bene cios en diferentes sectores. Algunos ejemplos se listan a continuacion: 1. Ayuda a las empresas a con gurar sus
Copyright © 2018 by the paper's authors. Copying permitted for private and academic purposes.
estrategias de marketing en funcion de
las emociones de los consumidores
valores. 5. Puede identi car si el titular de una noticia es seguro o inseguro para un anunciante en funcion de las emociones expresadas en el mismo.
En este trabajo, proponemos un sistema de clasi cacion de emociones en espan~ol para el reconocimiento de emociones en titulares de noticias. Para ello, usamos diferentes lexicones afectivos para extraer una serie de caracter sticas y, ademas, integramos dicho conocimiento en un clasi cador supervisado.
Los resultados obtenidos nos animan a seguir trabajando en esta tarea. 2
La miner a de la opinion y la miner a de la
emocion forman parte del area de Analisis de
Sentimientos (AS), pero tienen diferentes
objetivos. La miner a de la opinion trata el
estudio de las opiniones expresadas en los textos
y su tarea basica es la deteccion de la
polaridad
En la ultima decada, la mayor parte del
trabajo se ha centrado en la tarea de clasi
cacion de la polaridad. Sin embargo, una de las
areas mas complejas que aun no se ha
estudiado en profundidad es la miner a de la
emocion. Algunos trabajos estan comenzando a
explorar el potencial de los sistemas de
deteccion y clasi cacion de emociones
La mayor parte de los trabajos de
reconocimiento de emociones, se centran en el uso
e integracion de diferentes recursos como
lexicones y corpus. En concreto, los lexicones
afectivos son muy valiosos ya que
proporcionan informacion acerca del tipo de emocion e
intensidad que expresa cada palabra del
texto. Ademas, pueden ser utilizados en varios
enfoques del AS, como caracter sticas para la
clasi cacion en metodos de aprendizaje
automatico
Sin embargo, la disponibilidad de recursos
emocionales es escasa y la mayor a de ellos los
encontramos en ingles. Por ejemplo,
Strapparava y Valitutti (2004) desarrollaron el
recurso WordNet-A ect formado por un conjunto
de terminos afectivos en ingles y basado en los
synsets de WordNet. Linguistic Inquiry and
Word Count (LIWC) es otro lexicon
emocional que divide las palabras en diferentes
categor as, incluidos los estados
emocionales.
Con respecto a la disponibilidad de
recursos emocionales en espan~ol, encontramos que
el numero es muy limitado. Hasta donde
sabemos, el unico lexicon emocional que
podemos encontrar es Spanish Emotion Lexicon
(SEL)
En este trabajo, usamos los lexicones emocionales como caracter sticas para la clasi cacion de noticias haciendo uso de un algoritmo de aprendizaje automatico. 3
El equipo SINAI ha participado con un sistema, que se describira a continuacion, en la Subtarea 1 de la Tarea 4 de la edicion de 2018 del taller TASS.
En esta seccion, se presentan los elementos que forman parte del sistema desarrollado para la competicion. En primer lugar, se describen los lexicones utilizados para la obtencion de las caracter sticas emocionales dadas en una noticia. En segundo lugar, se explica el proceso seguido para la extraccion de las caracter sticas haciendo uso de los lexicones y, por ultimo, se explica la etapa de clasi cacion llevada a cabo con un algoritmo supervisado. 3.1
Para el reconocimiento de la emocion a nivel de oracion, es esencial el analisis de las palabras del titular de la noticia para determinar su emocion. Por esta razon, en este sistema utilizamos dos lexicones de emocion y uno de polaridad con el n de determinar la carga emocional que expresan las palabras del titular de una noticia. Los lexicones empleados son:
ney, 2010). Esta constituido por 14.182 terminos en ingles asociados a una o mas emociones: ira, miedo, anticipacion, con anza, sorpresa, tristeza, alegr a. Ademas, este recurso esta disponible en mas de cien idiomas, incluido el espan~ol. Todas estas versiones se han generado mediante la traduccion de los terminos en ingles haciendo uso del traductor de Google.
Espan~ol (iSOL2)
Extraccion de caracter sticas Para la extraccion de caracter sticas emocionales de una noticia se ha tenido en cuenta la siguiente hipotesis: si una noticia genera una emocion positiva o neutra, es segura para incorporar anuncios, pero si genera una emocion negativa, la noticia no es segura para an~adir anuncios. En base a esta hipotesis, se han utilizado los lexicones mencionados anteriormente mapeando cada emocion de las distintas palabras en polaridad positiva o negativa. Este mapeo se ha realizado en el caso de los lexicones que contienen palabras clasi cadas en emociones: Emolex y SEL. Sin embargo, para el caso del lexicon iSOL no ha sido necesario ya que se trata de un lexicon de polaridad. Las Tablas 1 y 2 muestran la correspondencia realizada entre las emociones de los distintos lexicones y la polaridad (positiva o negativa).
Tabla 1: Correspondencia entre las emociones de SEL y la polaridad positiva/negativa Emocion anger fear sadness joy disgust surprise Emocion enfado miedo tristeza alegr a asco sorpresa anticipacion con anza
Tabla 2: Correspondencia entre las emociones de Emolex y la polaridad positiva/negativa
El metodo seguido para la extraccion de caracter sticas emocionales es el siguiente: 1. Se comprueba la presencia de cada uno Polaridad negativa negativa negativa positiva negativa positiva Polaridad negativa negativa negativa positiva negativa positiva negativa positiva Figura 1: Cobertura del numero de palabras de la noticia detectadas en los lexicones de los terminos que componen el titular de la noticia en los distintos lexicones. 2. Si el termino esta presente en algun lexicon, se mapea la emocion de dicho termino y se obtiene la polaridad positiva o negativa. 3. Para cada titular de noticia, obtenemos un valor de polaridad positiva y otro de polaridad negativa. Este valor se obtiene realizando el sumatorio de la polaridad de cada una de las palabras del titular presente en los distintos lexicones (Emolex, SEL e iSOL). 4. Como resultado, obtenemos un vector de dos valores (positivo, negativo) para cada lexicon, es decir, extraemos un total de seis caracter sticas para cada noticia.
En la Tabla 3 podemos ver un ejemplo de algunas de las noticias junto a las emociones reconocidas por el sistema. 3.3
En primer lugar, preprocesamos el corpus de noticias proporcionado. El preprocesamiento que llevamos a cabo se explica a continuacion: Tokenizacion con TweetTokenizer4 de NLTK.
Eliminacion de palabras vac as (stopwords) con NLTK.5
Conversion de las palabras a minuscula.
Seguidamente, se realiza la union de los vectores obtenidos con los distintos lexicones de emociones y de polaridad, y la representacion TF-IDF de la noticia. Para llevar a cabo la clasi cacion, optamos por el algoritmo 4http://www.nltk.org/api/nltk.tokenize. html 5https://pythonspot.com/nltk-stop-words/ de aprendizaje supervisado SVM, y concretamente su implementacion C-SVC. Se uso un nucleo lineal y el valor de C fue 1.0.
Por ultimo, para ejecutar nuestros experimentos, se utilizaron los conjuntos de datos proporcionados por los organizadores de la tarea de la siguiente manera. Durante el per odo de pre-evaluacion, entrenamos el sistema con el conjunto de entrenamiento (train) y evaluamos con el conjunto de desarrollo (dev.). Sin embargo, durante el per odo de evaluacion, entrenamos el sistema con el conjunto train y dev., y evaluamos con el conjunto de evaluacion (test). 4
Los resultados proporcionados por nuestro sistema sobre el corpus SANSE para la Tarea 4 se muestran en la Tabla 3 y 4. Las medidas o ciales de la competicion son MacroPrecision, Macro-Recall, Macro-F1 y Accuracy.
En la Tabla 5 podemos observar los resultados obtenidos por clase (SAFE, UNSAFE). Como podemos apreciar, el modelo muestra mejores resultados para la clase UNSAFE. Sin embargo, para la clase SAFE obtenemos un recall bajo de 62,2 %. Esto se debe a que en el mapeado realizado (emocionpolaridad), el numero de emociones negativas es mayor que el numero de emociones positivas como se puede observar en la Tabla 1 y 2 y, por consiguiente, hay mas palabras negativas que positivas en los lexicones emocionales. En la Figura 1 vemos claramente que el numero de palabras negativas encontradas en la noticia (65,1 %) es mayor que el numero de palabras positivas (34,9 %). Por tanto, se recuperan pocas palabras con polaridad positiva. Por otra parte, como podemos ver en la Tabla 4 los resultados obtenidos a nivel general por nuestro sistema son de 73,33 % en el caso de la Macro-Precision, 72,22 % de Macro-Recall, 72,8 % de Macro-F1 y 74,2 % de Accuracy. 5
En este trabajo presentamos un metodo de clasi cacion de emociones desarrollado con aprendizaje supervisado que hace uso de caracter sticas emocionales extra das a partir de diferentes lexicones y que se utilizan como entrada para un clasi cador supervisado. Los resultados obtenidos demuestran la utilidad de utilizar caracter sticas emocionales para Tabla 3: Emociones detectadas en una noticia
Obesidad[tristeza, asco], un problema[tristeza, miedo] de gravedad[tristeza, miedo] mayor[tristeza, con anza] en Mexico Secretario de estado comprometicon la do[alegr a, con anza, anticipacion] paz[alegr a, con anza, anticipacion] en Bolivia Detenido un yihadista que quer a matarenfado, miedo, tristeza, anticipacion a Espan~oles
0.733
realizar la clasi cacion ya que son aceptables.
Ademas, vemos que es necesario el desarrollo
de lexicones emocionales en espan~ol ya que el
unico que encontramos actualmente es SEL.
Nuestro proximo estudio se enfocara en
explorar mas lexicones afectivos en otros
idiomas con el objetivo de adaptarlos al espan~ol
ya que como se demostro en la tarea
compartida del WASSA-2017
Este trabajo ha sido parcialmente subvencionado por el Fondo Europeo de Desarrollo Regional (FEDER), el proyecto REDES (TIN2015-65136-C2-1-R) y el proyecto SMART-DASCI (TIN2017-89517-P) del Gobierno de Espan~a. Eugenio Mart nez Camara fue nanciado por el programa Juan de la Cierva Formacion (FJCI-2016-28353) del Gobierno de Espan~a.
Badaro, G., H. Hajj, W. El-Hajj, y L. Nachman. 2013. A hybrid approach with collaborative ltering for recommender systems. En Wireless Communications and Emociones positivas Emociones negativas 1 3 2 0 1 4
Mobile Computing Conference (IWCMC), 2013 9th International, paginas 349{354.
IEEE. S. Estevez-Velarde M. A. Garc aCumbreras M. Garc a-Vega Y. Gutierrez A. Montejo Raez A. Montoyo R. Mun~oz A. Piad-Mor s, y J. Villena-Roman, editores, Proceedings of TASS 2018: Workshop on Semantic Analysis at SEPLN (TASS 2018), volumen 2172 de CEUR Workshop Proceedings, Sevilla, Spain, September. CEUR-WS.