This paper describes the participation of the ELiRF research group of the Universitat Politecnica de Valencia at TASS2018 Workshop which is a satellite event of the XXXIV edition of the International Conference of the Spanish Society for Natural Language Processing. We describe the approaches used for \Good Or Bad News? Emotional categorization of news articles" task, the results obtained and a discussion of these results. Our participation has focused primarily on exploring di erent approaches of Deep Learning and we have achieved competitive results in the addressed task.
El Taller de Analisis Semantico de la SEPLN (TASS) ha propuesto historicamente tareas relacionadas con el analisis de sentimientos, con el objetivo de evaluar los diversos sistemas planteados por los participantes. Para estas tareas, desarrollan recursos lingu sticos de libre acceso como corpora anotados con polaridad, bien a nivel de aspectos o a nivel global.
En esta septima edicion del TASS
Con respecto a la tarea 4, la cual es abordada en este art culo, el objetivo consiste en clasi car titulares de noticias como SAFE o UNSAFE, en funcion de si se pueden posicionar anuncios en la noticia o no. El criterio de decision del posicionamiento de noticias puede llegar a ser muy complejo y, en este caso, la organizacion de la tarea opta por un criterio basado en las emociones y la tematica expresadas en la noticia. Concretamente, se considera que una noticia es SAFE en caso de que no exprese ninguna emocion negativa ni trate ningun tema controvertido, en cualquier otro caso, la noticia no es segura para posicionar anuncios y se considera UNSAFE.
El presente art culo resume la participacion del equipo ELiRF-UPV de la Universitat Politecnica de Valencia en todas las subtareas de la tarea 4, que tratan la categorizacion emocional de noticias con el objetivo de determinar si es seguro posicionar anuncios en ellas.
El resto del art culo se estructura como si
Copyright © 2018 by the paper's authors. Copying permitted for private and academic purposes. gue: primero se describen el corpus, las aproximaciones y los recursos utilizados en la tarea. A continuacion, se presenta la evaluacion experimental realizada y los resultados obtenidos. Finalmente, se muestran las conclusiones y posibles trabajos futuros. 2
Para la primera edicion de la tarea 4, la organizacion ha construido el corpus SANSE, compuesto por titulares en variantes del espan~ol utilizado en Espan~a y en diversos pa ses de America Latina. As , se han considerado diversas variantes del espan~ol con el objetivo de que los sistemas sean capaces de afrontar di cultades relacionadas con la diversidad lexica, sintactica y tematica.
El corpus esta compuesto por 2000 titulares de noticias, a partir de los cuales, los organizadores han extra do particiones de entrenamiento, validacion y test en funcion de cada subtarea. Para la subtarea 1, partiendo del conjunto de datos completo, que incluye todas las variedades lingu sticas, se proporciona un conjunto de entrenamiento de 1250 muestras, uno de validacion de 250 y otro de test de 500 (L1). Ademas, proponen un conjunto adicional de test compuesto por 13152 titulares (L2). Por otro lado, para la subtarea 2, los conjuntos de entrenamiento y validacion estan formados unicamente por los titulares en espan~ol de Espan~a, con 207 y 48 muestras respectivamente. En este caso, el conjunto de test esta compuesto por 407 titulares escritos en el resto de variedades lingu sticas.
En las Tablas 1 y 2 se muestra la distribucion de las clases SAFE y UNSAFE para las subtareas 1 y 2 respectivamente. Como se puede observar, en todas las particiones existe un sesgo hacia la clase UNSAFE, aunque la magnitud de dicho sesgo di ere entre particiones e.g. en L2 hay el doble de muestras UNSAFE que SAFE, mientras que en L1 hay un 19.6 % mas de muestras UNSAFE. En el caso de las particiones de entrenamiento y validacion de la subtarea 1, la magnitud del desbalanceo es identica i.e. 1429500 = 29580 y 1726500 = 125520 . En la subtarea 2, todas las particiones tienen un sesgo similar tambien hacia la clase UNSAFE. 3
Como baselines se han implementado dos sistemas basados en Support Vector Machine
SAFE
UNSAFE
La tokenizacion utilizada consiste en la
adaptacion para el castellano del
tokenizador Tweetmotif
Con los baselines y el preproceso ya
determinado, se han explorado diversas
arquitecturas Deep Learning, de la misma forma que
en nuestra participacion en las tareas 1 y 2 del
taller. Concretamente, estudiamos
Convolutional Neural Network (CNN)
Para llevar a cabo la experimentacion con
diversos sistemas y representaciones, hemos
utilizado las librer as Keras
(4) c = SAFE, y = UNSAFE, p(yjx) = 99;58 %: La Comision de Pol tica Exterior de la AN declaro " n de la integracioncon Colombia y Brasil (5) c = UNSAFE, y = SAFE, p(yjx) = 99;75 %: Petunia, la segunda opcion que descartaron la China Suarez y Benjam n Vicun~a como nombre de su hija Magnolia (6) c = SAFE, y = UNSAFE, p(yjx) = 50;03 %: En alerta por los hinchas rusos del Lokomotiv que hoy llegan a Madrid (7) c = UNSAFE, y = SAFE, p(yjx) = 50;02 %: Kim Cattrall, lapidaria: \Sarah Jessica Parker, no necesito tu apoyo en este tragico momento" Tabla 4: Ejemplos de dos errores con p(yjx) maximas y m nimas sobre el conjunto de test L2 de la subtarea 1.
Para entrenar los modelos basados en redes neuronales, con el objetivo de evitar el impacto del desbalanceo entre las clases SAFE y UNSAFE, se ha empleado como funcion de loss una version ponderada de la entrop a cruzada. Concretamente, L(x) log( nnrc ), donde nr es el numero de muestras en la clase mayoritaria (UNSAFE) y nc es el numero de muestras en la clase de la muestra x.
Por ultimo, con respecto al criterio de eleccion del mejor modelo, se ha escogido la arquitectura Deep Learning y la representacion que mejor se comporta en la particion de validacion de la subtarea 1. Una vez determinada la representacion y la arquitectura junto con sus hiperparametros, este mismo sistema se emplea en la subtarea 2. 4
Para estudiar el comportamiento de los diferentes modelos, se realizo un proceso de ajuste. As , experimentamos con varios sistemas y representaciones sobre la subtarea 1 para escoger el mejor y reutilizarlo en la subtarea 2. En la Tabla 6 se muestran los resultados obtenidos por cada sistema en el conjunto de validacion de la subtarea 1. En dicha tabla, S hace referencia al sistema y R al tipo de representacion empleada por dicho sistema.
Como se puede observar, SVM con BOW (1-2gramas) obtiene un 73.20 % Acc y 69.88 Macro-F1, mejorando al baseline SVM con BOC (1-10gramas), aunque las diferencias no son signi cativas a nivel de Acc. Ademas, si en lugar de utilizar representaciones bagof-words de los titulares, empleamos la suma de embeddings TWE con el mismo sistema SVM, conseguimos mejorar en 3.60 % de Acc y 5.80 puntos de Macro-F1, lo que indica que representaciones que capturan contenido semantico de las palabras aportan informacion importante para la tarea. Esto puede ser debido a la capacidad de los embeddings de agrupar palabras con tematica similar, lo que parece ser relevante al determinar si un titular de noticia aborda un tema controvertido o no.
Por otro lado, si en lugar de utilizar SVM como modelo de clasi cacion, empleamos modelos basados en Deep Learning como DAN, CNN o Att-BLSTM conseguimos mejoras de entre 3.6 % y 8.8 % tanto de Macro-F1 como de Acc. Es necesario destacar que las diferencias de Acc entre los modelos Deep Learning y los baselines son signi cativas, a pesar de que los intervalos de con anza son muy amplios debido al reducido numero de muestras en el conjunto de validacion.
Otros aspectos relevantes de la experimentacion consisten en la incorporacion de lexicones al mejor modelo (DAN + TWE + bolsas de sangre (8) c = SAFE, y = UNSAFE, p(yjx) = 88;82 %: Siete millones de bol vares pagan los pacientes renales por una reclutamiento de menores en el Caribe (9) c =
UNSAFE, y = SAFE, p(yjx) = 58;73 %: Bol var, Cesar, Sierra Nevada y Cordoba, escenarios de (10) c = SAFE, y = UNSAFE, p(yjx) = 50;14 %: Vicepresidente Garc a Linera entrega obra deportiva en
UNSAFE, y = SAFE, p(yjx) = 50;22 %: Poder Judicial ordeno congelar cuentas bancarias de Tabla 5: Ejemplos de dos errores con p(yjx) maximas y m nimas sobre el conjunto de test de la
S SVM SVM SVM DAN DAN CNN DAN (run1)
TWE TWE CWE TWE TWE
TWE
TWE+LE
pesos de la unica capa oculta y de la
dimensionalidad de los embeddings. Como
algoritmo de optimizacion se ha empleado Adagrad
softmax ℎ1 = ( ( 1 ⋅ + 1 ) )
= σ =1 Figura 1: Deep Averaging Network que mejor se comporta en la particion de validacion de la subtarea 1. 5
En la Tabla 7 se muestran los resultados obtenidos por nuestros sistemas en cada una de las subtareas utilizando los conjuntos de test.
Con ello, en el test L1 de la subtarea 1, nuestros dos sistemas obtienen resultados si
L1
L2
run1
run2
run1
run2
run1
run2
Tabla 7: Resultados o ciales del equipo ELiRF-UPV en la competicion (los resultados de los
demas participantes se muestran en
Con la particion de test L2 de la subtarea 1, observamos que considerar el conjunto de validacion en el entrenamiento nos lleva a una reduccion sistematica, en todas las metricas, de hasta un 3 % en el caso de Acc. Sobre esta particion, nuestro sistema (run1) obtiene los mejores resultados de la competicion, tanto a nivel de Macro-F1 como de Acc.
En la subtarea 2, el comportamiento de los sistemas propuestos cambia con respecto a la subtarea 1. Aqu podemos observar como el reentrenamiento con validacion (run2) permite incrementar los resultados, sobre todas las metricas de evaluacion, en aproximadamente 1 punto con respecto al run1.
En las Tablas 8, 9 y 10 se muestra la evaluacion por clase (precision, recall y F1) de los mejores sistemas para cada uno de los conjuntos de test. En ellas se puede observar como, en todos los casos, la clase mejor clasi
cada es UNSAFE, posiblemente debido a la mayor presencia de muestras de esta clase en el corpus. Esto ocurre sobre todas las metricas, excepto en el caso de la precision en la subtarea 2. En este caso, la precision del sistema sobre la clase SAFE es mas alta que sobre UNSAFE, sin embargo, esto es a costa de una gran reduccion sobre el recall de dicha clase, por lo que el sistema identi
ca pocas muestras SAFE aunque clasi ca correctamente la mayor a.
Otro analisis interesante consiste en estudiar las muestras que nuestros mejores sis
P 77.90 81.20
R 70.10 86.60 Tabla 8: Resultados de Precision, Recall y F1 por clase para el sistema run1 en la particion de test L1 de la subtarea 1.
P 82.20 93.40
R 87.50 90.20 Tabla 9: Resultados de Precision, Recall y F1 por clase para el sistema run1 en la particion de test L2 de la subtarea 1. temas clasi can erroneamente con una gran con anza en la prediccion i.e. max p(yjx) :
y y 6= c(x) donde c(x) es la clase correcta para la muestra x e y es la prediccion del sistema.
Tambien resulta interesante estudiar errores con p(yjx) m nima. Estos ejemplos, sobre las dos tareas y sus respectivos conjuntos de test, se muestran en las Tablas 3, 4, 5.
En general, observamos en dichas tablas que los valores maximos y m nimos de p(yjx) estan cercanos a los valores l mite (50 % y 100 %) en todos los conjuntos de test. Sin embargo, en la subtarea 2, los valores maximos son menores en comparacion a los test L1 y L2 de la subtarea 1, donde destaca que el segundo valor maximo de p(yjx) (error 9) esta mas cercano al 50 % que al 100 %. En este caso, se comete el error al predecir la clase SAFE, pero ser a posible evitarlo si el modelo pudiera observar el trigrama \reclutamiento de menores".
Con respecto a los valores m nimos de p(yjx), en todos los casos estan muy proximos al 50 % y algunos de estos errores se pueden abordar mediante la utilizacion de Name Entities (error 4) o reforzando la presencia o ausencia de palabras que emiten emociones negativas (error 7, \lapidaria", \tragico" y error
P 78.70 70.80 Tabla 10: Resultados de Precision, Recall y F1 por clase para el sistema run2 en la particion de test de la subtarea 2. 3). Por ultimo, entre todos los errores mostrados en las tablas, observamos algunos que son complejos de clasi car incluso mediante supervision humana, concretamente, los errores 1 (clase SAFE), 2 (clase UNSAFE), 4 (clase SAFE) y 6 (clase SAFE). 6
En este trabajo se ha presentado la participacion del equipo ELiRF-UPV en la tarea \Good Or Bad News? Emotional categorization of news articles"planteada en TASS2018. Nuestro equipo ha utilizado modelos Deep Learning, obteniendo resultados competitivos en las dos subtareas. Entre ellos, obtenemos los mejores resultados sobre el conjunto de test L2 de la subtarea 1 y un segundo puesto tanto en el conjunto de test L1 de la subtarea 1 como en la subtarea 2.
Durante el desarrollo de la experimentacion se han explorado diversas arquitecturas Deep Learning y representaciones, con ello, se ha observado que las representaciones basadas en word embeddings junto con Deep Averaging Networks aportan mejoras signi cativas a representaciones y modelos mas simples como bag-of-words y SVM.
Como trabajo futuro, estamos interesados en mejorar el sistema siguiendo las propuestas planteadas tras el analisis de errores e.g. considerando Name Entities o reforzando la presencia o ausencia de palabras que emiten emociones negativas. Ademas, tambien resultan de interes otras tareas de miner a de textos sobre art culos period sticos como la deteccion de stance.
Este trabajo ha sido parcialmente subvencionado por MINECO y fondos FEDER bajo los proyectos ASLP-MULAN (TIN201454288-C4-3-R) y AMIC (TIN2017-85854-C42-R). El trabajo de Jose-Angel Gonzalez es tambien nanciado por la Universidad Politecnica de Valencia bajo la beca PAID-0117.