This paper describes the participation of the ELiRF research group of the Universitat Politecnica de Valencia at TASS2018 Workshop which is a satellite event of the XXXIV edition of the International Conference of the Spanish Society for Natural Language Processing. We describe the approaches used for \Sentiment Analysis at Tweet level" and \Aspect-based Sentiment Analysis" tasks, the results obtained and a discussion of these results. Our participation has focused primarily on exploring di erent approaches of Deep Learning and we have achieved competitive results in the addressed tasks.
El Taller de Analisis de Sentimientos (TASS) ha venido planteando una serie de tareas relacionadas con el analisis de sentimientos en Twitter con el n de comparar y evaluar las diferentes aproximaciones presentadas por los participantes. Ademas, desarrolla recursos de libre acceso, basicamente, corpora anotados con polaridad, tematica, tendencia pol tica, aspectos, que son de gran utilidad para la comparacion de diferentes aproximaciones a las tareas propuestas.
En esta septima edicion del TASS
El presente art culo resume la participacion del equipo ELiRF-UPV de la Universitat Politecnica de Valencia en ambas tareas, que tratan el analisis de sentimientos tanto a nivel global como de aspectos.
El resto del art culo se estructura como
Copyright © 2018 by the paper's authors. Copying permitted for private and academic purposes. sigue: para cada tarea, primero se describen las aproximaciones y recursos utilizados en la tarea. A continuacion, se presenta la evaluacion experimental realizada y los resultados obtenidos. Finalmente se muestran las conclusiones y posibles trabajos futuros. 2
Esta tarea consiste en asignar una polaridad global a tweets en una escala de cuatro niveles de intensidad (N, NEU, NONE y P).
As , las principales di cultades radican en aspectos relacionados con el dominio de la tarea. Por un lado, la falta de contexto debido a la limitada longitud de los tweets. Por otro lado, el lenguaje informal es una caracter stica comun a muchas redes sociales como Twitter, lo que lleva a errores de ortograf a y a la utilizacion de terminos especiales como emoticonos. Ademas, en esta edicion, la organizacion ha propuesto como nuevo reto la multilingualidad por lo que es necesario conseguir que los sistemas sean capaces de generalizar entre diversas variedades del espan~ol. 2.1
La organizacion ha de nido tres subtareas considerando tres corpus diferentes con variedades del espan~ol. En primer lugar, el corpus InterTASS-ES (Espan~a) compuesto por una particion de entrenamiento de 1008 muestras, una de validacion de 506 muestras y otra de test formada por 1920 muestras. En segundo lugar, InterTASS-CR (Costa Rica) compuesto por 800 muestras de entrenamiento, 300 para validacion y 1233 para test. Por ultimo, InterTASS-PE (Peru), formado por 1000 muestras de entrenamiento, 500 de validacion y 1428 de test. Ademas, es posible emplear la particion de entrenamiento del General Corpus (GE), compuesta por 8226 muestras, para entrenar los sistemas.
La distribucion de tweets segun su polaridad en el conjunto de entrenamiento del corpus InterTASS se muestra en la Tabla 1.
La distribucion de tweets segun su polaridad en los conjuntos de entrenamiento de los corpus de InterTASS y General Corpus se muestra en la Tabla 1.
Como se puede observar en la Tabla 1, los corpus estan desbalanceados predominando generalmente las clases N y P, excepto en el corpus InterTASS-PE, donde la clase mas representada es NONE. As , la clase
N NEU NONE P
ES
Los sistemas que estudiamos en TASS 2018
continuan con el enfoque utilizado por
nuestro equipo en la pasada edicion
La tokenizacion de los tweets consiste en la
adaptacion para el castellano del tokenizador
de tweets Tweetmotif
En este trabajo se han explorado
diferentes arquitecturas de redes neuronales as
como diferentes tipos de representaciones de
los tweets. Entre estas arquitecturas,
estudiamos el comportamiento de
Convolutional Neural Network (CNN)
Ademas, para el entrenamiento de las arquitecturas Deep Learning, se ha empleado una aproximacion continua y derivable a la metrica de evaluacion (macro-F1) como funcion de loss. Empleamos esta estrategia con el objetivo de evitar el impacto del desbalanceo entre clases durante el entrenamiento. Esto nos permite obtener modelos mas robustos evaluados con macro-F1.
Por ultimo, con respecto al criterio de eleccion del mejor modelo, escogemos la arquitectura Deep Learning y la representacion que mejor se comporta en validacion sobre el corpus InterTASS-ES. Una vez determinada la representacion y la arquitectura junto con sus hiperparametros, este mismo sistema se emplea en las demas subtareas, i.e. no se ha ajustado ni estudiado modelos sobre InterTASS
2.3
Para estudiar el comportamiento de los diferentes modelos, se realizo un proceso de ajuste. De esta manera, evaluamos diversos modelos Deep Learning junto con los baselines sobre InterTASS-ES para escoger el mejor y emplearlo tambien en InterTASS-CR e InterTASS-PE. En la Tabla 2 se muestran los resultados obtenidos por cada sistema en los conjuntos de validacion de cada subtarea. En dicha tabla, S hace referencia al sistema, R a la representacion y C al conjunto de entrenamiento utilizado.
Respecto a la subtarea evaluada con el corpus InterTASS-ES, cuando se utiliza como medida de evaluacion la Accuracy (Acc), la mayor a de sistemas basados en Deep Learning mejoran los baselines propuestos. Con respecto a la macro-F1, observamos una diferencia de 7 puntos entre los baselines SVM con BOW (1-2gramas) y BOC (1-9gramas), a su vez, todos los sistemas basados en Deep Learning obtienen valores mas altos que ambos baselines. Entre los modelos de aprendizaje profundo observamos que se comportan mejor, tanto a nivel de Acc como de macroF1, aquellos con
menor complejidad y que capturan caracter sticas independientes del orden de las palabras (DAN frente a CNN y Att-BLSTM). Tambien es necesario destacar que la incorporacion de informacion extra da de lexicones no aporta mejoras al sistema DAN.
As , de entre todos los sistemas estudiados para InterTASS-ES, escogemos aquellos que maximizan Acc y macro-F1 de forma independiente, estos son DAN con WE entrenados con InterTASS-ES y con InterTASSES+GE respectivamente. Una vez se ha escogido DAN con WE como mejor sistema en InterTASS-ES para Acc (es-run1) y macroF1 (es-run2), se utiliza en InterTASS-CR e InterTASS-PE entrenando con el conjunto de entrenamiento de cada tarea y la combinacion de este con el General Corpus.
La Figura 1 muestra el sistema
propuesto en este trabajo, donde xi representa el
embedding de la palabra i, N representa el
uso de Batch Normalization
softmax ℎ1 = ( 1 ⋅ + 1 )
= σ =1 Figura 1: Deep Averaging Network que mejor se comporta en la particion de validacion de
2.4
En la Tabla 3 se muestran los resultados obtenidos por nuestros sistemas en cada una de las subtareas utilizando los conjuntos de test. Se han elegido los dos sistemas que han obtenido mejores resultados en la fase de ajuste.
En el test de InterTASS-ES nuestro sistema es-run1 obtiene los mejores resultados de la competicion tanto a nivel de macroF1 como de Acc (incluyendo la edicion pasada sobre el mismo corpus). Sin embargo,
Acc
Tabla 3: Resultados o ciales del equipo ELiRF-UPV en las tres subtareas de la Tarea 1 (los
resultados de los demas participantes se muestran en
En el caso de InterTASS-CR, nuestro mejor sistema cr-run2 se encuentra 2.2 puntos de macro-F1 por debajo del sistema LSTM de RETUYT y 2.1 puntos de Acc por debajo del sistema CR-LR de Atalaya (la diferencia de Acc no es signi cativa). Por otro lado, en InterTASS-PE, nuestro mejor sistema pe-run2 se encuentra 3.4 puntos de macroF1 por debajo del sistema CNN de RETUYT y 5.9 puntos de Acc por debajo del sistema MLP de Atalaya. En este caso, la diferencia a nivel de Acc s es signi cativa.
Cabe destacar que el sistema con mejor comportamiento en el test de InterTASS-CR e InterTASS-PE, a diferencia de lo observado en la fase de ajuste, ha sido el basado en Deep Averaging Networks (DAN) con Embeddings (WE) entrenado utilizando el corpus de cada subtarea en combinacion con el General Corpus. Por tanto, sobre el conjunto de test, la inclusion de datos de ediciones pasadas nos ha permitido mejorar al sistema entrenado unicamente con el corpus de entrenamiento de esta edicion (cr-run1 y pe-run1).
En las Tablas 4, 5 y 6 se muestra la evaluacion por clase de los mejores sistemas para las tres subtareas. En ellas se puede observar como, en todos los casos, las clases que mejor clasi can nuestros sistemas son P y N. Ademas, los resultados obtenidos con las clases NEU y NONE son siempre inferiores por un amplio margen en comparacion a P y N, lo que muestra la di cultad de clasi car correctamente dichas clases. Tambien, es necesario destacar que, mientras en InterTASS-ES e InterTASS-CR nuestros sistemas se comportan mejor con la clase NONE que con la clase NEU, en InterTASS-PE ocurre lo contrario y se equilibran los resultados de ambas clases.
Por otro lado, para estudiar el grado de confusion entre clases de nuestros mejores sistemas para las tres subtareas, en las Tablas 7, 8 y 9 se muestra la matriz de confusion para cada uno de ellos.
En InterTASS-ES, las mayores confusiones se dan entre las clases N-P, P-N,
NONE-N y NONE-P. En InterTASS-CR, Tabla 4: Resultados de Precision, Recall y F1 por clase para el sistema es-run1 en InterTASS-ES Tabla 6: Resultados de Precision, Recall y F1 por clase para el sistema pe-run2 en InterTASS-PE Tabla 5: Resultados de Precision, Recall y F1 por clase para el sistema cr-run2 en InterTASS-CR el sistema tiende a confundirse con mayor frecuencia en los casos NEU-N, NEUP, NONE-N y NONE-P. Por ultimo, en InterTASS-PE, el mejor sistema predice con mucha frecuencia la clase NEU lo que lleva a una gran confusion en los casos N-NEU y PNEU, ademas, pasa algo similar con las predicciones NONE, destacando la confusion en los casos N-NONE y NEU-NONE. 3
Esta tarea consiste en asignar la polaridad
a los aspectos que aparecen marcados en el
corpus. Una de las di cultades de la tarea
consiste en de nir que contexto se le asigna a
cada aspecto para poder establecer su
polaridad. Para un problema similar, deteccion de
la polaridad a nivel de entidad, en la edicion
del TASS 2013, propusimos una
segmentacion de los tweets basada en un conjunto de
heur sticas
La organizacion del TASS ha planteado dos subtareas. La primera utiliza el corpus
N NEU NONE P El corpus Social TV fue proporcionado por la organizacion y se compone de un conjunto de tweets recolectados durante la nal de la Copa del Rey de futbol de 2014. Esta dividido en 1773 tweets de entrenamiento y 1000 tweets de test. El conjunto de entrenamiento esta anotado con los aspectos y su correspondiente polaridad, utilizando en este caso solo tres valores: P, N y NEU. El conjunto de test esta anotado con los aspectos y se debe determinar la polaridad de estos. 3.2
El corpus STOMPOL se compone de un conjunto de tweets relacionados con una serie de aspectos pol ticos, como econom a, sanidad, etc. que estan enmarcados en la campan~a pol tica de las elecciones andaluzas de 2015. Cada aspecto se relaciona con una o varias entidades que se corresponden con uno de los principales partidos pol ticos en Espan~a (PP, PSOE, IU, UPyD, Cs y Podemos). El corpus consta de 1.284 tweets, y ha sido dividido en un conjunto de entrenamiento (784 tweets) y un conjunto de evaluacion (500 tweets). 3.3
Los sistemas utilizados son iguales a los empleados con los corpora InterTASS de la primera tarea. Se han utilizado modelos basados en Deep Averaging Networks y Embeddings, tanto para Social TV como para STOMPOL. Ademas, no hemos realizado ningun ajuste en los hiperparametros ni en la arquitectura, unicamente se ha realizado una fase de ajuste para determinar la longitud optima de la ventana para cada aspecto.
Con respecto a dicha longitud, en el corpus Social TV, observamos que cuanto menor es el taman~o de contexto, mejor se comportan los sistemas. As , la mejor longitud para este caso consiste en un unico token a izquierda y derecha del aspecto. En STOMPOL, por el contrario, cuanto mayor es el taman~o de contexto, mejores resultados obtienen los sistemas. En este caso, el mejor contexto esta formado por 10 tokens a izquierda y derecha del aspecto, lo que equivale a considerar todo el tweet para cada aspecto.
En lo referente a los sistemas, los enviados para la tarea Social TV son los siguientes: run1: La primera alternativa es el run1 de la Tarea 1, DAN con WE entrenado con el conjunto de entrenamiento de Social TV. run2: La segunda alternativa es el run1 que el grupo envio a la edicion pasada de Social TV. Tambien se trata de DAN con WE pero con hiperparametros y taman~o de contexto diferentes. run3: Para el ultimo sistema utilizamos transfer learning desde el es-run1 de la Tarea 1, cambiando la ultima capa del modelo y reentrenandolo con el corpus Social TV.
Por otro lado, para la tarea con STOMPOL, los sistemas considerados son identicos a la anterior tarea, pero con un taman~o de contexto diferente y entrenados con el corpus STOMPOL.
STOMPOL run-1 run-2 run-3 run-1 run-2 run-3
Por ultimo, los resultados obtenidos de Accuracy y macro-F1 con los distintos sistemas para cada subtarea se muestran en la Tabla 10.
Como se puede observar en la Tabla 10, en ambos casos mejoramos nuestros resultados de la edicion anterior, haciendo uso del sistema DAN con WE. Es interesante ver como transfer learning nos permite mejorar el sistema en Social TV a nivel de Acc, sin embargo, en el caso de STOMPOL, el sistema inicializado con transfer learning se comporta peor que el resto tanto a nivel de Acc como de macro-F1. 4
En este trabajo se ha presentado la participacion del equipo ELiRF-UPV en las tareas 1 y 2 planteadas en TASS2018. Nuestro equipo ha utilizado modelos Deep Learning, consiguiendo los mejores resultados en InterTASSES. Sin embargo, la variabilidad lingu stica afecta a la eleccion de la arquitectura y sus hiperparametros, por lo que la aplicacion del mismo sistema a las tareas InterTASS-CR e InterTASS-PE sin realizar ningun ajuste no nos ha permitido obtener resultados igual de competitivos que en InterTASS-ES.
Como trabajo futuro, nuestro grupo esta interesado en seguir trabajando en la miner a de textos en redes sociales y especialmente en la deteccion de stance, afecto y emociones, as como en la incorporacion de recursos lingu sticos a sistemas de Deep Learning.
Este trabajo ha sido parcialmente subvencionado por MINECO y fondos FEDER bajo los proyectos ASLP-MULAN (TIN201454288-C4-3-R) y AMIC (TIN2017-85854-C42-R). El trabajo de Jose-Angel Gonzalez es tambien nanciado por la Universidad Politecnica de Valencia bajo la beca PAID-0117. Tweetmotif: Exploratory search and topic summarization for twitter.