This paper describes the participation of the ELiRF research group of the Universitat Politecnica de Valencia at TASS2017 Workshop. This workshop is a satellite event of the XXXIII edition of the International Conference of the Spanish Society for Natural Language Processing. This work describes the approaches used for all the tasks of the workshop, the results obtained and a discussion of these results. Our participation has focused primarily on exploring di erent approaches of deep learning and we have achieved competitive results in the addressed tasks.
El Taller de Analisis de Sentimientos (TASS) ha venido planteando una serie de tareas relacionadas con el analisis de sentimientos en Twitter con el n de comparar y evaluar las diferentes aproximaciones presentadas por los participantes. Ademas, desarrolla recursos de libre acceso, basicamente, corpora anotados con polaridad, tematica, tendencia pol tica, aspectos, que son de gran utilidad para la comparacion de diferentes aproximaciones a las tareas propuestas.
En esta sexta edicion del TASS
El presente art culo resume la participacion del equipo ELiRF-UPV de la Universitat Politecnica de Valencia en todas las tareas planteadas en este taller. Primero se describen las aproximaciones y recursos utilizados en cada tarea. A continuacion se presenta la evaluacion experimental realizada y los resultados obtenidos. Finalmente se muestran las conclusiones y posibles trabajos futuros. 2
Los sistemas presentados en el TASS 2017
cambian el enfoque utilizado en pasadas
ediciones en las que nuestro equipo ha
participado
Copyright © 2017 by the paper's authors. Copying permitted for private and academic purposes.
bag-of-words de los tweets. En
El preproceso de los tweets utiliza la
estrategia descrita en los trabajos anteriores. Esta
consiste basicamente en la adaptacion para el
castellano del tokenizador de tweets
Tweetmotif
Todas las tareas se han abordado como un
problema de clasi cacion y para esto se han
utilizado redes neuronales debido a que han
obtenido buenos resultados en tareas
similares
En este trabajo se han explorado
diferentes topolog as de redes neuronales as
como diferentes tipos de representaciones de
los tweets para obtener los mejores
resultados posibles sobre un conjunto de
validacion extra do para cada tarea. Generalmente
se ha experimentado con Multilayer
Perceptron (MLP) y con redes neuronales
recurrentes, t picamente Long Short Term Memory
(LSTM) (Hochreiter y Schmidhuber, 1997)
y stacks de redes convolucionales (CNN) y
LSTM
As , en funcion de cada modelo se han empleado diversos tipos de representaciones como bag-of-words, bag-of-chars, colapsado de embeddings y representaciones secuenciales formadas por secuencias de embeddings o de vectores one-hot sobre palabras y caracteres.
Como recursos adicionales, se ha
experimentado an~adiendo informacion de polaridad
con el lexicon NRC
Ademas, tambien se ha experimentado
con sentiment speci c word embeddings
(SSWE)
En resumen, en las experimentaciones realizadas, cada tweet ha sido representado de distintas maneras en funcion del modelo con el que se han realizado dichas experimentaciones y se han estimado los hiper parametros de los modelos (numero de capas, neuronas por capa, iteraciones, etc.), as como la mejor representacion para cada modelo, mediante holdout con particiones de 80 % para entrenamiento y 20 % para validacion en aquellos casos en los que la organizacion del TASS no proporciona un conjunto de validacion.
Para cada tarea, con caracter general, se ha elegido las tres combinaciones de representacion de tweets y modelo de clasi cacion que optimizan la metrica o cial de evaluacion propuesta por la organizacion (macro-F1). 3
Esta tarea consiste en determinar la polaridad de los tweets. Se trata de un problema de analisis de sentimientos a nivel global utilizando cuatro etiquetas de polaridad: N que expresa polaridad negativa, NEU y NONE para polaridades neutras o ausencia de polaridad respectivamente y P para la polaridad positiva.
La organizacion del TASS ha de nido tres subtareas considerando tres corpus diferentes. En primer lugar, el corpus InterTASS compuesto por una particion de entrenamiento de 1008 muestras, una de validacion de 506 muestras y otra de test formada por 1920 muestras. En segundo lugar, las dos subtareas restantes utilizan para entrenamiento el General Corpus compuesto por 7219 muestras; pero, mientras una utiliza el conjunto de test completo (60798 muestras) la otra utiliza un subconjunto de 1000 muestras reetiquetadas denominado General Corpus 1K.
La distribucion de tweets segun su polaridad en el conjunto de entrenamiento del corpus InterTASS se muestra en la Tabla 1.
N NEU NONE P TOTAL Tabla 1: Distribucion de tweets en el conjunto de entrenamiento de InterTASS segun su polaridad.
Como se puede observar en la Tabla 1, el
corpus esta desbalanceado predominando las
clases N (41.46 %) y P (31.54 %). Para
intentar mitigar este problema, se ha empleado, en
toda la experimentacion, un escalado de la
funcion de perdida (loss) de forma que cada
clase tiene asociado un factor multiplicativo
a aplicar sobre dicha funcion. As ,
asignandoles un factor mayor a las clases minoritarias,
al cometer errores con las muestras de dichas
clases la loss sera mucho mayor, forzando as
a las redes neuronales para que clasi quen
correctamente dichas muestras
Como se ha comentado anteriormente, se realizo un proceso de ajuste donde se determino el mejor conjunto de entrenamiento, la mejor representacion de los tweets y los mejores valores para los hiperparametros de los modelos. De esta manera, para los sistemas basados en MLP se decidio utilizar como entrenamiento para las tres subtareas el conjunto de entrenamiento de InterTASS, y en los casos donde el sistema esta basado en CNN y LSTM se utilizo una combinacion de los conjuntos de entrenamiento del InterTASS y del General Corpus. Esto es debido a que, como se pudo comprobar en la fase de ajuste, los modelos basados en CNN y LSTM se comportaban mejor con un mayor numero de muestras en entrenamiento.
Con ello, para las subtarea del corpus
InterTASS, se han considerado los siguientes
sistemas:
run1: La primera alternativa esta
basada en un modelo MLP que colapsa los
embeddings, extra dos mediante un
modelo skip-gram entrenado con 87
millones de tweets, de las palabras de un tweet
dado mediante la funcion suma. El MLP
esta compuesto por dos capas con
funciones de activacion ReLU y 128 neuronas
en las que se aplica dropout con p = 0;4
Para la subtarea sobre el General Corpus
con el test de 60798 muestras, se han
empleado tres sistemas diferentes a los de la subtarea
con el corpus InterTASS:
run1: La primera alternativa es el run2
de la subtarea anterior (stack de CNN
y LSTM) entrenado a partir de
embeddings, extra dos mediante el modelo
skip-gram ya mencionado.
run2: La segunda alternativa es similar
al primer sistema, pero empleando
SSWE.
run3: Con la intencion de comparar los
nuevos modelos y los modelos utilizados
anteriormente por nuestro grupo,
basados en SVM, el ultimo sistema
presentado ha sido el ganador de la edicion de
2016 del TASS
Sobre la subtarea con el test de 1000 muestras, subconjunto de General Corpus, se ha extra do la polaridad de cada muestra a partir de las salidas sobre el test de 60798 muestras, por lo que no se ha desarrollado ningun sistema espec co para dicha subtarea.
En la Tabla 2 se muestran los valores de accuracy y macro-F1 obtenidos para las tres subtareas. Con los sistemas presentados se obtienen mejoras respecto a los resultados presentados en la edicion anterior.
Run run1 run2 run3 run1 run2 run3 run1 run2 run3
Acc Tabla 2: Resultados o ciales del equipo ELiRF-UPV en las tres subtareas de la Tarea 1 (TASS-2017). 4
Esta tarea consiste en asignar la polaridad
a los aspectos que aparecen marcados en el
corpus. Una de las di cultades de la tarea
consiste en de nir que contexto se le asigna a
cada aspecto para poder establecer su
polaridad. Para un problema similar, deteccion de
la polaridad a nivel de entidad, en la edicion
del TASS 2013, propusimos una
segmentacion de los tweets basada en un conjunto de
heur sticas
La organizacion del TASS ha planteado dos subtareas. La primera utiliza el corpus Social TV y la segunda el corpus STOMPOL. 4.1
El corpus Social TV fue proporcionado por la organizacion y se compone de un conjunto de tweets recolectados durante la nal de la Copa del Rey de futbol de 2014. Esta dividido en 1773 tweets de entrenamiento y 1000 tweets de test. El conjunto de entrenamiento esta anotado con los aspectos y su correspondiente polaridad, utilizando en este caso solo tres valores: P, N y NEU. El conjunto de test esta anotado con los aspectos y se debe determinar la polaridad de estos. 4.2
El corpus STOMPOL se compone de un conjunto de tweets relacionados con una serie de aspectos pol ticos, como econom a, sanidad, etc. que estan enmarcados en la campan~a pol tica de las elecciones andaluzas de 2015. Cada aspecto se relaciona con una o varias entidades que se corresponden con uno de los principales partidos pol ticos en Espan~a (PP, PSOE, IU, UPyD, Cs y Podemos). El corpus consta de 1.284 tweets, y ha sido dividido en un conjunto de entrenamiento (784 tweets) y un conjunto de evaluacion (500 tweets). 4.3
Los sistemas utilizados son identicos a los empleados con el corpus InterTASS de la primera tarea. Tampoco se han utilizado lexicones de polaridad debido a que no mejoraban resultados sobre validacion y se hace uso de embeddings obtenidos con skip-gram y SSWE. Ademas, antes de abordar el entrenamiento se determinan los segmentos de tweet que constituyen el contexto de cada uno de los aspectos presentes.
Con ello, se han tenido en cuenta diferentes taman~os de contexto y se han escogido los mejores para cada sistema de cada experimentacion en funcion de los resultados obtenidos en validacion. Posteriormente, cada segmento se tokeniza de la misma manera que en la Tarea 1 y se escoge el mejor modelo mediante validacion.
Por un lado, para la tarea con el corpus Social TV, los sistemas enviados son los siguientes: run1: La primera alternativa es el run1 de la Tarea 1, MLP con colapsado suma de embeddings extra dos con skip-gram. En este caso, el mejor contexto en validacion fue el formado por dos tokens a izquierda y derecha del aspecto. run2: La segunda alternativa es la misma red que el run2 de la Tarea 1, stack de CNN y LSTM con embeddings extra dos con skip-gram. En este caso, el mejor contexto fue de tres tokens a izquierda y derecha del aspecto. run3: El ultimo sistema es identico al run1 de esta tarea pero empleando SSWE. El mejor contexto tambien esta formado por tres tokens en ambos sentidos.
Por otro lado, para la tarea con STOMPOL, los sistemas considerados son identicos a la anterior tarea, pero con taman~os de contexto diferentes. En concreto, para el run1 y el run2 el taman~o de contexto es de 5 tokens a izquierda y derecha y en el run3 de 4 tokens.
Por ultimo, los resultados obtenidos de Accuracy y macro-F1 con los distintos sistemas para cada subtarea se muestran en la Tabla 3.
Run run1 run2 run3 run1 run2 run3 Tabla 3: Resultados o ciales del equipo ELiRF-UPV en las dos subtareas de la tarea 2 (TASS-2017). 5
En este trabajo se ha presentado la
participacion del equipo ELiRF-UPV en las 2 tareas
planteadas en TASS 2017. Nuestro equipo ha
utilizado tecnicas de aprendizaje automatico,
en concreto, aproximaciones basadas en redes
neuronales y, en algunos casos deep learning.
Para ello hemos utilizado la librer a Keras
para Python y otras como Gensim
Nuestro grupo esta interesado en seguir
trabajando en la miner a de textos en
redes sociales (author pro ling, stance
detection, sentiment analysis, etc.), as como en
tareas relacionadas (seguimiento de
tendencias: pol ticas y radicalizacion, entre otras) y
especialmente en incorporar nuevos recursos
a los sistemas desarrollados y estudiar nuevas
estrategias y metodos de deep learning, a
destacar los metodos generativos como
Generative Adversarial Networks
Este trabajo ha sido parcialmente subvencionado por MINECO y fondos FEDER bajo el proyecto ASLP-MULAN: Audio, Speech and Language Processing for Multimedia Analytics, TIN2014-54288-C4-3-R.
Chollet, F. et al. 2015. Keras. https:// github.com/fchollet/keras.
Duchi, J., E. Hazan, y Y. Singer. 2011.
Adaptive subgradient methods for online learning and stochastic optimization. J.
Mach. Learn. Res., 12:2121{2159, Julio. Gonzalez, J.-A., F. Pla, y L.-F. Hurtado. 2017a. ELiRF-UPV at IberEval 2017: Stance and Gender Detection in Tweets. En Notebook Papers of 2nd SEPLN Workshop on Evaluation of Human Language Technologies for Iberian Languages (IBEREVAL), Murcia, Spain. CEUR Workshop Proceedings. CEURWS.org.
Gonzalez, J.-A., F. Pla, y L.-F. Hurtado. 2017b. ELiRF-UPV at SemEval-2017 Task 4: Sentiment Analysis using Deep Learning. En Proceedings of the 11th International Workshop on Semantic Evaluation, SemEval '17, paginas 722{726, Vancouver, Canada, August. Association for Computational Linguistics.