This paper describes the participation of the ELiRF research group of the Universitat Politecnica de Valencia at TASS2016 Workshop. This workshop is a satellite event of the XXXII edition of the Annual Conference of the Spanish Society for Natural Language Processing. This work describes the approaches used for the two tasks of the workshop, the results obtained and a discussion of these results. Our participation has focused primarily on exploring di erent approaches for combining a set of systems. Using these approaches we have achieved the best results in both tasks.
El Taller de Analisis de Sentimientos (TASS) en sus cinco ediciones ha venido planteando tareas relacionadas con el analisis de sentimientos en Twitter. El objetivo principal es el de comparar y evaluar diferentes aproximaciones a estas tareas. Ademas, desarrolla recursos de libre acceso, basicamente, corpora anotados con polaridad, tematica, tendencia pol tica, aspectos, que son de gran utilidad para la comparacion de diferentes aproximaciones a las tareas propuestas.
En esta quinta edicion del TASS se
proponen dos tareas de ediciones anteriores
El presente art culo resume la participacion del equipo ELiRF-UPV de la Universitat Politecnica de Valencia en todas las tareas planteadas en este taller. Primero se describen las aproximaciones y recursos utilizados en cada tarea. A continuacion se presenta la evaluacion experimental realizada y los resultados obtenidos. Finalmente se muestran las conclusiones y posibles trabajos futuros. 2.
Los sistemas presentados en el TASS 2016
se basan en el sistema desarrollado en la
edicion anterior del TASS 2015
Todas las tareas se han abordado como
un problema de clasi cacion. Se han
utilizado Maquinas de Soporte Vectorial (SVM) por
su capacidad para manejar con exito
grandes cantidades de caracter sticas. En concreto
usamos dos librer as (LibSVM2 y LibLinear3)
que han demostrado ser e cientes
implementaciones de SVM que igualan el estado del
arte. El software esta desarrollado en Python
y para acceder a las librer as de SVM se ha
utilizado el toolkit scikit-learn4.
En este trabajo se ha explotado la
tecnica de combinacion de diferentes con
guraciones de clasi cadores para aprovechar su
complementariedad. Se ha utilizado la tecnica de
votacion simple utilizada en trabajos
anteriores
Cada tweet se ha representado como un vector que contiene los coe cientes tf-idf de las caracter sticas consideradas. En toda la experimentacion realizada, las caracter sticas y los parametros de los clasi cadores se han elegido mediante una validacion cruzada de 10 iteraciones (10-fold cross-validation) sobre el conjunto de entrenamiento.
1http://nlp.lsi.upc.edu/freeling/ 2http://www.csie.ntu.edu.tw/~cjlin/libsvm/ 3http://www.csie.ntu.edu.tw/~cjlin/liblinear/ 4http://scikit-learn.org/stable/ 3.
Esta tarea consiste en determinar la polaridad de los tweets y la organizacion ha de nido dos subtareas. La primera distingue seis etiquetas de polaridad: N y N+ que expresan polaridad negativa con diferente intensidad, P y P+ para la polaridad positiva con diferente intensidad, NEU para la polaridad neutra y NONE para expresar ausencia de polaridad. La segunda solo distinguen 4 etiquetas de polaridad: N, P, NEU y NONE.
El corpus proporcionado por la organizacion del TASS consta de un conjunto de entrenamiento, compuesto por 7219 tweets etiquetados con la polaridad usando seis etiquetas, y un conjunto de test, de 60798 tweets, al cual se le debe asignar la polaridad. La distribucion de tweets segun su polaridad en el conjunto de entrenamiento se muestra en la Tabla 1.
NONE P P+ TOTAL
A partir de la tokenizacion propuesta se
realizo un proceso de validacion cruzada
(10fold cross validation) para determinar el
mejor conjunto de caracter sticas y los
parametros del modelo. Como caracter sticas se
probaron diferentes taman~os de n-gramas de
palabras y de lemas. Tambien se exploro la
combinacion de los modelos mediante diferentes
tecnicas de votacion para aprovechar su
complementariedad y mejorar las prestaciones
nales. Algunas de estas tecnicas
proporcionaron mejoras signi cativas sobre el mismo
conjunto de datos, como se muestra en
En concreto se realizaron todas las combinaciones posibles entre 8 tokenizaciones (lemas o palabras, detectar NE o no, detectar menciones a usuarios y hashtags, ...); 4 conjuntos distinto de caracter sticas (palabras o bigramas con y sin diccionarios de polaridad) y 6 valores distintos del parametro c del modelo SVM con kernel lineal.
La clase asignada a cada tweet t viene determinada por la siguiente formula. c^ = argmax(Nt(c) P (c)) c2C (1) Donde C es el conjunto de todas las clases, Nt(c) es el numero de clasi cadores que asignan la clase c al tweet t, y P (c) es la probabilidad a priori de la clase c calculada utilizando el corpus de entrenamiento. run2 La segunda alternativa explora la combinacion de modelos mediante el aprendizaje de un metaclasi cador. Utilizando las salidas de los mismos 192 clasi cadores que en el run anterior, se ha aprendido un segundo modelo SVM que sirve para proporcionar la nueva salida combinada. Se ha destinado una parte del corpus de entrenamiento para ajustar los parametros del metamodelo. Esta aproximacion es la misma que la utilizada en la edicion del TASS 2015.
Para la subtarea de 4 etiquetas el run1 se ha aprendido utilizando el corpus de aprendizaje con 4 etiquetas mientras que el run2, dada la complejidad del ajuste de parametros del metamodelo se ha optado por adaptar el resultado de la subtarea de 6 etiquetas uniendo P y P+ como P y N y N+ como N.
En la Tabla 2 se muestran los valores de Accuracy obtenidos para las dos subtareas.
Los sistemas presentados han obtenido las dos primeras posiciones en las dos subtareas consideradas.
Run run1 run2 run1 run2
Tabla 2: Resultados o ciales del equipo ELiRF-UPV en la Tarea 1 de la competicion TASS-2016 sobre el conjunto de test para 6 y 4 etiquetas. 4.
Esta tarea consiste en asignar la
polaridad a los aspectos que aparecen marcados en
el corpus. Una de las di cultades de la tarea
consiste en de nir que contexto se le asigna a
cada aspecto para poder establecer su
polaridad. Para un problema similar, deteccion de
la polaridad a nivel de entidad, en la edicion
del TASS 2013, propusimos una
segmentacion de los tweets basada en un conjunto de
heur sticas
El corpus de la tarea, corpus STOMPOL, se compone de un conjunto de tweets relacionados con una serie de aspectos pol ticos (como econom a, sanidad, etc.) enmarcados en la campan~a pol tica de las elecciones andaluzas de 2015. Cada aspecto se relaciona con una o varias entidades que se corresponden con uno de los principales partidos pol ticos en Espan~a (PP, PSOE, IU, UPyD, Cs y Podemos). El corpus consta de 1.284 tweets, y ha sido dividido en un conjunto de entrenamiento (784 tweets) y un conjunto de evaluacion (500 tweets). 4.1.
Aproximacion y resultados
A continuacion presentamos una pequen~a descripcion de las caracter sticas de nuestro sistema as como el proceso seguido en la fase de entrenamiento. El sistema utiliza un clasi cador basado en SVM. Para aprender los modelos solo se utiliza el conjunto de entrenamiento proporcionado para la tarea y los diccionarios de polaridad previamente descritos. Antes de abordar el entrenamiento se determinan los segmentos de tweet que constituyen el contexto de cada una de los aspectos presentes. Se ha tenido en cuenta tres taman~os de ventana de longitudes 5, 7 y 10 palabras a la izquierda y derecha del aspecto. Cada uno de los segmentos se tokeniza y se utiliza Freeling para determinar sus lemas y ciertas entidades. A continuacion se aprenden diferentes modelos combinando taman~os de ventana, parametros del modelo y diferentes caracter sticas (palabras, lemas, NE, etc). Mediante validacion cruzada se elige el mejor modelo. Para esta tarea solo hemos presentado un modelo.
Run run1
Accuracy 0.633 Tabla 3: Resultados o ciales del equipo ELiRF-UPV en la Tarea 2 de la competicion TASS-2016 para el corpus STOMPOL.
En la Tabla 3 se presentan los resultados obtenidos para la Tarea 2 con lo que nuestra aproximacion ha obtenido la primera posicion en dicha tarea.
En este trabajo se ha presentado la participacion del grupo ELiRF-UPV en las 2 tareas planteadas en TASS 2016. Nuestro equipo ha utilizado aproximaciones basadas en maquinas de soporte vectorial y se ha centrado principalmente en combinar diferentes sistemas.
Haciendo un analisis del numero de participantes y de los resultados obtenidos en las dos ultimas ediciones del TASS, creemos que se esta cerca de alcanzar los mejores resultados posibles en la tarea de Analisis de sentimientos tal y como se ha venido planteando hasta el momento.
A la vista de los buenos resultados que se han obtenido mediante la combinacion de sistemas, como trabajo futuro nos planteamos desarrollar nuevos metodos de combinacion de sistemas mas so sticados as como la inclusion de otros paradigmas de clasi cacion mas hetereogeneos (distintos de los SVM) para aumentar la complementariedad de los sistemas combinados.
Ademas, se pretende extender el sistema
para otros idiomas. El sistema descrito ya
ha sido utilizado, con ligeras modi caciones,
en tareas de analisis de sentimientos para el
Ingles en la competicion Semeval
Este trabajo ha sido parcialmente subvencionado por el MINECO mediante el proyecto ASLP-MULAN: Audio, Speech and Language Processing for Multimedia Analytics (TIN2014-54288-C4-3-R).
Connor, Brendan O, Michel Krieger, y David Ahn. 2010. Tweetmotif: Exploratory search and topic summarization for twitter. En William W. Cohen y Samuel Gosling, editores, Proceedings of the Fourth International Conference on Weblogs and Social Media, ICWSM 2010, Washington, DC, USA, May 23-26, 2010. The AAAI Press.