This paper describes the participation of the ELiRF research group of the Universitat Politecnica de Valencia at TASS2015 Workshop. This workshop is a satellite event of the XXXI edition of the Annual Conference of the Spanish Society for Natural Language Processing. This work describes the approaches used for all the tasks of the workshop, the results obtained and a discussion of these results.Our participation has focused primarily on exploring di erent approaches for combining a set of systems. Using this technique we have improved the performance of previous editions.
El Taller de Analisis de Sentimientos (TASS) ha venido planteando una serie de tareas relacionadas con el analisis de sentimientos en Twitter con el n de comparar y evaluar las diferentes aproximaciones presentadas por los participantes. Ademas, desarrolla recursos de libre acceso, basicamente, corpora anotados con polaridad, tematica, tendencia pol tica, aspectos, que son de gran utilidad para la comparacion de diferentes aproximaciones a las tareas propuestas.
En esta cuarta edicion del TASS se
proponen dos tareas de ediciones anteriores
El presente art culo resume la participacion del equipo ELiRF-UPV de la Universitat Politecnica de Valencia en todas las tareas planteadas en este taller. Primero se describen las aproximaciones y recursos utilizados en cada tarea. A continuacion se presenta la evaluacion experimental realizada y los resultados obtenidos. Finalmente se muestran las conclusiones y posibles trabajos futuros. 2.
Los sistemas presentados en el TASS 2015,
utilizan muchas de las caracter sticas,
desarrollos y recursos utilizados en las ediciones
Publicado en http://ceur-ws.org/Vol-1397/. CEUR-WS.org es una publicación en serie con ISSN reconocido
en las que nuestro equipo ha participado
Todas las tareas se han abordado como
un problema de clasi cacion. Se han
utilizado Maquinas de Soporte Vectorial (SVM) por
su capacidad para manejar con exito
grandes cantidades de caracter sticas. En concreto
usamos dos librer as (LibSVM3 y LibLinear4)
que han demostrado ser e cientes
implementaciones de SVM que igualan el estado del
arte. El software se ha desarrollado en
Python y para acceder a las librer as de SVM se
ha utilizado el toolkit scikit-learn5.
En este trabajo se ha explotado la
tecnica de combinacion de diferentes con
guraciones de clasi cadores para aprovechar su
complementariedad. Se ha utilizado la tecnica de
votacion simple utilizada en trabajos
anteriores
Cada tweet se ha representado como un vector que contiene los coe cientes tf-idf de 1https://github.com/brendano/tweetmotif. 2http://nlp.lsi.upc.edu/freeling/ 3http://www.csie.ntu.edu.tw/~cjlin/libsvm/ 4http://www.csie.ntu.edu.tw/~cjlin/liblinear/ 5http://scikit-learn.org/stable/ las caracter sticas consideradas. En toda la experimentacion realizada, las caracter sticas y los parametros de los clasi cadores se han elegido mediante una validacion cruzada de 10 iteraciones (10-fold cross-validation) sobre el conjunto de entrenamiento. 3.
Esta tarea consiste en determinar la polaridad de los tweets y la organizacion ha de nido dos subtareas. La primera distingue seis etiquetas de polaridad: N y N+ que expresan polaridad negativa con diferente intensidad, P y P+ para la polaridad positiva con diferente intensidad, NEU para la polaridad neutra y NONE para expresar ausencia de polaridad. La segunda solo distinguen 4 etiquetas de polaridad: N, P, NEU y NONE.
El corpus proporcionado por la organizacion del TASS consta de un conjunto de entrenamiento, compuesto por 7219 tweets etiquetados con la polaridad usando seis etiquetas, y un conjunto de test, de 60798 tweets, al cual se le debe asignar la polaridad. La distribucion de tweets segun su polaridad en el conjunto de entrenamiento se muestra en la Tabla 1.
NONE P P+ TOTAL
Tabla 1: Distribucion de tweets en el conjunto de entrenamiento segun su polaridad.
A partir de la tokenizacion propuesta se
realizo un proceso de validacion cruzada
(10fold cross validation) para determinar el
mejor conjunto de caracter sticas y los
parametros del modelo. Como caracter sticas se
probaron diferentes taman~os de n-gramas de
palabras y de lemas. Tambien se exploro la
combinacion de los modelos mediante diferentes
tecnicas de votacion para aprovechar su
complementariedad y mejorar las prestaciones
nales. Algunas de estas tecnicas
proporcionaron mejoras signi cativas sobre el mismo
conjunto de datos, como se muestra en
Se han considerado tres alternativas para abordar la tarea: run1 La primera alternativa combina mediante votacion simple los 3 sistemas presentados en la edicion del TASS de 2014. run2-run4 La segunda alternativa explora diferentes combinaciones de parametros y caracter sticas de un modelo SVM. Para ello se han tenido en cuenta 192 con guraciones. A partir de estas, se ha aprendido un segundo modelo SVM que sirve para proporcionar la nueva salida combinada. La diferencia entre el run2 y el run4 es que en el primero no se ajustan los parametros del modelo SVM mientras que en el segundo, se elige una parte del entrenamiento para ajustar los parametros. El sistema que se considera para la competicion bajo esta aproximacion es el run4. run3 La tercera alternativa combina mediante un sistema de votacion de mayor a simple las 192 con guraciones contempladas.
Para la subtarea de 4 etiquetas no se ha construido ningun sistema espec co. Los tres sistemas enviados utilizan las salidas de la subtarea de 6 etiquetas uniendo P y P+ como P y N y N+ como N.
En la Tabla 2 se muestran los valores de Accuracy obtenidos para las dos subtareas. Con los sistemas presentados se obtienen mejoras respecto a los resultados presentados en la edicion anterior.
Esta tarea consiste en asignar la polaridad a los aspectos que aparecen marcados en el corpus. Una de las di cultades de la tarea consiste en de nir que contexto se le asigna a cada aspecto para poder establecer su polaridad. Para un problema similar, deteccion de la polaridad a nivel de entidad, en la edicion
Run run1 run3 run4 run1 run3 run4
Accuracy
Tabla 2: Resultados o ciales del equipo
ELiRF-UPV en la Tarea 1 de la competicion
TASS-2015 sobre el conjunto de test para 6
y 4 etiquetas.
del TASS 2013, propusimos una
segmentacion de los tweets basada en un conjunto de
heur sticas
La organizacion del TASS ha planteado dos subtareas. La primera utiliza el corpus Social TV y la segunda el corpus STOMPOL. 4.1.
El corpus Social TV fue proporcionado por la organizacion y se compone de un conjunto de tweets recolectados durante la nal de la Copa del Rey de futbol de 2014. Esta dividido en 1773 tweets de entrenamiento y 1000 tweets de test. El conjunto de entrenamiento esta anotado con los aspectos y su correspondiente polaridad, utilizando en este caso solo tres valores: P, N y NEU. El conjunto de test esta anotado con los aspectos y se debe determinar la polaridad de estos.
El corpus STOMPOL se compone de un conjunto de tweets relacionados con una serie de aspectos pol ticos, como econom a, sanidad, ...etc. que estan enmarcado en la campan~a pol tica de las elecciones andaluzas de 2015. Cada aspecto se relaciona con una o varias entidades que se corresponden con uno de los principales partidos pol ticos en Espan~a (PP, PSOE, IU, UPyD, Cs y Podemos). El corpus consta de 1.284 tweets, y ha sido dividido en un conjunto de entrenamiento (784 tweets) y un conjunto de evaluacion (500 tweets). 4.3.
A continuacion presentamos una pequen~a descripcion de las caracter sticas de nuestro sistema as como el proceso seguido en la fase de entrenamiento. El sistema utiliza un clasi cador basado en SVM. Para aprender los modelos solo se utiliza el conjunto de entrenamiento proporcionado para la tarea y los diccionarios de polaridad previamente descritos. Antes de abordar el entrenamiento se determinan los segmentos de tweet que constituyen el contexto de cada una de los aspectos presentes. Se ha tenido en cuenta tres taman~os de ventana de longitudes 5, 7 y 10 palabras a la izquierda y derecha del aspecto. Cada uno de los segmentos se tokeniza y se utiliza Freeling para determinar sus lemas y ciertas entidades. A continuacion se aprenden diferentes modelos combinando taman~os de ventana, parametros del modelo y diferentes caracter sticas (palabras, lemas, NE, etc). Mediante validacion cruzada se elige el mejor modelo. Para esta tarea solo hemos presentado un modelo.
STOMPOL
Run run1 run1
Accuracy 0.655 0.633 Tabla 3: Resultados o ciales del equipo ELiRF-UPV en la Tarea2 de la competicion TASS-2015 para los corpus SocialTV y STOMPOL respectivamente.
En la tabla 3 se presentan los resultados obtenidos para la Tarea 2 sobre los dos corpus propuestos. Nuestra aproximacion ha obtenido la primera posicion en ambos corpus. 5.
En este trabajo se ha presentado la participacion del equipo ELiRF-UPV en las 2 tareas planteadas en TASS 2015. Nuestro equipo ha utilizado tecnicas de aprendizaje automatico, en concreto, aproximaciones basadas en maquinas de soporte vectorial. Para ello hemos utilizado la librer a para Python scikit-learn y las librer as externas LibSVM y LibLinear. Nuestra participacion se ha centrado principalmente en explorar diferentes aproximaciones para combinar un conjunto de sistemas. Mediante esta tecnica hemos conseguido mejorar las prestaciones de ediciones anteriores.
Nuestro grupo esta interesado en seguir trabajando en la miner a de textos en redes sociales y especialmente en incorporar nuevos recursos a los sistemas desarrollados y estudiar nuevas estrategias y metodos de aprendizaje automatico.
Como trabajo futuro nos planteamos desarrollar nuevos metodos de combinacion de sistemas. Tambien estamos interesados en considerar diferentes paradigmas de clasi cacion mas heterogeneos (distintos de los SVM) para aumentar la complementariedad de los sistemas combinados.
Este trabajo ha sido parcialmente subvencionado por los proyectos DIANA: DIscourse ANAlysis for knowledge understanding (MEC TIN2012-38603-C02-01) y ASLPMULAN: Audio, Speech and Language Processing for Multimedia Analytics (MEC TIN2014-54288- C4-3-R).