In this work, a polarity classi cation system is developed for the task 1 of workshop TASS 2015 by the SINAI-EMMA team. Our system takes advantage of 5 linguistic resources for building vectors of words. The results encourage us to continue studying the contribution of vectors of words to Sentiment Analysis.
TASS (Taller de Analisis de Sentimientos en la SEPLN) es un workshop satelite del congreso de la SEPLN (Sociedad Espan~ola para el Procesamiento del Lenguaje Natural), que promueve desde 2012 la evaluacion experimental de sistemas de Analisis de Opiniones (AO) sobre tweets escritos en espan~ol.
Nuestra participacion se ha limitado a la
tarea 1, denominada sentiment analysis at
global level, que tiene como objetivo la
clasi cacion de la polaridad de un conjunto de
tweets. La descripcion de la tarea se
encuentra en el resumen de la edicion del an~o 2015
de TASS
La solucion que presentamos pasa por extraer caracter sticas lexicas a partir de ngramas de cada tweet, concretamente unigramas y bigramas, siendo estas caracter sticas la polaridad de los n-gramas en distintos recursos lexicos etiquetados. Una vez obtenida la matriz de tweets y caracter sticas utilizamos un sistema de entrenamiento para obtener un modelo lexico, y dicho modelo es el utilizado en la evaluacion del subconjunto de test a etiquetar.
El resto del art culo esta organizado de la siguiente forma. La siguiente seccion describe los modelos de n-gramas y otros modelos del lenguaje aplicados a la deteccion de polaridad con tweets, as como trabajos relacionados. En la Seccion 3 se describe el sistema que hemos desarrollado y en la Seccion 4 los experimentos realizados, resultados obtenidos y analisis de los mismos. Por ultimo, en la Seccion 5 exponemos las conclusiones y el trabajo a realizar. 2
El Modelo de Espacio Vectorial (MEV) ha
demostrado sobradamente su val a para
medir la similitud entre documentos, y una
muestra es su exitosa aplicacion en los
sistemas de recuperacion de informacion
En la bibliograf a relacionada con AO
existen trabajos que postulan que las
palabras (unigramas) son mas efectivos para
representar la informacion de opinion
ere el uso de n-gramas
En el presente trabajo tratamos de
incrustar al MEV tradicional, una representacion
vectorial de cada n-grama, dando lugar a un
MEV semantico
cadores recursivos (recursive autoencoders).
Bespalov et al. (2012) tratan tener en cuenta
en el MEV semantico que disen~an la posicion
de cada n-grama en el documento, dado que
sostienen que la polaridad de un documento
depende de la posicion en la que se
encuentren los n-gramas. El trabajo
El sistema que se ha desarrollado para la
cuarta edicion de TASS trata de trasladar
el concepto de MEV semantico a la
clasicacion de la polaridad de tweets en
espan~ol. En nuestro caso, no se ha
pretendido representar a cada palabra en funcion
de su coocurrencia con otras, o teniendo en
cuenta su posicion en el texto, sino por su
valor de polaridad en varios recursos
lexicos de opinion: iSOL
A continuacion se van a describir someramente los recursos lingu sticos que se han utilizado, as como se detallara el proceso de generacion de los vectores. 3.1
iSOL iSOL es una lista de palabras indicadoras de opinion en espan~ol. La lista esta formada por 8135 palabras, de las cuales 5626 son negativas y 2509 son positivas.
Al tratarse de una lista de palabras de opinion, la unica informacion que aporta es si un termino es positivo o negativo, por lo que proporciona dos caracter sticas binarias al vector de cada palabra. 3.2
SentiWordNet es un lista de sentidos de
opinion que se construyo siguiendo un enfoque
basado en diccionario
Cada palabra puede tener asociada varios synsets, por lo que se necesita de una funcion de agregacion para obtener un valor de polaridad unico para cada uno de los tres niveles de opinion. Al igual que Denecke (2008), se empleo como funcion de agregacion la media aritmetica. Por tanto, se calculo la media aritmetica de cada nivel de polaridad, obteniendose de esta manera 3 caracter sticas, cada una correspondiente a un nivel de polaridad. 3.3
Q-WordNet, al igual que SentiWordNet, esta basado en WordNet para construir un recurso para la tarea de AO. Los autores de QWordNet, al contrario que los de SentiWordNet, consideran la polaridad como una propiedad cualitativa, de manera que una palabra solo puede ser positiva o negativa. Por consiguiente, Q-WordNet es un recurso de opinion que asocia a cada synset de WordNet el valor Positivo o Negativo. El uso de Q-WordNet permite la adicion de 2 nuevas caracter sticas al vector asociado a cada palabra. 3.4
SEL SEL es una lista de 2036 palabras clasi cadas en 6 estados de animo diferentes: alegr a, enfado, miedo, tristeza, sorpresa y disgusto. Las palabras tienen asociado un valor de probabilidad, que los autores llaman PFA, de pertenencia a una de las 6 categor as.
Para su integracion en el sistema, se han transformado las 6 categor as emocionales en dos valores de polaridad, de forma que las categor as alegr a y sorpresa se han tomado como positivas, y las clases enfado, miedo, tristeza y disgusto como negativas. Ademas, se aplico un ltro a la lista de palabra con el n de solo utilizar aquellas que tuvieran un valor de PFA superior a 0,2. Por tanto, tras convertirse SEL a una lista binaria de opinion, se pudieraon generar dos nuevas caracter sticas binarias de polaridad. 3.5
ML-SentiCon es un recurso de opinion a nivel de lema. Los 26495 que conforman MLSentiCon se encuentran estrati cados en 8 capas. Cada una de las capas representa un nivel de exactitud de pertenencia a la clase positivo o negativo, de manera que existe una mayor probabilidad, de que el signi cado de opinion que transmiten los lemas de la capa 0 coincida con la clase de opinion que se le ha asignado que los de la capa 7. Al estar los lemas catalogados como positivos o negativos, este recurso tambien genera dos nuevas caracter sticas, pero en lugar de ser binarias, su valor se corresponde con la puntuacion de polaridad que tiene cada lema en el recurso. En el caso de que el lema sea negativo, su puntuacion se multiplica por -1. 4
La preparacion de la clasi cacion consistio en el procesamiento adecuado de los tweets para la generacion del MEV semantico de unigramas y bigramas. La preparacion comenzo con la tokenizacion de los tweets; aplicacion de un proceso de normalizacion lexica que consistio principalmente en la correccion ortogra ca de los tokens; lematizacion y aplicacion de un analisis morfologico.
A continuacion se construyeron los vectores de caracter sticas asociados a cada unigrama. En funcion de la naturaleza de cada recurso, la busqueda fue distinta. En el caso de iSOL se utilizo como consulta la forma original de cada unigrama, a excepcion de los unigramas que se corresponden con verbos, con los que se uso su lema, es decir, el in nitivo del verbo.
Para SentiWordNet y Q-WordNet la consulta no fue directa porque ambos son dos recursos para ingles. Por tanto, se preciso emplear un recurso que permitiera a partir de palabras en espan~ol obtener el synset que le corresponde en WordNet. Ese recurso fue la version en espan~ol de WordNet de Multilingual Central Repository (MCR) (Atserias et al., 2004). Una vez que se ten an de MCR los synsets asociados, se consultaba SentiWordNet y Q-WordNet para obtener sus correspondientes valores de polaridad.
SEL y ML-Senticon tuvieron un tratamiento similar, dado que la consulta se realizaba utilizando el lema de cada unigrama. Antes de continuar con la descripcion de la generacion de los bigramas, debe precisarse que unicamente se construyeron los vectores de los unigramas que al menos estaban recogidos en uno de los cinco recursos lingu sticos que se han considerado en la experimentacion. Tras la eliminacion de los unigramas que no transmiten opinion, el texto del tweet se quedaba reducido a dichos unigramas. Con esos unigramas se desarrollo un proceso de generacion de bigramas, cuyos vectores se corresponden con la suma vectorial de los vectores de los unigramas que constituyen el bigrama. La longitud de los vectores de caracter sticas de opinion de tanto los unigramas como de los bigramas es de 11 caracter sticas.
Una vez generado el MEV semantico, es momento de generar el modelo de entrenamiento. Para ello se eligio el algoritmo SVM con kernel lineal, ya que en experimentaciones previas ha demostrado su val a para la tarea de AO sobre tweets. La implementacion que se utilizo fue la de la librer a scikit-learn1 de Python. 5
Primeramente, se desarrollo una evaluacion con el conjunto de entrenamiento, para evaluar si el esquema descrito anteriormente podr a tener exito.
La evaluacion consistio en aplicar un marco de trabajo basado en validacion cruzada de 10 particiones (ten fold cross-validation).
Las medidas de evaluacion que se utilizaron fueron la comunes en tareas de clasi cacion de textos, es decir, Precision, Recall, F1 y Accuracy. La tarea a la que se enfrenta el sistema es la de clasi cacion en seis niveles de de intensidad de opinion, de manera que el uso de la de nicion clasica de Precision, Recall y F1 no es correcto, debido principalmente a que el resultado estar a sesgado por la clase predominante del conjunto de datos que se esta utilizando. Por consiguiente, se decidio usar sus correspondientes macromedidas (macro-averings).
Se llevaron a cabo dos evaluaciones, que se diferencian en la manera de aprovechar la informacion de opinion que aporta el recurso iSOL. En una primera ejecucion (SINAIEMMA iSOLOriginal), solamente se buscaban en iSOL las formas originales de las palabras convertidas en minusculas. Si se comprueba el lexico recogido en iSOL se puede comprobar que en el se recogen vocablos, y que uno de los puntales de su exito es que incluye las derivaciones de genero y numero propias del espan~ol. En cambio, en lo que se re ere a los verbos, no incluye las conjugaciones de los mismos, estando solo presente el in
nitivo. Por tanto, en esta primera ejecucion se estaba perdiendo la cobertura de las distintas formas verbales, ya que solo se pod an reconocer aquellas que en el tweet aparecieran en in nitivo.
La segunda con guracion (SINAIEMMA iSOLLema) tuvo en cuenta esa peculiaridad de iSOL, y en el caso de que el termino a buscar fuera un verbo, se empleo su lema, es decir su in nitivo. De esta manera se consiguio que un mayor numero de vocablos fueran considerados como portadores de opinion. En la Tabla 1 se muestran los resultados alcanzados por estas dos con guraciones.
No es dif cil dar una explicacion a la ligera mejor a de la con guracion SINAIEMMA iSOLLema, dado que posibilita aumentar la cobertura del lenguaje por parte de iSOL. Por tanto, la con guracion que se utilizo para la clasi cacion de los tweets del subcorpus de test es SINAI-EMMA iSOLLema.
La Tabla 2 recoge los resultados o ciales obtenidos por el sistema, as como el mejor resultado y la media de los resultados del resto de sistemas presentados.
Los resultados evidencian que el sistema se encuentra en la media de los presentados en la edicion 2015 de TASS, lo cual por un lado es satisfactorio, ya que el estudio que se ha iniciado en el ambito de los MEV semanticos reporta, por ahora, unos resultados similares al resto de enfoques que se han presentado, pero por otro, pone de mani esto que todav a quedan muchos elementos que analizar para seguir avanzando en la resolucion del problema de la clasi cacion de la polaridad de tweets en espan~ol.
La organizacion del taller proporciona tambien una evaluacion con un conjunto reducido de 1000 tweets etiquetados a mano. La Tabla 3 recoge los resultados obtenidos sobre ese conjunto de datos.
Como se puede apreciar en la Tabla 3, las diferencias entre el sistema presentado y el mejor se acortan, a su vez que el sistema consigue unos resultados superiores a la media segun la Macro-Precision, el Macro-Recall Con guracion SINAI-EMMA iSOLOriginal SINAI-EMMA iSOLLema
Macro-P 36,55 % 36,83 %
Macro-R 36,58 % 36,74 %
Macro-F1 35,99 % 36,02 % Tabla 1: Evaluacion del sistema de clasi cacion con el conjunto de entrenamiento. y el Macro-F1. Esto indica que el sistema SINAI-EMMA tiene un comportamiento mas estable que el resto, porque su rendimiento no experimenta un variacion muy acusada ante la modi cacion del etiquetado del conjunto de evaluacion, lo cual es un punto positivo en nuestra investigacion. 6
La principal conclusion a la que se ha llegado es la idoneidad de la representacion de la informacion de opinion mediante un MEV semantico. Ademas, caracter sticas de los unigramas y bigramas se han construido a partir de recursos lingu sticos de opinion. Esto es una primera tentativa a la aplicacion de MEV semanticos a la tarea de AO, y los resultados obtenidos nos animan a seguir investigando en esta l nea.
El trabajo futuro va a estar dirigido a mejorar el esquema de representacion de informacion, as como en aumentar la informacion de opinion que representa a cada palabra. Para ello, se va a realizar un estudio del nivel de cobertura de vocabulario que tiene el esquema de representacion; se va a tratar de introducir informacion de la distribucion de los unigramas y bigramas en el corpus por medio del uso de la frecuencia de los mismos en cada documento y en el corpus en general; se va a estudiar la incorporacion de un mayor numero de recursos de opinion; se va a analizar el aporte para el AO de la incrustacion de informacion de coocurrencia de cada unigrama y bigrama tomando como referencia un corpus representativo del espan~ol; y por ultimo se va a estudiar la utilizacion de informacion sintactica mediante la consideracion del efecto de la negacion y de los intensi cadores.
Agerri, Rodrigo y Ana Garc a-Serrano. 2010.
Q-Wordnet: Extracting polarity from wordnet senses. En Proceedings of the Seventh conference on International Language Resources and Evaluation (LREC'10), Valletta, Malta; ELRA, may. European
Language Resources Association. 19-21.
Atserias, J., L. Villarejo, G. Rigau, E. Agirre, J. Carroll, B. Magnini, y P. Vossen. 2004. The meaning multilingual central repository. En GWC 2012 6th International Global Wordnet Conference. Brno:
Masaryk University.
Baccianella, S., A. Esuli, y F. Sebastiani. 2010. Sentiwordnet 3.0: An enhanced lexical resource for sentiment analysis and opinion mining. En Proceedings of the Seventh International Conference on Language Resources and Evaluation (LREC'10), paginas 2200{2204, Valletta,
Malta.
Bespalov, Dmitriy, Yanjun Qi, Bing Bai, y Ali
Shokoufandeh. 2012. Sentiment classi cation with supervised sequence embedding.
En Machine Learning and Knowledge Discovery in Databases, volumen 7523 de Lecture Notes in Computer Science. Springer
Berlin Heidelberg, paginas 159{174.
Collobert, Ronan y Jason Weston. 2008.
A uni ed architecture for natural language processing: Deep neural networks with multitask learning. En Proceedings of the 25th International Conference on Machine Learning, ICML '08, paginas 160{167,
New York, NY, USA. ACM.
Tabla 3: Resultados o ciales sobre el subcorpus de 1000 tweets. multilingue de polaridades semanticas a nivel de lemas. Procesamiento del Lenguaje Natural, 53(0):113{120.