En este art´ıculo se describe un m´etodo sistema´tico que identifica la polaridad de textos en Espan˜ol, as´ı como el impacto de la iron´ıa en la miner´ıa de opiniones. Se propone una aproximaci´on basada en un aprendizaje automa´tico y en la extraccio´n de caracter´ısticas a partir de un L´exico Afectivo en Espan˜ol. Fue necesaria la creaci´on de un corpus para el entrenamiento y evaluacio´n del m´etodo propuesto. Los resultados experimentales muestran que la iron´ıa tiene un impacto negativo en la evaluacio´n realizada.
El m´etodo propuesto consta de 4 fases, las cuales se muestran en la Fig. 1. Se consideraron 5 categor´ıas de polaridad: muy positiva, positiva, neutral, negativa, muy negativa y adem´as se realizo´ una comparaci´on con la clasificacio´n en 3 categor´ıas: positiva, neutral y negativa. 2.1.
Se desarrollo´ una App de Facebook, mediante la cual se extrajeron autom´aticamente comentarios de Facebook y se generaron dos corpus. El primero fue utilizado para complementar la creaci´on del L´exico Afectivo en Espan˜ol y el segundo para el entrenamiento y evaluaci´on del m´etodo de detecci´on de polaridad.
1Se organizar´a una tarea sobre Sentiment Polarity Classification (en italiano) en sentipolc@evalita2014 (http://www.di.unito.it/ tutreeb/sentipolc-evalita14/index.html); otra (en ingl´es) con datos de Twitter en SemEval-2015 (http://alt.qcri.org/semeval2015/task11/). 2.2.
La creacio´n del L´exico Afectivo en Espan˜ol se inicio´ a partir de la traducci´on al espan˜ol de los siguientes recursos psicolo´gicos y l´exicos en ingl´es, respectivamente: 1) Palabras clasificadas como positivas y negativas en las teor´ıas de Klaus R. Scherer, Rick L. Morgan, David Heise, James A. Russell y Paul Ekman y 2) Los l´exicos afectivos General Inquirer, WordNetAffect y Opinion Finder.
Se etiquet´o el primer corpus de comentarios en 5 categor´ıas de polaridad, el cual consta de 1,500 comentarios. A partir del etiquetado de este corpus, se extrajeron manualmente palabras, frases y emoticonos utilizados frecuentemente en comentarios de Facebook, que posteriormente fueron agregados al L´exico Afectivo en Espan˜ol.
Figura 1: Diagrama de las 4 fases que componen el m´etodo para la detecci´on de polaridad 2.3.
El corpus de prueba consta de 1,400 comentarios y fue anotado por tres personas. Cada etiquetador anoto´ los comentarios con alguna de las 5 categor´ıas de polaridad, y adema´s, como ir´onicos o no ir´onicos. La asignaci´on de la categor´ıa definitiva de cada comentario se hizo a partir de las anotaciones que generaron los etiquetadores.
En 5 categor´ıas el corpus qued´o distribuido de la siguiente forma: 109 comentarios muy positivos, 420 positivos, 213 neutrales, 539 negativos y 119 muy negativos. En 3 categor´ıas: 529 positivos, 213 neutrales y 625 negativos.
Con el objetivo de evaluar los resultados obtenidos en el proceso de anotacio´n del corpus, se utilizo´ la m´etrica Kappa de Fleiss[Dia13], la cual es una medida estad´ıstica que calcula el grado de acuerdo entre los etiquetadores en la clasificacio´n, en este caso, de las categor´ıas de los comentarios.
En la evaluaci´on para la anotaci´on de polaridad se obtuvo un valor de 0.417 y en la anotacio´n de iron´ıa un valor de 0.458. Con base en la interpretacio´n de esta m´etrica, el grado de acuerdo obtenido es “moderado”. En ambos casos se puede ver que la subjetividad involucrada en la interpretacio´n y clasificacio´n de los comentarios tiene un alto grado de impacto. 2.4.
La detecci´on de polaridad se lleva a cabo en dos procesos. El primero consiste en el pre-procesamiento: correcci´on ortogr´afica, lematizacio´n y eliminaci´on de StopWords. En el segundo, se lleva a cabo la obtencio´n de caracter´ısticas utilizando el L´exico Afectivo en Espan˜ol y el Spanish Emotion Lexicon. Las caracter´ısticas que se consideraron para ser usadas en la fase de entrenamiento son las siguientes:
b) Palabras muy positivas, positivas, negativas y muy negativas c) Modificadores (palabras que aumentan o disminuyen la polaridad) d) Palabras asociadas a emociones positivas y negativas
Con las caracter´ısticas obtenidas se generan vectores que son procesados con el algoritmo SMO (Sequential Minimal Optimization) de Weka, utilizando Ten Fold Cross-Validation, para evaluar el m´etodo propuesto.
La experimentacio´n se llev´o a cabo considerando las caracter´ısticas mencionadas anteriormente. En la evaluaci´on se tomo´ en cuenta la Medida F1, la cual representa la media armo´nica de la precisio´n y la cobertura. En los resultados se observa que sobre 3 categor´ıas se consigue una Medida F1 m´as alta. En la Tabla 1 se listan los experimentos realizados sobre el corpus de prueba, donde: SP significa sin ningu´n tipo de procesamiento, P significa pre-procesamiento y los incisos hacen referencia a las caracter´ısticas descritas en la secci´on anterior.
Tabla 1: Evaluacio´n con la medida F1 para 5 y 3 categor´ıas Experimentos SP P P(a) P(a)(b) P(a)(b)(c) P(a)(d)
Medida F1 5 categor´ıas 38.3 % 42.5 % 44.8 % 45.2 % 45.4 % 44.8 %
Medida F1 3 categor´ıas 53.3 % 56.4 % 59.1 % 60.2 % 60.8 % 59.2 %
Adema´s, se realizaron experimentos para visualizar la diferencia a nivel de clasificacio´n de polaridad en los casos ir´onicos y no ir´onicos. En general, los porcentajes con 5 categor´ıas son bajos, por lo tanto, este experimento u´nicamente se realizo´ con 3 categor´ıas.
En los resultados obtenidos se puede apreciar un porcentaje m´as alto en el conjunto de comentarios no ir´onicos, es cuando se observa el impacto que tiene la iron´ıa, debido a que en el conjunto de comentarios ir´onicos se tiene una ca´ıda en la Medida F1, en promedio del 10 %. En la Tabla 2 se muestran los resultados obtenidos sobre el conjunto de 322 comentarios ir´onicos y el conjunto de 1,078 comentarios no ir´onicos con 3 categor´ıas.
Tabla 2: Evaluaci´on con la medida F1 para 3 categor´ıas
P(a)(b) P(a)(b)(c) P(a)(d)
No ir´onicos Iro´nicos 58.1 % 45.8 % 57.7 % 49.5 % 61.8 % 55.0 % 63.4 % 53.2 % 64.3 % 54.4 % 62.1 % 53.7 %
En este art´ıculo se ha estudiado el impacto que puede tener la iron´ıa, en la detecci´on de polaridad con caracter´ısticas basadas en un L´exico Afectivo y se ha comprobado que se obtienen mejores resultados en los comentarios no ir´onicos. La iron´ıa tiene un impacto negativo del 10 % sobre el mejor porcentaje de Medida F1 obtenido por el m´etodo de detecci´on de polaridad.