This paper describes our system for sentiment analysis in Twitter at Tweet level submitted to task 1 of the TASS-2017: Workshop on Semantic Analysis at SEPLN, developed by team of the Autonomous Metropolitan University, Azcapotzalco in collaboration with the Autonomous University of Puebla. The proposed system uses machine learning, vector support machines algorithm and lexicons of semantic polarities at the level of lemma for Spanish. Features extracted from lexicons are represented by the bag-of-word model and they are weighted using TF “Term Frequency” measure, which expresses the occurrence of lemmas in each tweet. Experimentation shows promising results with the use of lexicons for the sentiment analysis in Twitter.
El Taller sobre Análisis Semántico en SEPLN
(TASS) en su edición 2017,
El Análisis de Sentimientos (AS) es una tarea que se ha desarrollado ampliamente para el inglés. Sin embargo, el AS para el español ha sido poco abordado y por ello se tiene una carencia de recursos de análisis de opiniones
Copyright © 2017 by the paper's authors. Copying permitted for private and academic purposes.
para este idioma. El Taller TASS a lo largo de
su existencia ha propuesto dicha tarea para el
español, en la cual se han propuesto sistemas
con diversos enfoques. El aprendizaje profundo,
como en
En
Las aproximaciones híbridas para el análisis de sentimientos, también han sido empleadas, Álvarez-López et al. (2015) desarrollan una aproximación híbrida para el análisis de sentimiento global en Twitter, mediante el uso de clasificadores y aproximaciones sin supervisión, construidas mediante léxicos de polaridad y estructuras sintácticas.
Este artículo se centra en la tarea 1 del TASS 2017, para la cual presenta el sistema del equipo LexFAR de la Universidad Autónoma Metropolitana, unidad Azcapotzalco en colaboración con la Benemérita Universidad Autónoma de Puebla. El sistema propuesto utiliza un enfoque basado en aprendizaje automático, utilizando el algoritmo de SVM y dos lexicones de polaridades semánticas a nivel de lemas para el español. Los lemas de los lexicones son representados mediante el modelo de bolsa de palabras y ponderadas utilizando la medida numérica de Frecuencia del Término (FT), la cual expresa la ocurrencia del lema en cada tweet.
El resto del artículo está organizado como sigue. Primero, se presentan las diversas aproximaciones del sistema para el análisis de sentimientos a nivel de tweets. Posteriormente, los resultados de la experimentación son expuestos y analizados. Finalmente, las conclusiones y el trabajo futuro son presentados. 2
El sistema propuesto se enfoca en la tarea 1 del
TASS en su edición 2017. Para esta tarea, se
proporcionaron diversos corpora: InterTASS
corpus presentado en
De esta manera, esta sección presenta los elementos que forman parte del sistema sometido a la competencia TASS 2017. Primero, se describen los lexicones utilizados para la clasificación de la polaridad a nivel de un tweet. Posteriormente, se expone la etapa de pre-procesamiento de los tweets y de los lexicones. Después, se expone la representación de los lemas del lexicón y la métrica de ponderación en cada tweet, con la finalidad de obtener los vectores prototipo con las características para el conjunto de entrenamiento y para el conjunto de pruebas. Finalmente, la etapa de identificación de polaridad llevada a cabo con el algoritmo de clasificación máquinas de soporte vectorial. 2.1
Para el análisis de sentimientos a nivel de oraciones es indispensable el análisis de las palabras del tweet completo para determinar su polaridad. Por ello, en este sistema utilizamos dos lexicones de polaridad con la finalidad de determinar la carga emocional que imprimen las palabras de cada tweet, es decir, que tan positivo, negativo, neutro o sin polaridad es el contenido del tweet.
El primer lexicón llamado ML-SentiCon
El segundo lexicón llamado iSOL (Lexicón
Mejorado de Opiniones en Español), creado por
Para los diversos experimentos se utilizan estos dos lexicones debido a su cobertura en las polaridades positivas, negativas y neutras. Esto quiere decir que tienen una capacidad para caracterizar las posibles etiquetas en las que está categorizado el conjunto de datos del corpus proporcionado. Ambos recursos están disponibles libremente.
Nosotros confiamos en que los recursos iSOL y ML-SentiCon son recursos valiosos para determinar la polaridad y realizar en análisis de sentimientos para tweets en Español. Adicionalmente, se considera un lexicón propio para uno de los experimentos, obtenido del corpus InterTASS y descrito en las siguientes secciones.
Las entradas (frases) de los lexicones son extraídas, pre-procesadas y representadas utilizando el modelo de bolsa de palabras. 2.2
Esta tarea de pre-procesado de los textos se aplica a los diversos experimentos realizados. Por lo tanto, en esta sección se describen las tareas que involucra el pre-procesado de tweets. Por un lado, para la obtención del lexicón propio y, por otro lado, para las entradas de los lexicones externos iSOL y MLSentiCon.
La primera tarea para la obtención del lexicón de palabras propio, es la limpieza de los textos. Para ello se realiza una segmentación por palabras (tokens) y la eliminación de caracteres especiales, como acentos (á, é, í, ó, ú) y signos de puntuación (. , ¡ ¿ ;). Después, las unidades léxicas son filtradas eliminando las ligas (url) a sitios web externos y las menciones de usuarios en Twitter (@). También, se lleva a cabo una normalización de las unidades léxicas resultantes a minúsculas y se eliminan las stopwords, palabras que no aportan significado y por lo tanto, no son funcionales para la identificación de polaridad. Sin embargo, se conservan las palabras de negación (no, ni) o afirmación (si), al ser consideradas como funcionales para la identificación de la polaridad manifestada por un tweet.
Las tareas de normalización de la risa y la lematización de las palabras son aplicadas a los textos tanto para la obtención de nuestro lexicón como para los experimentos con los lexicones externos que, a priori, se encuentran lematizados.
El objetivo de la normalización de la risa es evitar la redundancia en la forma de expresarla. Para ello, se aplican las reglas o patrones mostrados en la Tabla 1, y se sustituyen las diversas formas de expresar risa por el término en común “jaja”.
Patrón (ja)+ (je)+ (jo)+ (ji)+ lol
Frase ja jeje jojojo jijijiji lol
Risa normalizada jaja jaja jaja jaja jaja
La lematización consiste en obtener la raíz o
lema de las palabras, es decir, eliminar los
sufijos o flexiones de las palabras. Esto permite
agrupar todas las palabras con la misma raíz en
una sola representación en el lexicón propio y,
mejora el mapeo de los términos de los
lexicones externos con los textos de los tweets.
Para esta tarea se utiliza la herramienta
TreeTagger
Palabra malas sentirán fueron felices
Lema malo sentir
ir feliz
En la Tabla 2, se ha mostrado un ejemplo de palabras en español tal como aparecen en los textos y con su lema (raíz) que es generada por la herramienta.
La extracción de características se realiza en dos escenarios: para el lexicón propio y para los lexicones externos.
Para el caso de nuestro lexicón, se obtiene la lista de palabras sin repeticiones del conjunto de datos de entrenamiento y desarrollo proporcionado, para la tarea 1 del TASS 2017 denominado corpus InterTASS y los corpora generales proporcionados para el TASS 2016. A partir de estos conjuntos se obtienen 9058 palabras. Para los lexicones externos, se extraen sus entradas como unidades y éstas representan las características para la etapa de clasificación del tweet en alguna polaridad determinada.
En ambos escenarios, el del lexicón propio y los lexicones externos, el modelo de bolsa de palabras (bag-of-words) es utilizado para la representación de las entradas de los lexicones y la métrica de ponderación denominada Frecuencia del Término (TF). De esta manera, cada tweet, tanto para el conjunto de entrenamiento como para el conjunto de prueba es ponderado con la ocurrencia de cada entrada de los lexicones en un tweet dado.
La ponderación que se ha utilizado, Frecuencia del Término (TF), consiste en el número de veces que un término (t) del lexicón aparece en un tweet (S).
De esta manera se obtienen un conjunto de vectores numéricos que representan los tweets del conjunto de entrenamiento y los tweets de los conjuntos de prueba.
La tarea de análisis de sentimientos a nivel de tweet, se describe como un tarea típica de clasificación supervisada, la cual consiste en determinar la etiqueta de un tweet basándose en su contenido. Para el caso de la tarea 1 del TASS 2017, se evalúa la clasificación a cuatro niveles de intensidad de polaridad: Positivo “P”, Negativo “N”, Neutro “NEU”, Ninguna “NONE”.
Entonces, para esta tarea de clasificación
supervisada se utiliza la representación de los
tweets en los vectores resultantes y ponderados
con TF. Se utiliza el clasificador denominado
máquinas de soporte vectorial (SVM) y
presentado en
El clasificador basado en máquinas de
soporte vectorial ha demostrado resultados
alentadores en la clasificación de textos. La
implementación del algoritmo de clasificación
se ha llevado a cabo mediante la herramienta
WEKA
Todos los experimentos fueron llevados a cabo con los parámetros: complejidad o número de hiperplanos a construir: -C 1; parámetro gama (tipo de kernel a utilizar): -K PolyKernel; tamaño de la memoria cache a utilizar: -C 250007; parámetro de tolerancia: -L 0.001; y épsilon: -P 1.0E-12.
En los escenarios, de los experimentos, se utilizan los conjuntos de datos de entrenamiento proporcionados por TASS 2016 y TASS 2017 extrayendo los tweets para cuatro etiquetas. La etapa de pruebas del clasificador SVM se lleva a cabo con el conjunto de pruebas del corpus InterTASS 2017. 3
El sistema propuesto se evalúa, solamente, para el conjunto de datos de prueba del corpus InterTASS 2017, como consecuencia el equipo LexFAR solo participa en la tarea 1 del TASS 2017: Análisis de sentimientos a nivel de tweet.
En esta tarea, se realizan tres experimentos utilizando el conjunto de datos de TASS 2016 y TASS 2017 como entrenamiento y prueba, con el corpus InterTASS para cuatro etiquetas (P, N, NEU, NONE.).
El primer experimento (run1) consiste en utilizar el lexicón ML-SentiCon (run1-msc), para el cual se eliminan aquellas palabras repetidas del lexicón. El resultado es un conjunto de 3084 características que fueron ponderadas para los tweets de entrenamiento y de prueba.
El segundo experimento (run2) consiste en el lexicón propio (run2-propio), el cual está conformado por 9058 entradas o características que fueron ponderadas con la métrica TF para los tweets de entrenamiento y prueba.
El tercer experimento (run3) consiste en añadir el lexicón iSOL al lexicón ML-SentiCon (run3-msc+isol). Al igual que el experimento uno, se eliminan entradas irrelevantes y 1 2 3 4 5 6 7 8 9 10
Equipo
Jacerong ELiRF-UPV
RETUYT tecnolengua ITAINNOVA
SINAI LexFAR
GSI INGEOTEC
OEG Posición Macro-F1 repetidas en ambos lexicones. El resultado es un conjunto de 4016 características.
Los tres experimentos fueron desempeñados con los 7184 tweets de entrenamiento y 1899 tweets de prueba para el conjunto de prueba del corpus InterTASS, utilizando las máquinas de soporte vectorial como algoritmo de clasificación. Los resultados son presentados en términos de exactitud (Acc) y las versiones macro-promediadas de Precisión (Macro-P), Exhaustividad (Macro-R) y medida F1 (MacroF1), las cuales serán utilizadas como medidas de evaluación. Los resultados para nuestros tres experimentos, desempañados para la “Tarea 1: Análisis de sentimientos a nivel de Tweet” del TASS 2017” son mostrados en la Tabla 3. Experimento run1-msc run2-propio
run3msc+isol
MacroP MacroR MacroF1 0.433 0.372 0.433 0.427 0.371 0.431 0.430 0.372 0.432 Acc 0.539 0.490 0.541
Los resultados mostrados en la Tabla 3, exponen que nuestro mejor experimento se logra combinando los lexicones ML-SentiCon e iSOL. Este experimento extiende el número de características ponderadas para cada tweet de 3084 para el primer experimento a 4016 para el tercer experimento. Cabe señalar que la exactitud se logra mejorar de 0.539 para el primer experimento (run1-msc usando el lexicón ML-SentiCon) a 0.541 con el tercer experimento (run3-msc+isol usando los lexicones ML-SentiCon + iSOL).
Los resultados de los diversos equipos o sistemas son clasificados por las medidas Macro-F1 y exactitud (Acc). Por ello, en la Tabla 4, se muestran los resultados del mejor experimento por equipo, para la “Tarea 1: Análisis de sentimientos a nivel de Tweet” del TASS 2017, ordenados de mayor a menor de acuerdo a sus resultados logrados en las medidas Macro-F1 y exactitud. Esto con la finalidad de mostrar la posición de nuestro equipo, LexFAR, con respecto al resto de participantes.
Acc 0.608 0.607 0.596 0.595 0.576 0.575 0.541 0.524 0.515
El mejor experimento por equipo, ordenados por la medida de precisión obtenida, han sido mostrados en la Tabla 4. Con base en estos resultados, nuestro sistema, presentado como LexFAR, ha logrado posicionarse en el lugar 7 con respecto al resto de los participantes. Se ha logrado un valor promedio de F1 de 0.432 y una exactitud de 0.541.
Con la ejecución de los diversos experimentos, se ha detectado que la clase “Ninguna / NONE” ocasiona resultados poco alentadores. Esto se debe, en gran medida, a que las entradas de los lexicones utilizados en nuestro sistema (LexFAR) no aparecen en el conjunto de Tweets de dicha clase.
Los resultados de los tres experimentos son prometedores. El mejor resultado se ha logrado con el experimento denominado run3-msc+isol, el cual utiliza dos lexicones (ML-SentiCon e iSOL). Sin embargo, es notorio que el experimento 1, que solo utiliza el lexicón MLSentiCon, ha logrado resultados similares al experimento 3. Esto se debe a la similitud de las entradas de los lexicones, ya que iSOL se interpone, en gran medida, a ML-SentiCon.
Adicionalmente, es notable que el segundo experimento ha quedado por debajo del 0.5 de precisión. A pesar de esto, el sistema propuesto por el equipo LexFAR puede ser utilizado para el análisis de sentimientos a nivel de tweet, con resultados satisfactorios. 4
En este artículo se ha presentado el sistema del equipo LexFAR de la Universidad Autónoma Metropolitana, unidad Azcapotzalco en colaboración con la Benemérita Universidad Autónoma de Puebla para la tarea 1 del TASS 2017: Taller sobre Análisis Semántico en SEPLN. El sistema presentado realiza el análisis de sentimientos a nivel de tweet en español, utilizando lexicones de polaridades semánticas a nivel de lemas para el español. El sistema etiqueta los tweets dependiendo la intensidad de la polaridad: Positivo (P), Negativo (N), Neutro (NEU) o Ninguno (NONE).
El sistema sometido aborda el análisis de sentimientos como una tarea de clasificación, utilizando el algoritmo de máquinas de soporte vectorial y lexicones para los diversos experimentos enviados. Los lexicones MLSentiCon, iSOL y un lexicón propio son utilizados como el conjunto de características que son ponderadas utilizando la métrica de frecuencia de un término.
Nuestro sistema ha logrado posicionarse en el séptimo lugar con respecto al resto de los participantes, considerando sus mejores experimentos. Nuestro mejor experimento se logra combinando los lexicones ML-SentiCon e iSOL, el cual obtuvo una exactitud de 0.541 para el corpus de prueba del InterTASS. Además, aun cuando el segundo experimento ha quedado por debajo del 0.5 de precisión, el sistema propuesto por el equipo LexFAR puede ser utilizado para el análisis de sentimientos a nivel de tweet, con resultados prometedores.
Como trabajo a futuro nos planteamos experimentar la utilización de otros lexicones, para el español, combinando éstos para la incorporación de nuevas características al sistema de clasificación de tweets en nivel de intensidad de polaridad.
Este trabajo fue apoyado, parcialmente, por la SEP/PRODEP, con el proyecto DSA/103.5/16/9852. Los autores, también, agradecen a la Universidad Autónoma Metropolitana y a la Benemérita Universidad Autónoma de Puebla.
Conference,