This paper describes the participation of the ELiRF research group of the Universitat Politecnica de Valencia in the Twitter Language Identi cation Workshop (tweetLID 2014). This workshop is a satellite event of the XXX edition of the Annual Conference of the Spanish Society for Natural Language Processing. This work describes the approaches used for the two tasks of the workshop, the results obtained and a discussion of these results.
Las redes sociales se han convertido en una excelente plataforma para analizar el comportamiento y los contenidos de sus usuarios. En la actualidad, existe un gran interes en el procesamiento de los contenidos textuales generados en la web con el n de determinar, entre otras cosas, las opiniones y sentimientos expresadas por los usuarios sobre una gran cantidad de temas como pol tica, econom a, productos comerciales, servicios, etc. En ese sentido, Twitter se ha convertido en una plataforma muy popular para determinar en tiempo real el comportamiento y las opiniones de los usuarios en la red sobre diferentes temas de interes. Muchas de las aproximaciones de analisis de sentimientos utilizan tecnicas de procesamiento del lenguaje natural. Este proceso se puede realizar mas adecuadamente si se dispone de un sistema de identi cacion del idioma con el n de poder utilizar los recursos lingu sticos y las tecnicas
Este trabajo ha sido parcialmente subvencionado por los proyectos DIANA: DIscourse ANAlysis for knowledge understanding (MEC TIN201238603-C02-01) y T mpano: Technology for complex Human-Machine conversational interaction with dynamic learning (MEC TIN2011-28169-C05-01) mas adecuadas para el idioma que se pretende procesar.
La tarea primordial de identi cacion del idioma consiste en decidir el idioma o idiomas, entre los idiomas candidatos, que aparecen en un determinado texto. En la literatura se han utilizado diferentes metodos para la identi cacion de idioma, incluyendo n-gramas, palabras de alta frecuencia, y otros enfoques estad sticos y de aprendizaje automatico (Lui, Lau, y Baldwin, 2014) que obtienen buenas prestaciones para documentos de la web. Para el tratamiento de los textos de Twitter (textos cortos, agramaticales, lenguaje espec co, emoticonos, abreviaturas, s mbolos y expresiones universales, etc.) el problema es mas complejo y en consecuencia, las tecnicas de determinacion del idioma utilizadas en documentos de textos normativos y de taman~os muy superiores a los empleadas en Twitter, reducen sus prestaciones en textos cortos como los de Twitter (Goldszmidt, Najork, y Paparizos, 2013) (Lui y Baldwin, 2014).
Es en este contexto en el que surge el taller tweetLID 2014 como un evento satelite del Congreso de la Sociedad Espan~ola para el Procesamiento del Lenguaje Natural (SEPLN'14). La idea principal del taller es centrarse en los 5 idiomas principales de la Pen nsula Iberica (espan~ol, portugues, catalan, euskera y gallego), ademas del ingles. Se proporciona un conjunto de entrenamiento de tweets, anotados con el idioma o idiomas que contienen y un conjunto de test para la evaluacion de las diferentes aproximaciones de los participantes. Esta tarea se puede abordar solo utilizando el corpus de entrenamiento (restringida) o utilizando todos los recursos que se consideren adecuados (no restringida).
El presente art culo resume la participacion del equipo ELiRF-UPV de la Universitat Politecnica de Valencia en este taller. A continuacion se presentan las caracter sticas de los sistemas desarrollados, los recursos utilizados, as como los resultados obtenidos. 2.
La identi cacion del idioma de una coleccion de documentos es un ejemplo paradigmatico de una problema de clasi cacion multiclase. Si ademas, como es el caso de tweetLID, cada documento puede contener trozos de texto escritos en idiomas distintos, nos encontramos ante un problema de clasi cacion multietiqueta: a cada muestra a clasicar se le puede asociar una o varias etiquetas del conjunto de etiquetas disponibles. 2.1.
Para las aproximaciones restringidas utilizamos modelos de clasi cacion basados en Maquinas de Vectores de Soporte (SVM) por su capacidad para manejar con exito grandes cantidades de caracter sticas. En concreto usamos dos librer as (LibSVM1 y LibLinear2) que han demostrado ser e cientes implementaciones de SVM que igualan el estado del arte.
El software se ha desarrollado en Python y para acceder a las librer as de SVM se ha utilizado el toolkit scikit-learn3.
Para tratar el problema de la clasi cacion multiclase se decidio utilizar una estrategia de uno-contra-todos (one-vs-all) donde se aprende un clasi cador binario por cada clase capaz de discriminar entre esa clase y no 1http://www.csie.ntu.edu.tw/~cjlin/libsvm/ 2http://www.csie.ntu.edu.tw/~cjlin/liblinear/ 3http://scikit-learn.org/stable/ esa clase (todas las demas). Se desarrollaron dos sistemas cuya mayor diferencia consiste en la tecnica utilizada para el tratamiento de la clasi cacion multietiqueta.
Para el primer sistema restringido seleccionamos una tecnica sencilla, pero habitual, en la clasi cacion multietiqueta. Consideramos como una nueva etiqueta cada conjunto de multietiquetas que aparece en el entrenamiento. Esta aproximacion presenta dos limitaciones evidentes: a) las combinaciones de etiquetas no vistas en el entrenamiento no pueden ser predichas; y b) las combinaciones poco habituales tendran pocas muestras de entrenamiento aunque las etiquetas individuales tengan muchas muestras. A pesar de sus limitaciones esta aproximacion suele obtener buenos resultados experimentales. La etiqueta seleccionada es la que su clasi cador one-vs-all obtiene mayor con anza.
Se utilizo la aproximacion de bolsa de caracteres para representar cada tweet como un vector de caracter sticas que contuviese los coe cientes tf-idf de los n-gramas de caracteres presentes en el tweet. Tanto el valor de n como los parametros de los clasi cadores se determinaron en la fase de ajuste de parametros mediante validacion cruzada.
Para el segundo sistema se eligio una estrategia distinta. No se crearon nuevas etiquetas, como resultado de las combinaciones vistas en el entrenamiento. En lugar de esto, se permitio seleccionar mas de una etiqueta basica. Para lo cual, se sustituyo el criterio de elegir la etiqueta de mayor con anza por el de elegir todas las etiquetas cuyo modelo (one-vs-all) superase un umbral determinado experimentalmente.
En el caso de que, para un tweet, ninguna etiqueta superase el umbral, se seleccionaba como etiqueta la misma que selecciono el sistema anterior, constrained-run1. 2.2.
A la hora de abordar la tarea no restringida el equipo ELiRF-UPV planteo el uso de aproximaciones clasicas para la deteccion del idioma en textos normativos y la utilizacion de recursos no directamente relacionados con Twitter. De esta forma se intentaba establecer una comparativa entre modelos aprendidos solo con tweets (los sistemas de la tarea restringida) y modelos aprendidos exclusivamente utilizando textos normativos (nuestros sistemas para la tarea no restringida).
En concreto, se desarrollo un sistema (unconstrained-run1) que utiliza clasi cadores multiclase basados en SVMs y otro sistema (unconstrained-run2) basado en el uso del modulo de identi cacion de idioma incorporado en la herramienta lingu stica Freeling4.
Una caracter stica de los textos en redes sociales, que di culta su tratamiento por modelos aprendidos con textos normativos, es su agramaticalidad. Para paliar ligeramente ese problema, se realiza un preprocesado de los tweets antes de clasi carlos. El preproceso consiste en la eliminacion de los tokens no formados exclusivamente por letras y la reduccion de los caracteres repetidos mas de 2 veces en un token.
Para este primer sistema se opto por aprender modelos de clasi cacion basados en SVM utilizando como corpus de aprendizaje textos obtenidos de las distintas versiones idiomaticas de Wikipedia.
La Wikipedia dispone de version en todos los idiomas del tweetLID. Ademas, existen versiones descargables como un unico chero en formato XML que hace mas comodo el procesado de los textos. El taman~o de estos cheros depende del idioma; en nuestro caso oscilaba entre los 11GB de texto en ingles a los 565MB de la version en gallego.
Se creo un lexicon por cada idioma que conten a las palabras mas frecuentes en ese idioma. Se de nieron umbrales distintos para cada idioma con el objetivo de intentar equilibrar la talla de los lexicones (mas restrictivos para idiomas con mas textos). Como contrapartida, esto supone una mayor limpieza en los lexicones de idiomas con mayor cantidad de texto.
A partir de los lexicones, se creo un corpus de entrenamiento considerando cada palabra como una muestra para su idioma. Utilizando ese corpus se aprendio un clasi cador multiclase, pero monoetiqueta, siguiendo la misma estrategia descrita para el sistema constrainded-run1.
Para el segundo sistema no restringido se opto por utilizar el identi cador de idio4http://nlp.lsi.upc.edu/freeling/ ma presente en la herramienta Freeling. Este modulo de identi cacion de idioma utiliza un modelo de 4-gramas de caracteres por cada idioma que se debe considerar. La probabilidad asignada por cada modelo se divide por la longitud del texto a clasi car para obtener una probabilidad normalizada por caracter.
Freeling dispone de modelos para todos los idiomas que se deben considerar en el taller, excepto para el euskera. Para suplir esta carencia, a partir del lexico utilizado en el sistema anterior (unconstrained-run1) se aprendio un modelo de 4-gramas de caracteres para el euskera que se incorporo a Freeling.
Incluso con el nuevo modelo para el euskera, los resultados obtenidos utilizando directamente Freeling no fueron satisfactorios. Por este motivo se decidio implementar un sistema algo mas so sticado.
El sistema desarrollado etiqueta cada tweet con todos los idiomas para los que se obtiene una probabilidad mayor a un umbral. Esa probabilidad es el resultado de combinar linealmente la probabilidad de un modelo de palabras y la de un modelo de segmentos. La probabilidad de que en el tweet t aparezca el idioma Li, P (Lijt), se calcula como: P (Lijt) =
Pw(Lijt) + (1 )Ps(Lijt)
Donde, Pw(Lijt) es la probabilidad asignada por un modelo de palabras y Ps(Lijt) es la probabilidad del modelo de segmentos.
La probabilidad del modelo de palabras se calcula como el numero de palabras de t que aparecen en el lexicon de Li normalizado por la suma total para todos los idiomas.
Para calcular la probabilidad del modelo de segmentos se genera el conjunto, St, de todos los segmentos del tweet t = t1::tjtj que dividan el tweet en dos partes, esto es: jtj St = [fti1; tjit+j 1g
i=1
Ps(Lijt) se calcula como el numero de segmentos de St para los que Freeling decide que el idioma es Li, C(St; Li), normalizado por el numero total de segmentos en St.
Si a un tweet no se le puede asignar ningun idioma, mediante el procedimiento descrito, el idioma asignado puede ser inde nido o el idioma mas frecuente en el corpus de entrenamiento.
constrained-run2 constrained-run1 unconstrained-run2 unconstrained-run1
1a 2a 2a 3a Tabla 1: Resultados obtenidos por los sistemas del grupo ELiRF-UPV para las dos tareas de la competicion tweetLID-2014
La tarea consiste en asignar uno o varios idiomas a cada tweet. El conjunto de entrenamiento estaba formado teoricamente por 14991 tweets que cada grupo deb a descargar el mismo (debido a restricciones de privacidad impuestas por Twitter). En el momento de la descarga solo encontramos disponibles 13919, que fue lo que constituyo nuestro corpus de entrenamiento y ajuste.
Para la tarea restringida -puesto que el conjunto de entrenamiento y ajuste era el mismo- se determino el mejor conjunto de parametros mediante un proceso de validacion cruzado de 5 iteraciones (5-fold crossvalidation). Durante este proceso de ajuste de parametros tambien se probaron diferentes kernels para las SVM, los mejores resultados se obtuvieron utilizando un kernel lineal.
Para la tarea no restringida, se utilizo un corpus de 13919 tweets como conjunto de prueba y ajuste y los lexicones de Wikipedia como corpus de entrenamiento.
La Tabla 1 muestra los resultados obtenidos por los diferentes sistemas desarrollados por el equipo ELiRF-UPV en las dos tareas de la competicion. Se muestran los valores de precision (P), exhaustividad (R) y F1 calculados como la media de los valores obtenidos para estas medidas en todos los idiomas considerados en la competicion (referenciado habitualmente como macroaverage). Tambien se incluye la posicion alcanzada por cada sistema en la competicion.
En este trabajo se ha presentado la participacion del equipo ELiRF-UPV en las 2 tareas planteadas en tweetLID-2014. Nuestro equipo ha utilizado tecnicas de aprendizaje automatico, en concreto, aproximaciones basadas en Maquinas de Vectores de Soporte y modelos de 4-gramas. Para ello, hemos utilizado la herramienta Freeling, la librer a para Python scikit-learn y las librer as externas LibSVM y LibLinear. Los sistemas desarrollados por el equipo ELiRF-UPV han alcanzado los dos primeros puestos en la tarea restringida, y el segundo y tercer lugar en la tarea no restringida.
Nuestro grupo esta interesado en seguir trabajando en la miner a de textos en redes sociales y especialmente en la identi cacion del idioma como paso previo a la correcta aplicacion de tecnicas de procesamiento del lenguaje natural a los documentos adaptadas a su idioma.
Como trabajo futuro cabe resen~ar nuestra intencion de unir las dos aproximaciones desarrolladas en este taller - la aproximacion basada en corpus espec co de tweets y la aproximacion basada en lexico generico extra do de Wikipedia. Esta union podr a realizarse mediante la combinacion (por ejemplo, mediante interpolacion) de los diferentes sistemas; o mediante la creacion de un corpus de aprendizaje que adapte el corpus generico a las caracter sticas especi cas de Twitter.
Goldszmidt, Moises, Marc Najork, y Stelios Paparizos. 2013. Boot-strapping language identi ers for short colloquial postings. En Proc. of the European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECMLPKDD 2013). Springer Verlag.
Lui, Marco y Timothy Baldwin. 2014. Accurate language identi cation of twitter messages. En Proceedings of the EACL 2014 Workshop on Language Analysis in Social Media (LASM 2014), paginas 17{25. Lui, Marco, Jey Han Lau, y Timothy Baldwin. 2014. Automatic detection and language identi cation of multilingual documents. Transactions of the Association for Computational Linguistics, 2:27{40.