We describe here our partipation in TweetLID. After having studied the problem of language identification, the resources available, and designed a text conflation approach for this kind of tasks, we joined the competition with two systems: the first one was based in the guesser langdetect, re-trained and adapted in order to work with conflated text; the second one was an approach based on majority vote which used a set of re-trained and adapted classifiers. Results are analized both globally and at language and tweet-type levels.
La identificacio´n del idioma (LID o language
identification) es un caso particular de
clasificacio´n multiclase donde, dado un texto de
entrada, se pretende averiguar su idioma
(Cavnar y Trenkle, 1994). A pesar de los
avances en este campo, ciertos dominios de
aplicaci´on, como Twitter, siguen constituyendo
un desaf´ıo (Baldwin y Lui, 2010a; Bergsma et
al., 2012) y el TweetLID es un buen
ejemplo
En primer lugar esta´ la naturaleza de
las entradas, tuits de escasos 140
caracteres cuando la longitud es un factor cr´ıtico
en LID (Baldwin y Lui, 2010a). Son textos,
adema´s, a menudo informales, escritos
incorrectamente o empleando texting
En segundo lugar esta´ lo particular del
dominio. En LID se suele asumir que las
entradas son monolingu¨es, en un solo
idioma (Baldwin y Lui, 2010a). Sin embargo,
en Twitter no es extran˜o encontrar tuits
multilingu¨es, que combinan varios idiomas,
p.ej. “Adio´s, brother!” (en+es). Asimismo,
la identificacio´n deber´ıa ser precisa, pero
entradas tan cortas pueden resultar a veces
ambiguas, pudiendo pertenecer a cualquiera de
varios idiomas, p.ej. “Boa noite” (gl/pt).
Hablar´ıamos entonces de un problema de
clasificacio´n multi-etiqueta
El tercer factor son los recursos. Por una parte, algunas de las herramientas de LID disponibles no permiten re-entrenarlas, y no suelen disponer de todos los idiomas requeridos para el TweetLID. Por otra parte, au´n pudiendo hacerlo, necesitamos datasets para ello, y aunque existen varios pu´blicamente disponibles (Lui y Baldwin, 2011; Lui y Baldwin, 2012; Majliˇs, 2012) pocos contemplan todos los idiomas necesarios, lo que es conveniente para asegurar un comportamiento lo ma´s homog´eneo posible. Asimismo, lo ideal habr´ıa sido contar con datasets de tuits, pero ´estos son au´n ma´s escasos y no cubren los idiomas requeridos (Bergsma et al., 2012; Lui y Baldwin, 2014).
Para terminar, el propio conjunto de idiomas involucrado en la tarea, aunque pequen˜o, es en s´ı problem´atico. Tomemos como bot´on de muestra el gallego. En primer lugar, su convivencia con el espan˜ol supone que no es inusual que un gallego pueda introducir — incluso sin percatarse—, l´exico del gallego al emplear el espan˜ol y viceversa, especialmente en un contexto tan informal como el de un tuit. En segundo lugar, factores como el grado de normativizacio´n efectiva de la lengua, sus variantes dialectales, situacio´n geogra´fica, etc. hacen que podamos encontrarnos, por ejemplo, con dos gallego-parlantes que empleen un gallego ma´s castellanizado uno, y ma´s pro´ximo al portugu´es, el otro. Finalmente, la proximidad lingu¨´ıstica entre idiomas supone un gran problema, pues compartira´n vocabulario, morfemas, etc. dificultando as´ı la clasificacio´n. Estar´ıamos, pues, ante un problema de clasificacio´n multi-etiqueta en el que no so´lo las clases no son disjuntas, sino que adema´s algunas de ellas comparten buen nu´mero de elementos. 2.
Aunque inicialmente planteamos dos enfoques, uno multiclase y otro multi-etiqueta, las limitaciones de tiempo so´lo nos permitieron poner a punto las soluciones multiclase menos complejas. De este modo, dado un texto de entrada, devolveremos como resultado un u´nico idioma, aqu´el con el que con mayor seguridad esta´ escrito.
Preparamos dos soluciones. La primera corresponde al caso ma´s sencillo, emplear un u´nico clasificador y, en caso de devolver varios resultados posibles, tomar el mejor. La segunda consiste en una solucio´n basada en votacio´n donde, dada una serie de clasificadores, el idioma ma´s veces devuelto entre los resultados parciales de cada uno constituir´a el resultado final (Lui y Baldwin, 2014).
Hemos empleado, en lo posible, recursos de LID ya disponibles, que ahora describimos. 3.1.
Aunque fueron probados otros ma´s, ´estos
fueron los finalmente escogidos para trabajar.
TextCat. De los ma´s conocidos y
sencillos, se trata de una implementaci´on hecha
por
Hemos preferido no emplear los modelos pre-entrenados en los clasificadores y reentrenarlos nosotros mismos para as´ı tener ma´s flexibilidad y control sobre nuestros experimentos. Como se dijo en la Seccio´n 1, no fue tarea f´acil encontrar corpus apropiados. Finalmente se consideraron dos fuentes.
En primer lugar, el texto del Tratado de la Constitucio´n Europea o TCE (Uni´on Europea, 2004), si bien so´lo las Partes I a IV hasta el Art´ıculo IV-448, ya que son las u´nicas disponibles en sus traducciones a gallego, catal´an y euskera.2 Se trata, pues, de un corpus paralelo, con unos 430kb de texto, unas 63.000 palabras, por idioma.
En segundo lugar hemos empleado el Yali Dataset Long (Majliˇs, 2012), comparable aunque no paralelo, con unos 4.5mb de texto, ma´s de 690.000 palabras, por idioma.
El corpus de tuits de desarrollo no se empleo´ inicialmente ya que, al no disponer por entonces de un segundo corpus de test, habr´ıamos tenido que realizar las pruebas sobre el propio corpus de entrenamiento, con lo que los resultados no habr´ıan sido fiables.
4.1.
A la hora de decidir la configuraci´on final de nuestro sistema, se realizo´ una serie de 1El c´odigo se retoc´o para poder trabajar con utf-8 as´ı como para aumentar su eficiencia.
2http://repositori.uji.es/xmlui/ run TCE Yali Yali Yalino1 Yalino2 Yalino3 Yalino4 TextCat langid.py langdetect votador
seleccio´n corpus
seleccio´n normalizacio´n
0.506 0.540 0.477
0.559 0.610 0.548
0.559 0.610 0.548
0.580 0.635 0.576
0.589 0.644 0.582
0.591 0.639 0.582
0.590 0.645 0.583
Tabla 1: Resultados durante el proceso de
afinamiento del sistema (en negrita las
configuraciones seleccionadas en cada fase).
experimentos de puesta a punto, cuyos
resultados de precisi´on (P ), cobertura (R) y
medida-F (F ) recoge la Tabla 1. En todos
ellos se empleo´ el corpus de desarrollo
proporcionado por la organizacio´n
En primer lugar se selecciono´ el dataset a emplear para entrenar las herramientas. Ambos corpus, TCE y Yali, fueron probados sobre el TextCat, obteniendo los resultados que aparecen en la parte superior de la Tabla 1, mostr´andose Yali superior.
Seguidamente, cre´ımos conveniente
normalizar el texto para as´ı reducir las
fuentes de ruido. De este modo, tomando
como base el texto original sin normalizar —
previamente limpiado en el caso de los tuits—
(Yali en la Tabla 1), tanto datasets como
tuits fueron procesados de forma similar a
como ocurre al aplicar stemming : en primer
lugar probamos a pasar el texto a
minu´sculas y a eliminar los d´ıgitos (Yalino1),
probando a continuacio´n a eliminar a mayores
los signos de puntuacio´n (Yalino2). Los
resultados obtenidos mostraron una clara
mejora. Asimismo, los fen´omenos de texting tales
como acortamientos, contracciones,
transformaciones, etc.
Finalmente, procedimos a seleccionar los sistemas concretos a emplear en la competici´on: por una parte la herramienta individual que obtuviese mejores resultados y, por otra, nuestra aproximaci´on basada en votaci´on (v´ease Seccio´n 2). En ambos casos los clasificadores considerados fueron TextCat, langid.py y langdetect (v´ease Secci´on 3.1). La solucio´n basada en votaci´on (votador ) empleaba las tres, por lo que u´nicamente restaba saber cua´l de las tres era mejor. Empleando la configuraci´on establecida previamente se probaron los tres, obteniendo los resultados recogidos en la parte inferior de la Tabla 1), siendo langdetect el ganador. 4.2.
Los resultados oficiales enviados a la competici´on correspond´ıan a langdetect y a nuestra solucio´n basada en votaci´on, en ambos casos aplicando los mecanismos de normalizaci´on ya descritos, faltando adema´s 26 tuits, que no nos fue posible descargar.
En el caso de la modalidad constrained, entrenamos los clasificadores con los tuits del corpus de desarrollo, mientras que en la unconstrained empleamos el dataset Yali. Los valores obtenidos se muestran en la Tabla 2, donde langdetect mejora de nuevo los resultados de la votaci´on, si bien la diferencia es ahora mucho menor. Sin embargo, lo que ma´s nos ha sorprendido es ver que los mejores resultados se obtuvieron para constrained, cuando nos espera´bamos que fuesen siempre peores por lo reducido y ruidoso del corpus de entrenamiento. En todo caso, los resultados obtenidos no son tan buenos como los obtenidos en tareas de LID sobre texto “normal”. 4.3.
A la hora de estudiar en detalle el comportamiento del sistema, decidimos realizar una nueva tanda de experimentos sin tener en cuenta los 26 tuits desaparecidos, so´lo los 18.397 disponibles —v´ease Tabla 3. Tambi´en hemos analizado por separado el caso de los tuits monolingu¨es, aqu´ellos escritos en un u´nico idioma, y los multilingu¨es, que contienen ma´s de un idioma, 16.841 y 350 tuits, respectivamente. En estos dos u´ltimos casos no se tuvieron en cuenta ni los tuits ambiguos (amb) ni los indefinidos (und ).
Estos resultados nos confirman la ca´ıda de rendimiento en el caso de la solucio´n basada en votaci´on (votador ), teniendo adema´s un comportamiento ma´s irregular. En el caso de langdetect, ´este muestra un buen comportamiento en el caso del espan˜ol (es) y de los tuits ambiguos (amb). La precisi´on es menor para catal´an (ca), euskera (eu) e ingl´es (en), siendo inesperado lo de estos dos u´ltimos, pues al ser ambos idiomas muy diferentes del resto (todas lenguas romances), se esperar´ıa lo contrario. El peor rendimiento fue para el gallego (gl), debido a la confusio´n con espan˜ol y portugu´es (pt), y para los indefinidos (und), cuya cobertura fue nula.
En lo que respecta al ana´lisis comparativo de tuits monolingu¨es frente a multilingu¨es, los resultados obtenidos en cuanto a precisi´on para los multilingu¨es han sido incluso ligeramente mejores que para los monolingu¨es. Al mismo tiempo, la cobertura obtenida ha sido pra´cticamente la mitad que la de los monolingu¨es, y dado que casi todos los tuits multilingu¨es conten´ıan dos idiomas, eso significa que, si bien para esos tuits so´lo hemos podido devolver uno de los dos idiomas que contienen, estamos acertando incluso algo ma´s que para el resto. Esto nos permite ser optimistas de cara a futuras mejoras.
Dada nuestra limitacio´n de tiempo, en nuestra participaci´on en el TweetLID hemos optado por aproximaciones sencillas basadas en la adaptacio´n de componentes ya existentes: por un lado, la herramienta langdetect, convenientemente re-entrenada y adaptada y, por otro, una solucio´n basada en la votaci´on de varios clasificadores. Lo prometedor de los resultados obtenidos nos permite ser optimistas de cara al futuro.
En el futuro, queremos mejorar nuestros sistemas mediante umbrales de medidas de confianza y la combinacio´n de dichos valores, permiti´endonos abordar el caso de idiomas desconocidos as´ı como la implementaci´on de clasificadores multi-etiqueta (Lui, Lau, y Baldwin, 2014). Asimismo, prestaremos especial atencio´n al caso del gallego.
Baldwin, T. y M. Lui. 2010a. Language identification: The long and the short of the matter. En Proc. of HLT’10, pp. 229–237.
ACL.
Bergsma, S., P. McNamee, M. Bagdouri,
C. Fink, y T. Wilson. 2012. Language identification for creating languagespecific Twitter collections. En Proc. of
LSM’12, pp. 65–74. ACL.
Cavnar, W. B. y J. M. Trenkle. 1994. Ngram-based text categorization. En Proc.
of SDAIR-94, pp. 161–175.
Uni´on Europea. 2004. Tratado por el que se establece una Constituci´on para Europa.
No. C 310 del Diario Oficial de la Uni´on
Europea. 16 Dic.
Lui, M. y T. Baldwin. 2011. Cross-domain feature selection for language identification. En Proc. of IJCNLP 2011, pp. 553– 561.
Lui, M. y T. Baldwin. 2012. Langid.py: An off-the-shelf language identification tool.
En Proc. of ACL 2012 System Demonstrations, pp. 25–30. ACL. Herramienta: https://github.com/saffsd/langid.py Lui, M. y T. Baldwin. 2014. Accurate language identification of twitter messages.
En Proc. of LASM 2014, pp. 17–25. ACL.
Lui, M., J. H. Lau, y T. Baldwin. 2014. Automatic detection and language identification of multilingual documents. Transactions of the ACL, 2:27–40.
Majliˇs, M. 2012. Yet another language identifier. En Proc. of the Student Research Workshop at the EACL’12, pp. 46– 54. ACL. Herramienta: http://ufal.mff. cuni.cz/tools/yali/ tuits considerados disponibles (18397) run leng pt es ca gl en eu und amb global pt es ca gl en eu und amb global pt es ca gl en eu und amb global pt es ca gl en eu und amb global
P
R
Tabla 3: Resultados no oficiales para ana´lisis a nivel de idioma(s).
edu/TweetNLP/
brary for Java. http://code.google.com/p/ ge Detector 2. https://code.google.com/p/ Tromp, E. y M. Pechenizkiy. 2011. Graphbased n-gram language identification on short texts. En Proc. of Benelearn 2011, pp. 27–34.