In this paper, we propose an automatic bilingual lexicon extraction system for Catalan and Spanish languages. Parallel corpora are not employed and Wikipedia is used as Catalan-Spanish comparable corpora. A contextual similarity approach is used to translate lexical units that are not translated by an edition distance. The obtained results are positive and con rm that this method could be applied to Iberian languages.
En la Pen nsula Iberica coexisten cinco lenguas o ciales: espan~ol, catalan, gallego, euskera y portugues. Para establecer v nculos entre estas lenguas y favorecer el multilinguismo, es necesario desarrollar recursos para todas ellas. Ademas, es indispensable crear recursos que permitan relacionarlas. Actualmente, hay una carencia de recursos de Procesamiento del Lenguaje Natural (NLP) para algunas de ellas, especialmente el gallego, el catalan y el euskera. Uno de los recursos necesarios para interrelacionar estas lenguas y disen~ar herramientas de PLN (como sistemas de traduccion automatica) son los lexicos
Esta investigacion ha sido parcialmente nanciada
por la Agence Nationale de la Recherche (ANR,
Francia), proyecto AVISON (ANR-007-014); y los
proyectos RICOTERM
El disen~o de herramientas automaticas
que ayuden en la construccion de lexicos
bilingues (o multilingues) supone un reto en el
ambito del PLN. Existen trabajos que
tratan este tema empleando diferentes
estrategias. La mayor parte utilizan corpus
paralelos
La mayor a de las investigaciones sobre
este tema se han realizado para relacionar
el ingles con otras lenguas. Para las lenguas
ibericas, encontramos algunos trabajos, que
utilizan principalmente metodos basados en
corpus paralelos: para ingles-gallego
Como se a rma en
El objetivo de este trabajo es desarrollar
un sistema de extraccion automatica de
lexico bilingue para las lenguas de la Pen nsula
Iberica. Concretamente, trabajamos el par de
lenguas espan~ol-catalan. Para ello, evitamos
el empleo de corpus paralelos y aplicamos la
idea de la similitud contextual entre una
unidad lexica y su traduccion
La metodolog a de nuestro trabajo incluye dos fases principales: Preprocesamiento y creacion de recursos lexicos (FASE 0) y Aplicacion del algoritmo (FASE 1). 2.1.
FASE 0: Preprocesamiento y creacion de recursos lexicos
Ya que nuestro trabajo se basa en un corpus comparable y un lexico bilingue, en esta fase se construyen estos recursos. Concretamente, necesitamos dos lexicos bilingues: I) un lexico con candidatos a la traduccion (con sus correspondientes traducciones) y II) un lexico \pivote" utilizado como elemento de relacion entre las dos lenguas. 2.1.1. Preprocesamiento del corpus
comparable
El preprocesamiento del corpus comparable incluye:
Descarga de un chero con todos los art culos de la Wikipedia (Wikipedia Dump) en las dos lenguas de trabajo (espan~ol y catalan).
Eliminacion de \paginas redirigidas" en Wikipedia, es decir, art culos que tienen un t tulo pero no contienen texto en su interior. Por ejemplo, en la Wikipedia en espan~ol, la unidad \Proyeccion Azimutal" esta vac a y redirigida a \Proyeccion azimutal" (simplemente cambia una \a" en mayuscula o minuscula); el an~o \4450" esta redirigido al art culo sobre el \V milenio", etc.
Eliminacion de las stopwords en las dos lenguas. La lista de stopwords en catalan se ha obtenido del area de Ingenier a Lingu stica del Institut Universitari de Lingu stica Aplicada (IULA) de la Universitat Pompeu Fabra (UPF)1. La lista 1http://latel.upf.edu/morgana/altres/pub/ ca_stop.htm de stopwords en espan~ol se ha obtenido del Laboratoire Informatique d'Avignon (LIA-UAPV)2.
Formateo de este chero en Trec-text3.
En el siguiente ejemplo se muestra un ejemplo de este tipo de formato, en donde la etiqueta <DOCNO> indica el numero de documento, <TITLE> el t tulo y <TEXT> el contenido: <DOC> <DOCNO> 22 </DOCNO> <TITLE> Astronom a galactica </TITLE> <TEXT> se denomina 'astronom a galactica' a la investigacion astronomica de nuestra galaxia, la v a lactea [...] seguros posee un agujero negro, etc. </TEXT> </DOC>
Indexacion de los art culos con Lemur Indexation Toolkit4. Usamos esta herramienta para facilitar el calculo de coocurrencias entre la unidad lexica que se quiere traducir y su contexto (es decir, las palabras del lexico II).
Actualmente, la Wikipedia en espan~ol contiene 761.727 art culos y en catalan 341.142. Depues de este preprocesamiento, nuestro corpus incluye 701.423 art culos en espan~ol y 296.465 en catalan. Esta reduccion se debe a la eliminacion de art culos redirigidos. No se realizo una seleccion tematica de los art culos incluidos en el corpus, sino que se emplearon todos los temas de la Wikipedia. Tampoco se uso la estructura de la Wikipedia. 2.1.2. Recopilacion del lexico I
En esta fase, creamos nuestro propio lexico bilingue, que contiene los candidatos a la traduccion en la lengua de partida (catalan), acompan~ados de su traduccion en la lengua de llegada (espan~ol). Construimos estos recursos dada la carencia de lexicos bilingues extensos y actualizados gratuitos disponibles para el par de lenguas empleadas. As , nuestro lexico podra contener neologismos de re
2http://lia.univ-avignon.fr/fileadmin/ documents/Users/Intranet/chercheurs/torres/ logiciels/fonctionnels_esp.txt 3http://trec.nist.gov 4http://www.lemurproject.org ciente creacion (como, por ejemplo, \mileurista")5. Esta fase incluye dos subfases: 1. Extraccion de relaciones de correspondencia entre los t tulos de los art culos de la Wikipedia en espan~ol y catalan, para obtener una lista preliminar de lexico bilingue. Las relaciones entre los art culos en estas dos lenguas se establecen mediante enlaces interlengua (en el menu \En otros idiomas" de la Wikipedia en espan~ol). Establecemos las correspondencias en los dos sentidos (espan~ol-catalan y catalan-espan~ol) porque, en ocasiones, la estructura de la Wikipedia no correlaciona de la misma forma las entradas en los dos sentidos.
Por ejemplo, en la Wikipedia en catalan
encontramos la entrada \Prestige", que
esta correlacionada en la Wikipedia en
espan~ol con \Desastre del Prestige". Sin
embargo, la Wikipedia en espan~ol
tambien ofrece la entrada \Prestige" (que
se re ere al mismo petrolero), que solo
muestra su correspondencia al ingles y al
ruso, pero no al catalan. Vemos as que
la estructura de la Wikipedia en espan~ol
es mas compleja que la de otras lenguas
con menos entradas.
2. Filtrado de la lista preliminar de los dos
lexicos bilingues mediante la eliminacion
automatica de:
- Pares de unidades lexicas que no
mantienen la misma correlacion en la
estructura de la Wikipedia en los dos sentidos.
- Pares de unidades lexicas que coinciden
en las dos lenguas. Este criterio se aplica
por dos motivos. Primero, porque
consideramos que no es interesante evaluar los
pares de unidades que son identicas.
Segundo, porque una gran cantidad de las
unidades de este lexico bilingue extra do
de la Wikipedia seran entidades
nombradas iguales en ambas lenguas, como por
ejemplo \Harry Potter".
- Pares de elementos numericos, ya que
no nos interesa traducir cifras, an~os,
fechas, etc., aunque somos conscientes de
que estas entidades podr an servir para
poder paralelizar de forma e ciente
frases en corpus comparables.
- Pares de elementos en que solo uno
tiene un signo de puntuacion: generalmente
5Para mas informacion
vease
oquet neu tupaia eratostenia espan~ol bordillo alquino tucana r o eno Comenzamos con un lexico de 140.137 unidades. Despues del ltrado, antes de aplicar la distancia de edicion, obtenemos 57.859 unidades y, despues de la distancia de edicion, 8.045 unidades, con las que trabajamos nalmente. Este lexico nal contiene las unidades lexicas mas dif ciles de traducir, porque no pueden ser traducidas por una distancia de edicion tradicional. Por este motivo, consideramos que la traduccion automatica de estas 8.045 unidades es el principal reto. Partimos de la idea de que el lexico bilingue creado en esta fase es correcto. Sin embargo, no hemos realizado una revision manual, dada su gran extension. Esta revision ser a optima para eliminar errores, pero intentamos evitar al maximo la intervencion humana. 2.1.3. Recopilacion del lexico II
Como ya hemos comentado, este lexico \pivote" se utiliza como elemento de relacion entre las dos lenguas del trabajo. Por este motivo, este lexico debe ser correcto necesariamente, ya que gracias a el se realizan las corrrespondencias entre lenguas. Por esto, hemos decidido utilizar un lexico bilingue espan~ol-catalan existente en la coleccion AULEX6, que contiene vocabularios breves en l nea de lenguas con recursos limitados, dirigida por Manuel Rodr guez Villegas, especialista compilador de diccionarios en l nea. 2.2. FASE 1: Aplicacion del
algoritmo
El proceso de identi cacion de
traducciones puede ser visto como un
alineamiento palabra por palabra. Esta tarea se
aborda normalmente mediante algoritmos
basados en corpus paralelos, como el modelo
IBM
En resumen, el metodo para identi car traducciones basado en la informacion contextual incluye cuatro pasos: calculo de las coocurrencias entre una palabra (lexico I) y las palabras del lexico \pivote" (lexico II), normalizacion de las coocurrencias con una medida de asociacion, construccion de un vector de contexto, comparacion de los vectores de la lengua de partida y la lengua de llegada con una medida de similitud.
La Figura 1 resume el proceso general de extraccion de traduccion que presentamos en este trabajo.
El primer paso esta basado en la premisa de que una palabra y su traduccion comparten similitudes contextuales en corpus comparables. Las palabras del lexico \pivote" 6http://aulex.org/aulex.php
Figura 1: Esquema general del proceso de extraccion de traducciones. (lexico II) son los elementos de relacion en ambas lenguas para modelizar el espacio contextual de donde vamos a extraer las traducciones. Las coocurrencias entre una palabra (lexico I) y las palabras del lexico \pivote" (lexico II) se contabilizan dentro de una ventana deslizante de un taman~o jo (de 10 a 30 palabras en cada ejemplo) o dinamico (oraciones, parrafos, etc.).
El segundo paso ha sido ya
ampliamente estudiado en la literatura. Se han probado
diversas medidas de asociacion, basadas en
tablas de contingencia 2*2 como la
mostrada en el Cuadro 1, y se observa que las mas
efectivas son informacion mutua
mi(w; s) = log
a (a + b)(a + c) (1) odds(w; s) = log (a + 21 )(d + 12 ) (b + 12 )(c + 12 )
(2) s
s w w a = occ( w ; s )
b = occ( w ; s ) c = occ( w ; s )
d = occ( w ; s ) Cuadro 1: Tabla de contingencias entre dos palabras
El Cuadro 1 contiene las coocurrencias comunes en una ventana de una palabra del lexico I (re ejada como w) y las palabras del lexico \pivote" o II (re ejadas como s), pero tambien los casos en los que w aparece sin s, s aparece sin w, y nalmente en los que no aparecen juntas. Este paso de normalizacion es particularmente util para tratar diferencias entre lenguas en corpus comparables. Por ejemplo, el corpus extra do de la Wikipedia
Documentos en espan~ol contiene una mayor cantidad de unidades lexicas, por eso el numero de ocurrencias de palabras es mayor que el numero de ocurrencias de su traduccion en una lengua con menos recursos (como el catalan).
El tercer paso se re ere basicamente a la modelizacion de una palabra (lexico I) en un espacio contextual. Para cada palabra (lexico I) en la lengua de partida y de llegada, el contexto se modeliza como un vector de contexto. Cada componente de este vector contiene un calculo de coocurrencias normalizado. Los componentes tienen que ser jos porque queremos que las dimensiones sean comparables entre los vectores de la lengua de partida y de llegada.
El cuarto paso se basa en medidas de
vectores de similitud para comparar los vectores
de contexto en la lengua de partida y de
llegada. El objetivo es detectar similitudes entre
las asociaciones contextuales de las palabras.
Los vectores mas similares son traducciones
posibles. Estas medidas son otro parametro
bien estudiado en la literatura, y las mas
populares son el coseno, la distancia euclidiana
y la metrica City Block
Pn oddssnoddstn p(Pn oddssn)2p(Pn oddstn)2 (3)
Para evaluar nuestro metodo, hemos empleado los recursos incluidos en el Cuadro 2. Hemos extra do aleatoriamente 300 candidatos a traducir del lexico I.
Hemos realizado diversos experimentos empleando las medidas de asociacion y las medidas de similitud vectorial, presentadas en 2.2. Observamos que los mejores resultados se obtienen con la utilizacion de la medida de asociacion odds-ratio y la similitud de cosenos. Los resultados se presentan en el Cuadro 3 (P = Precision, C = Cobertura, F = F-measure). Consideramos que es interesante presentar tambien los resultados obtenidos con las otras medidas de asociacion, como las coocurrencias y la informacion mutua.
A continuacion mostramos algunos ejemplos de traducciones correctas: catalan formatge blau
oridura momi cacio senglar calido vaga espan~ol queso azul moho embalsamamiento jabal calidon huelga
Y tambien ejemplos de traducciones incorrectas: catalan creu nordica castella mexic bombeta electrica asturies bitxo espan~ol idioma islandes alfabetizacion cuenco labor salsa pescado
Los resultados obtenidos muestran la e cacia en cuanto a la precision en el rango 1 de la medida odds ratio combinada con la similitud de cosenos. El aumento de la cobertura segun el numero de candidatos tenidos en cuenta (un rango entre 5 y 10) implica un descenso signi cativo de la precision. El calculo de la precision tiene en cuenta el numero de unidades lexicas de la lengua de llegada consideradas como una buena traduccion. Para el rango 10, por ejemplo, una sola traduccion es valida segun la referencia (lexico I), pero el sistema ofrece 10. En este rango, la informacion mutua y odds ratio son equivalentes en cuanto a precision y cobertura.
Estos resultados son dif cilmente
comprables con los de otros trabajos. Sin embargo,
observamos que, para el dominio period stico,
los experimentos de
Cuadro 3: Resultados obtenidos a tres rangos (mejores 1, 5 y 10 traducciones) por similitud de cosenos entre los vectores de contexto bajo. De hecho, creemos que la precision del rango 1 del 58 %, que hemos obtenido, podr a mejorarse con un lexico con un mayor numero de entradas. Este aspecto esta relacionado con la cantidad de recursos disponibles para el catalan, menos dotado que otras lenguas.
La evaluacion de los candidatos ubicados en el primer rango es el modo mas apropiado de observar si el lexico bilingue extra do podr a ser incluido en un sistema de traduccion automatica. Sin embargo, es necesario mejorar la precision de los resultados con el objetivo de aportar recursos robustos.
En nuestro trabajo no abordamos la
construccion de modelos estad sticos de
traduccion, sino que nos centramos en la tarea de
la extraccion de lexico bilingue. Sin embargo,
existen diversos trabajos que se estan
realizando actualmente por otros autores en
relacion con el entrenamiento de sistemas de
traduccion automatica con datos no paralelos,
obteniendo resultados prometedores
En este trabajo presentamos un sistema de extraccion automatica de lexico bilingue, que aplicamos a un par de lenguas de la Pen nsula Iberica: espan~ol-catalan. Para los experimentos no empleamos corpus paralelos, sino corpus comparables usando como recurso la informacion ofrecida por la Wikipedia, aplicando la idea de las similitudes contextuales entre una unidad lexica y su traduccion. Los resultados obtenidos son positivos, dado que se logro traducir correctamente mas de la mitad de los candidatos. Ademas, consideramos que la precision del rango 1 podra mejorarse mediante un lexico \pivote" que incluya mas unidades lexicas, lo cual planeamos hacer como trabajo futuro.
Creemos que este trabajo es relevante, dado que proponemos un sistema que casi no requiere esfuerzo humano, es rapido y, sobre todo, permite la actualizacion constante del lexico bilingue, ya que la Wikipedia se ampl a cada d a con nuevas entradas. Tomando la Wikipedia como un corpus abierto y en constante evolucion, podremos emplear este metodo para aumentar el lexico de cualquier lengua de la Pen nsula Iberica de una manera dinamica y, as , favorecer el multilinguismo, las relaciones entre lenguas y el desarrollo de herramientas de PLN, como los sistemas de traduccion automatica. La principal ventaja de la metodolog a empleada en este trabajo es que es independiente de lengua. Para emplearla en diferentes lenguas solo se necesita un corpus comparable y un lexico \pivote" entre las dos lenguas que se quieren tratar.
Como trabajo futuro, nos gustar a aplicar el sistema sobre otros pares de lenguas. Especialmente, estamos interesados en el espan~oleuskera, dada la gran diferencia ortogra ca entre las unidades lexicas de estas dos lenguas. Ademas, nos gustar a incorporar nuestro sistema de extraccion a un sistema de traduccion automatica, para: 1. realizar una evaluacion extr nseca de nuestro sistema, 2. aumentar la cobertura de vocabulario de un traductor automatico.