The coexistence of ve languages with o cial status in the Iberian Peninsula (Basque, Catalan, Galician, Portuguese, and Spanish), has prompted collaborative e orts to share and cross-develop resources and materials for these languages of the region. However, it is not the case that comprehension boundaries only exist between each of these ve languages; dialectal variation is also present, and in the case of Basque, for example, many written resources are only available in dialectal (or pre-standardization) form. At the same time, all the computational tools developed for Basque are based on the standard language (\Batua"), and will not work correctly with other dialects, of which there are many. In this work we attempt to semiautomatically deduce relationships between the standard Basque and dialectal variants. Such an e ort provides an opportunity to apply existing tools to texts issued before a uni ed standard Basque was developed, and so take advantage of a rich source of linguistic information.
En el area de la morfolog a
computacional existe una l nea de investigacion
abierta en relacion a la forma de combinar las
aproximaciones lingu sticas y las basadas en
aprendizaje automatico. Los metodos
basados en aprendizaje automatico
El desarrollo de las bibliotecas digitales y de la lingu stica basada en corpus implica a menudo el tratamiento de las variantes dialectales y/o diacronicas del idioma, pero no resulta viable tener que realizar una nueva especi cacion por cada variante a tratar. As pues, el objetivo de nuestras investigaciones es inferir la morfolog a de las variantes, o la equivalencia entre variantes y formas estandar del euskera a partir de un pequen~o corpus paralelo variante/estandar, un corpus de la variante y un analizador o reconocedor del estandar.
En el trabajo que presentamos tratamos de inferir metodos de sustitucion lexica entre variantes y formas estandar del euskera basandonos en la morfolog a. Concretamente, nuestros primeros experimentos se centran en el dialecto labortano y el objetivo es la sustitucion lexica de las formas propias del dialecto por las correspondientes del euskera estandar. La tarea clave, en una primera fase al menos, es la inferencia de las reglas fonologicas a partir de pares variante-estandar. En este art culo describimos los recursos basicos con los que contamos en nuestra investigacion, as como los metodos que estamos experimentando para inferir las reglas.
Aunque los resultados obtenidos en los primeros experimentos son alentadores, todav a deben ser ampliados y mejorados antes de poder integrarlos en herramientas computacionales efectivas.
Las tecnicas que describimos son, en su mayor parte, independientes del idioma y ademas, es de suponer que con cierta adaptacion pueden ser aplicadas a otras variantes o registros del idioma (por ejemplo, idioma mas informal: email, SMS. . . ).
El problema general de aprendizaje supervisado de las variantes dialectales ha sido discutido en la literatura en varias areas: fonolog a computacional, morfolog a, aprendizaje automatico. . .
Por ejemplo,
En un trabajo anterior,
Para el aprendizaje o inferencia y para la evaluacion se necesitan recursos que deben ser almacenados, testeados y, en su caso, etiquetados. La idea de este trabajo es usar metodos no supervisados o con un m nimo de supervision, ya que ese es el escenario realista para generar aplicaciones en el area.
De momento vamos a probar distintas tecnicas en el contexto de las variaciones dialectales en euskera, pero intentando que los metodos sean, en la medida de lo posible, independientes del idioma.
Para llevar a cabo nuestros experimentos en esta investigacion, contamos con tres corpus de origen y caracter sticas diferentes: Corpus de transcripciones en labortano Corpus de la Biblia en euskera estandar y labortano Corpus de transcripciones en diversos dialectos 3.1.
Por una parte, contamos con un corpus paralelo construido en el centro de investigacion IKER (UMR5478) de Bayona (Francia) dentro del proyecto TSABL1. El objetivo de este proyecto es el estudio de la variacion sintactica de los dialectos del Pa s Vasco al norte de los Pirineos (Iparralde ). Para ello, se ha creado la aplicacion BASYQUE2, en la que se recogen datos y ejemplos de variantes dialectales que provienen de tres fuentes de informacion: cuestionarios espec cos, v deos de testimonios grabados en otros proyectos y textos literarios.
Una de las principales razones que nos ha llevado a utilizar los datos recogidos en 1Towards a Syntactic Atlas of the Basque Language: http://www.iker.cnrs.fr/-tsabl-towards-asyntactic-atlas-of-.html?lang=fr 2http://ixa2.si.ehu.es/atlas2/index.php?lang=eu BASYQUE es la posibilidad que nos ofrece de crear corpus paralelos. Los cuestionarios y testimonios grabados se transcriben y junto a cada ejemplo o frase dialectal tambien se especi ca la forma estandar que le corresponde. En el caso de los textos literarios escritos en dialecto, tambien se indica la forma estandar que corresponde a cada frase. Estos corpus paralelos labortano-estandar son los que vamos a utilizar en los experimentos de sustitucion lexica.
La aplicacion BASYQUE pretende abarcar todos los dialectos y subdialectos de Iparralde y para ello la recopilacion de los datos se extiende a todo el territorio. Para los experimentos, en cambio, en esta primera fase nos centramos en el dialecto labortano, por lo que hemos empleado los ejemplos y los textos que provienen de las zonas donde se habla dicho dialecto. Y de momento hemos utilizado los ejemplos recogidos mediante los cuestionarios y los textos literarios, ya que las grabaciones de video no estan transcritas todav a. Cabe resen~ar que dichos corpus estan siendo actualizados y ampliados dentro del mencionado proyecto, de modo que los datos presentados en la Tabla 1 corresponden al corpus de transcripciones labortano-estandar disponible en el momento de realizar los experimentos.
Nopalabras Palabras dif.
Pares ltrados Pares identicos Pares diferentes
Corpus Tabla 1: Datos correspondientes al corpus labortano-estandar utilizado en los experimentos realizados hasta el momento. La primera columna corresponde al corpus completo. El 80 % ha sido utilizado en la fase de aprendizaje y el 20 % restante en la fase de test.
En la Tabla 2 se presentan varios ejemplos de frases con el n de que se vea el tipo de diferencias que se pueden encontrar entre el dialecto y el estandar, as como la correspondencia palabra a palabra con que se cuenta en dicho corpus.
Este es el corpus en el que hemos centrado nuestros primeros experimentos y con el que hemos obtenido los resultados que presentamos en el apartado 5.
Dialecto labortano vs Euskera estandar Leihoa estea erreusitu du.
Leihoa ixtea erreusitu du.
Eni galdegin daut 100 euro.
Eni galdegin dit 100 euro.
Ez gero uste izan nexkatxa guziek tu egiten dautatela.
Ez gero uste izan neskatxa guztiek tu egiten didatela. Tabla 2: Varios ejemplos de frases en el corpus paralelo labortano-estandar.
Otra fuente de informacion basica para nuestro trabajo es la Biblia, que esta publicada en euskera estandar y tambien en dialecto labortano, lo que nos proporciona un corpus paralelo bastante mayor que el anterior. La version de la Biblia en euskera estandar ha sido editada dos veces, en 1994 y en 2004 respectivamente, y existe una version electronica en la web (http://www.biblija.net). En cuanto a la version en dialecto labortano, se trata de una adaptacion de la version estandar realizada por Marcel Etcehandy y publicada en 2007, y dispone tambien de una version electronica (http://amarauna.org/biblia/). Debido a problemas de formato, de momento solo hemos alineado 9 libros (elegidos al azar) con las caracter sticas que se re ejan en la Tabla 3.
Node libros disponible Palabras totales en euskera estandar Palabras diferentes Libros alineados Palabras totales en libros alineados Palabras diferentes en libros alineados 76 66 545.700 38.069
9 104.967 15.007 Tabla 3: Datos correspondientes al corpus de la Biblia y a los libros alineados hasta la fecha.
Este corpus, al ser de mayor taman~o, nos va a permitir realizar experimentos con distintos taman~os de corpus paralelo, y as conseguir estimar correlaciones entre taman~os de corpus paralelo y calidad de la inferencia, pero todav a no tenemos resultados que mostrar sobre este aspecto ya que estamos en la fase de preparacion y obtencion de informacion de este corpus. Por otro lado, a diferencia del corpus descrito en 3.1, en el corpus de la Biblia no hay transcripcion palabra a palabra tal y como se puede observar en el pequen~o ejemplo3 que se presenta a continuacion, por lo que la obtencion del diccionario de palabras equivalentes se preve mas complicada.
Dialecto labortano: Euskera estandar: \Errana dauzut: ukan indar eta kuraia. Ez ikara, ez izi, ni, Jauna, zure Jainkoa, zurekin izanen bainaiz joanen ziren toki guzietan".
\Kementsu eta adoretsu izateko esan dizut. Ez ikaratu, ez kikildu, ni, Jauna, zure Jainkoa, zurekin izango bainaiz zure ibilera guztietan". 3.3.
Existen varios proyectos en el Pa s Vasco (Ahotsak.com4 o EKE.org5, por ejemplo) que tienen como objetivo recoger el habla tradicional de cada zona, es decir, recopilar y difundir testimonios orales de vasco-parlantes. En ambos proyectos se graban y se recogen conversaciones y/o testimonios de personas que se expresan en su propio dialecto.
Nosotros hemos creado una red de colaboracion con Ahotsak.com para poder recopilar y ayudar a transcribir corpus paralelos de variantes dialectales relacionadas con la forma estandar, ya que el objetivo de Ahotsak.com es ir transcribiendo gran parte de los testimonios grabados. Hasta ahora, cuentan con 5.204 pasajes (1.462.555 palabras) transcritos en las formas dialectales. Sin embargo, para facilitar la busqueda se quiere relacionar cada forma dialectal con su correspondiente estandar, y para hacerlo de forma (semi)automatica nos queremos valer de las 3El ejemplo corresponde al vers culo 9 del cap tulo 1 del libro de Josue.
4http://www.ahotsak.com/ 5http://www.eke.org/ tecnicas que estamos desarrollando y que describimos posteriormente.
Las caracter sticas de este corpus son en parte equiparables a las del primer corpus descrito, pero con dos diferencias resen~ables: recoge gran variedad de dialectos, ya que ciertas formas van cambiando casi de pueblo a pueblo (vease el mapa en http://ahotsak.com/herriak/mapa/) de momento solo disponemos de la transcripcion de las formas dialectales y queremos obtener de forma (semi)automatica las correspondientes formas estandar. Una parte de la investigacion que hacemos es determinar el m nimo de trabajo manual (para relacionar las formas estandar con las dialectales) necesario para obtener unos buenos resultados despues en la posterior sustitucion lexica. 4.
Nuestra primera aproximacion se va a basar en obtener pares de palabras variante/estandar a partir de un corpus paralelo (que quisieramos minimizar). Para ello reutilizamos lo que hemos llamado metodos basicos. Posteriormente inferiremos reglas fonologicas mediantes dos metodos. 4.1.
De cara a obtener pares de palabras equivalentes a partir de corpus paralelos vamos a utilizar dos programas: lexdi y Giza++.
El primero, lexdi , ha sido disen~ado y
utilizado para la migracion automatica de
textos entre diferentes ortograf as del portugues
Adicionalmente, lexdi tambien calcula los cambios de ngramas y sus frecuencias, obteniendo resultados de este tipo: 76 ait ->at; 39 dautz ->diz; lo que indica que el ngrama ait ha cambiado a at 76 veces en el corpus y que dautz ha cambiado 39 veces a diz.
Estos resultados pueden expresar cambios (morfo)fonologicos regulares entre los textos, y han sido explotados en el primero de los metodos de inferencia que presentamos a continuacion.
Giza++6 es una conocida herramienta para inferir diccionarios, con probabilidades de traduccion, a partir de corpus paralelos. Lo queremos comparar con lexdi dado que el corpus de la Biblia con el que contamos es un corpus paralelo divergente y de mayor taman~o, pero todav a no podemos presentar resultados sobre dicha comparacion. 4.2.
Estamos experimentando con dos metodos de inferencia: 1. Inferencia de reglas fonologicas basada en substrings 2. Inferencia usando programacion logica inductiva sobre pares de palabras equivalentes
El metodo baseline consiste en aprender
las equivalencias de pares diferentes en el
corpus de aprendizaje (corpus paralelo) y
sustituirlas en el de test, suponiendo que si no
se ha aprendido la forma estandar
correspondiente a la variante es la propia variante. Este
metodo tiene como resultado buena precision
y baja cobertura. Los dos metodos que
proponemos parten de una lista de equivalencia de
palabras o de substrings obtenida por las
herramientas basicas y tratan de inferir reglas
fonologicas de reemplazamiento que puedan
ser compiladas por xfst de Xerox (Beesley
y Karttunen, 2002) o foma (software libre,
En principio se basa en los cambios de ngramas que obtiene lexdi . Hay varias formas de transformar esa salida de lexdi en reglas de reemplazamiento que se compilan a transductores nitos. Estamos teniendo en cuenta los siguientes factores:
Limitar los cambios a tener en cuenta a aquellos que tienen un m nimo de frecuencia (por ejemplo, dos o tres). Si aumentamos el m nimo mejoraremos la precision, pero perderemos cobertura. Limitar el numero de reglas que pueden ser aplicadas a la misma palabra.
Por ejemplo, la correspondencia agerkuntza/agerpena puede expresarse mediante dos reglas: rkun ->rpen y ntza ->na, pero permitir varios cambios puede producir ruido innecesario y bajar la precision.
La forma de aplicar las reglas: secuencialmente o paralelamente.
Hacer que los cambios sean de longitud m nima y condicionados por el contexto. 4.2.2. Inferencia usando
programacion logica inductiva.
El segundo metodo consiste en los siguientes pasos: 1. Alinear los pares de palabras letra por letra usando la m nima distancia de edicion. 2. Extraer un conjunto de reglas fonologicas. 3. Por cada regla, buscar contraejemplos. 4. Buscar la restriccion de contexto m nima que resuelva los contraejemplos.
Por ejemplo, si tenemos los pares emaiten/ematen e igorri/igorri, en el primer paso se detecta el cambio i/0, que en el paso dos se convierte en la regla i ->0. Pero ese cambio no se puede aplicar con igorri, por lo que la regla se transforma para evitar que sea aplicada. Este metodo tiene la ventaja de explotar las formas que son identicas en el dialecto y en el estandar. 5.
Hemos centrado los experimentos en el corpus descrito en el apartado 3.1 con el n de testear y evaluar los metodos descritos en el apartado 4. Los primeros resultados nos muestran una mejora respecto al metodo baseline, pero todav a deben ser mejorados para utilizarlos en herramientas computacionales efectivas.
La Tabla 4 muestra los resultados obtenidos. Dichos resultados corresponden tanto al metodo baseline, como a los mejores resultados obtenidos con cada una de las propuestas de inferencia de reglas descritas y se expresan en terminos de precision (precision ), cobertura (recall ) y la medida-F (F-score), que es la combinacion de ambas. En los tres casos, el proceso de aprendizaje se ha llevado a cabo con el 80 % del corpus, y el test, cuyos resultados son los que see muestran en la Tabla 4, se ha realizado sobre el 20 % restante.
Aunque no se presentan mas que los mejores resultados obtenidos con cada metodo, el numero de experimentos realizados con ambos metodos ha sido numeroso, sobre todo con el metodo de inferencia de reglas basada en substrings, debido a los diferentes factores que se pueden tener en cuenta para inferir las reglas fonologicas. Dichos experimentos nos muestran que:
Disminuir la m nima frecuencia exigida a un cambio para obtener una regla fonologica a partir de el, aumenta notablemente la cobertura, pero tambien hace que disminuya la precision, con lo que el resultado en terminos de F-score apenas mejora.
La aplicacion de mas de una regla en una palabra no parece aportar incrementos importantes en la mejora de los resultados.
El modo de aplicacion, secuencial o paralelo, de las reglas (cuando se aplica mas de una regla en la misma palabra) presenta resultados muy similares, aunque algo mejores si la aplicacion es paralela. Por ultimo, minimizar la longitud de los cambios y hacer que sean condicionados por el contexto, obtiene claramente mejores resultados.
En los primeros experimentos con este metodo de inferencia, ya pudimos comprobar que la aplicacion exclusivamente de las reglas fonologicas no mejoraba los resultados del metodo baseline, debido a que la precision era excesivamente baja (para cada termino a sustituir, el numero de candidatos era a menudo elevado). Ello nos llevo a aplicar un postltro al proceso, basado en la frecuencia de los candidatos en euskera estandar7. El ltro aplicado es muy simple: si hay mas de un candidato se elige el mas frecuente, pero a pesar de su simplicidad se mejoran los resultados y se consigue superar el baseline tal y como se puede ver en los resultados presentados en la Tabla 4.
7La frecuencia de cada termino la hemos obtenido de un corpus de un diario de noticias editado en euskera.
Precision
Recall
F-score Baseline Metodo 1 Metodo 2 Tabla 4: Mejores resultados (en terminos de F-score) obtenidos con ambos metodos de inferencia en los experimentos realizados con el corpus de transcripciones labortanoestandar.
Con respecto al segundo metodo de inferencia, basado en programacion logica inductiva, los resultados obtenidos han sido mejores, y ademas, con este metodo no es necesaria la aplicacion del ltro posterior. El motivo fundamental es que este metodo no solo utiliza la informacion de los pares diferentes, sino tambien la de los pares iguales en el dialecto y en el estandar.
Se puede consultar informacion mas
detallada tanto de los metodos propuestos como
de la evaluacion realizada en
Todav a nos queda mucho trabajo por realizar en el campo de esta investigacion. La aplicacion de los metodos descritos al corpus de la Biblia nos va a permitir precisar hasta que punto es determinante que la transcripcion entre dialecto y estandar sea palabra a palabra, y que taman~o de corpus es necesario para obtener resultados que indiquen que es posible conseguir herramientas automaticas de sustitucion lexica.
Ademas, creemos que los metodos utilizados deben ser combinados con otros que ineran relaciones entre lemas y morfemas (variantes y formas estandar), variantes de paradigmas y que contrasten esas inferencias con corpus de variantes (sin que sean corpus paralelos) mas amplios.
Almeida, J. J, A. Santos, y A. Simoes. 2010.
Bigorna{a toolkit for orthography migration challenges. En Seventh International Conference on Language Resources and Evaluation (LREC2010), Valletta, Malta. Beesley, K. R y L. Karttunen. 2002. Finitestate morphology: Xerox tools and techniques. Studies in Natural Language Processing. Cambridge University Press.