The main objective of this thesis is to propose a hybrid natural language generation approach which will improve the quality of the produced text, encouraging the independence of domain, text type and application. In order to achieve this objective, we present a flexible natural language generation approach focused on the surface realisation stage, which, based on statistical knowledge and lexicons, allows the generation of text for different domains and languages guided by the system input.
Dada la necesidad existente para facilitar la
comunicacio´n y la interaccio´n
hombre-m´aquina
Gracias a las caracter´ısticas que ofrece el
a´rea de la GLN, esta puede emplearse en
distintos ´ambitos, como en la meteorolog´ıa
Adema´s, tambi´en se han disen˜ado
sistemas de GLN como herramienta de ayuda
para la comunicacio´n de personas con algu´n
tipo de discapacidad o problemas de
comprensi´on lectora
La tarea de la GLN, a grandes rasgos,
consiste en producir de forma autom´atica
estructuras correctas del lenguaje natural a partir
de una representacio´n de la informacio´n
Esta tarea se ha dividido comu´nmente en
varias etapas diferenciadas: la macro
planificaci´on, la micro planificaci´on y la realizaci´on
Tradicionalmente una de las limitaciones de los sistemas de GLN es que se han disen˜ado para dominios muy concretos y para un fin determinado, siendo el desarrollo de enfoques de dominio abierto y flexibles un reto para la comunidad investigadora.
Actualmente, uno de los enfoques ma´s
recientes para abrodar la tarea de la GLN en
los u´ltimos an˜os es la generaci´on
empleando t´ecnicas estad´ısticas
La hipo´tesis de partida de esta investigacio´n es que la aplicaci´on de una aproximaci´on h´ıbrida para la GLN permitir´a incrementar la calidad del lenguaje producido, favoreciendo su independencia del dominio, del g´enero textual y de la aplicaci´on final que lo utilice, siendo la implementacio´n de un enfoque de generaci´on h´ıbrido el objetivo final de la tesis. 4
Con el objetivo de lograr una aproximaci´on h´ıbrida que favorezca la independencia del dominio, g´enero textual y aplicaci´on, se ha implementado un m´etodo flexible centrado en la fase de realizaci´on de la GLN cuya novedad, con respecto al estado de la cuestio´n radica en que en la entrada al sistema es una “caracter´ıstica semilla”. Esta “caracter´ıstica semilla” puede ser vista como un objeto abstracto (un fonema, una palabra, un sentimiento, etc.) encargado de guiar el proceso de generaci´on con respecto al contenido del texto generado. Por tanto, guiar´a la generaci´on en relacio´n con su vocabulario o el tipo de palabras que deber´a contener el nuevo texto generado, aportando as´ı la flexibilidad necesaria al enfoque para poder adaptar con facilidad la generaci´on de textos independientemente del dominio e idioma. En la Figura 1 se puede ver un esquema general del enfoque de generaci´on que se describir´a en las pr´oximas l´ıneas.
Figura 1: Diagrama del enfoque de generaci´on propuesto en el que se generan frases flexionadas guiadas por la “caracter´ıstica semilla” de entrada.
En este enfoque se ha estudiado la
aplicaci´on de t´ecnicas estad´ısticas para la
generacio´n, las cuales, en conjuncio´n con
informaci´on obtenida de diversas fuentes (e.g.
lexicones, herramientas, etc.) nos permite una
generaci´on flexible. En este caso, se ha
probado el m´etodo empleando modelos de
lenguaje factorizados (FLM: Factored
Language Models), que son una extensio´n de los
modelos de lenguaje introducidos en
Dependiendo de los factores empleados para la generaci´on, el texto generado puede no contener elementos flexionados, siendo la flexi´on autom´atica de frases otro punto clave para lograr el objetivo marcado. En este caso, se ha implementado un mo´dulo de flexi´on de palabras para diferentes idiomas, espan˜ol e ingl´es. En el caso del ingl´es, la flexi´on se realiza con reglas escritas a mano dado que las flexiones en este idioma tienen muy pocas variantes. Sin embargo, debibo a la complejidad que entran˜a la flexi´on en lenguajes morfolo´gicamente ricos como es en este caso el espan˜ol, se ha realizado la flexi´on de las frases empleando t´ecnicas de aprendizaje automa´tico en el caso de los verbos, mientras que, para el resto de palabras se han empleado reglas escritas a mano. Espec´ıficamente, para el aprendizaje de la flexi´on de verbos espan˜oles, en una primera instancia, se elaboro´ un conjunto de datos que conten´ıa todas las reglas necesarias para poder realizar la flexio´n de todos los verbos independientemente de su conjugaci´on y del tipo de verbo que sea (regular e irregular). Este conjunto de datos fue creado consultando la Real Academia Espan˜ola1 y la Enciclopedia Libre Universal en Espan˜ol2.
El conjunto de datos est´a compuesto por las siguientes caracter´ısticas: (1) ending, (2) ending stem, (3) penSyl, (4) person, (5) number, (6) tense, (7) mood, (8) suff1, (9) suff2, (10) stemC1, (11) stemC2, (12) stemC3.
Se ha considerado que un verbo espan˜ol se
puede dividir en tres partes: (1) ending (que
hace referencia a la conjugaci´on); (2) ending
stem (i.e. la consonante ma´s cercana a la
caracter´ıstica ending ); and (3) penSyl (i.e. la
penu´ltima s´ılaba del verbo que puede estar
formada por la s´ılaba entera o por su vocal
dominante), como se muestra en la Figura 2,
siendo estas partes las que pueden variar en
la flexi´on del verbo.
viduales para cada una de las
caracter´ısticas con un valor de flexi´on potencial. Se us´o
la implementacio´n de WEKA
Figura 3: Reconstrucci´on del verbo “elegir” con las caracter´ısticas predichas por los modelos.
Este enfoque contribuye al estado de la cuestio´n en lo siguiente: se presenta un m´etodo flexible capaz de generar lenguaje que es f´acilmente adaptable a diferentes dominios e idiomas; se presenta un mo´dulo de flexi´on eficiente, para diversos idiomas, que emplea reglas escritas a la vez que es capaz de predecir la flexi´on de palabras que no se adecuen a las reglas, para el caso de los verbos espan˜oles. 4.1
Progreso de la investigaci´on Para validar el enfoque propuesto se han reaFigura 2: Divisi´on del verbo empezar y su flexi´on lizado experimentos con respecto a la aplicapara la primera persona del singular del presente ci´on de m´etodos estad´ısticos as´ı como tamde subjuntivo. bi´en experimentos para validar el mo´dulo de flexi´on.
Se entreno´ un conjunto de modelos indi- Con respecto al empleo de los FLM, se 1http://www.rae.es/diccionario-panhispanico-de- han escogido varios factores con informadudas/apendices/modelos-de-conjugacion-verbal ci´on sint´actica y sema´ntica (incluyendo pala2http://enciclopedia.us.es/index.php/Categor´ıa:Verbos bras, lemas, etiquetas gramaticales (POS tag: Coherencia Errores
Gramaticales Part-of-Speech tag ) y synsets3) para entrenar varios modelos FLM y evaluar las frases generadas atendiendo a diferentes criterios. Se generaron un total de 20 frases por cada una de las configuraciones de factores: i) Palabras + POS tag, ii) Lemas + POS tag y iii) Synset + POS tag.
Para evaluar las frases generadas, realizamos una evaluaci´on de usuario colaborativa con un total de 12 participantes como asesores. Para dicha evaluaci´on se emplearon cuestionarios con varias preguntas empleando una escala de Likert de 5 niveles. Estas preguntas estaban relacionadas con la coherencia y los errores gramaticales contenidos en las frases generadas. El t´ermino coherencia se refiere al nivel de significado de las frases, siendo 1 el valor para frases con poco sentido y un 5 el valor para frases con un significado completo. Por otra parte, el t´ermino de errores gramaticales se refiere a la cantidad de errores gramaticales que tienen las frases generadas, siendo 1 el valor usado cuando las frases contienen un alto nu´mero de errores y 5 el valor empleado para denotar la ausencia de errores en ellas.
Factores Palabra+POS Lema+POS Synset+POS Tabla 1: Resultados de las medias de la escala de Likert de 5 niveles con respecto a la coherencia y errores gramaticales de las frases generadas estad´ısticamente empleando distintos factores en los FLM.
En la Tabla 1 se puede observar un resumen de las medias obtenidas para los criterios mencionados. Estos resultados muestran que el empleo de factores ma´s abstractos y generales (los lemas y synsets en conjuncio´n con el POS tag ) a la hora de generar nos aporta una mayor capacidad expresiva.
Por otro lado, en el caso del mo´dulo de flexi´on, debido a que la flexi´on de oraciones en espan˜ol es ma´s compleja, se realizo´ un experimento donde se generaron un total de 81 frases en espan˜ol empleando la configuraci´on de Lema + POS tag para el FLM. Las frases generadas se flexionaron, tal y como se menciono´ en el apartado 4, de dos maneras 3Conjuntos de sino´nimos empleados en WordNet distintas: i) dejando la flexi´on del verbo en un tiempo verbal fijo para todas las frases y ii) flexionando cada frase con un tiempo verbal aleatorio entre todos los tiempos verbales simples del espan˜ol.
En este caso se volvi´o a realizar una evaluaci´on de usuario colaborativa con un total de 3 participantes como asesores. Para esta evaluaci´on se emple´o el mismo tipo de cuestionarios que en el experimento de los modelos estad´ısticos, utilizando los mismos criterios de evaluaci´on (coherencia y errores gramaticales) con una escala Likert de 5 niveles. Se evaluaron tanto las frases sin flexionar como las frases con los dos tipos de flexi´on comentados.
Tipo Flexi´on
de Sin flexi´on Fija Aleatoria
Coherencia Errores
Gramaticales
En la Tabla 2 se puede ver un resumen de los resultados obtenidos, los cuales indican una gran mejor´ıa en la calidad y expresividad de las frases flexionadas con respecto a su variante sin flexionar. 5
Siendo la GLN un ´area de inter´es en el Procesameinto del Lenguaje Natural, y dado que estos resultados son prometedores, las siguientes cuestiones a investigar ser´ıan: i) la investigaci´on de m´etodos de evaluaci´on automa´tica para la GLN con el fin de discernir la validez del texto generado, y ii) analizar diversos m´etodos basados en conocimiento que nos permitan mejorar el lenguaje generado.
Esta investigaci´on ha sido financiada por la Generalitat Valenciana mediante el proyecto “DIIM2.0: Desarrollo de t´ecnicas Inteligentes e Interactivas de Miner´ıa y generaci´on de informacio´n sobre la web 2.0” (PROMETEOII/2014/001), y por el Gobierno de Espan˜a (MINECO) a trav´es del proyecto “RESCATA: Representacio´n can´onica y transformaciones de los textos aplicado a las tecnolog´ıas del lenguaje humano” (TIN201565100-R).