The automatic generation of natural language is the area within computational linguistics responsible for providing certain textual shape to some information that has been selected and processed to achieve a communicative goal. On the one hand, the concern is to determine what is to be communicated while on the other, the system will decide how to say it. The current technological scenario demands flexible and adaptable systems. We propose a statistical approach that leverages on the distribution of relevant elements to detect patterns and promote domain and application independence, with particular emphasis on the early stages of the process.
En t´erminos generales, denominamos Tecnolog´ıas del Lenguaje Humano (TLH) a aquel conjunto de t´ecnicas, m´etodos y aplicaciones que, desde una perspectiva computacional, trabajan el lenguaje natural ya para extraer conocimiento o para generarlo. Aunque es cierto que ambas perspectivas, en mayor o menor medida, se expresan simulta´neamente en multitud de ´areas (question answering, dia´logos, traducci´on autom´atica), desde nuestro planteamiento, la Generacio´n de Lenguaje Natural (GLN) constituye una disciplina susceptible de ser caracterizada y analizada per se.
De este modo, la GLN se definir´ıa como la disciplina responsable de presentar adecuadamente una determinada informacio´n que ha sido procesada bajo la premisa de conseguir un objetivo comunicativo espec´ıfico (por ejemplo, informar o resumir). Para alcanzar su prop´osito, un sistema de GLN tiene que acometer dos tipos de acciones: determinar qu´e se ha de comunicar y decidir c´omo construir la salida requerida (Reiter y Dale, 2000). La presente propuesta de investigaci´on se centra en la primera, conocida como macroplanificaci´on, en la que se seleccionan los contenidos y se establece una estructura para los mismos. Esta informacio´n se representa en el plan de documento que ha de servir como gu´ıa en lo que resta del proceso.
Tradicionalmente, el disen˜o de un sistema de GLN se ha llevado a cabo determinado por el ´ambito, el dominio o el g´enero para el que se desarrollaba. Este trabajo se centra en estudiar y producir tecnolog´ıas capaces de realizar las tareas asociadas a la macroplanificaci´on de forma flexible e independiente. Para ello, se investiga la incorporaci´on de aspectos sema´nticos y pragm´aticos al proceso, que permitan que el sistema resultante se pueda adaptar a diferentes escenarios de uso. Se impulsa, por tanto, el uso de t´ecnicas estad´ısticas que ya en otras ´areas del lenguaje han demostrado su efectividad en t´erminos de adaptacio´n, ya sea al g´enero, al dominio o al idioma en que se requiere el texto. 2
En general, un sistema de GLN puede
abordarse desde dos aproximaciones,
empleando t´ecnicas estad´ısticas o basadas en
conocimiento. El planteamiento estad´ıstico
establece una relacio´n entre el texto generado y
cierta probabilidad asociada con los
elementos que lo constituyen
Los sistemas estad´ısticos son ma´s flexibles respecto al dominio, aunque los basados en conocimiento son ma´s permeables a cuestiones sema´nticas y pueden incorporar un conocimiento contextual y lingu¨´ıstico del que carecen los primeros. En este momento, estudiamos la aplicaci´on de un tipo de modelo estad´ıstico que permite introducir informacio´n relativa a la distribuci´on de los elementos en el documento, incorporando cierta informacio´n del contexto de los mismos en el modelo resultante. 3
Partiendo de este panorama general, esta tesis doctoral plantea como objetivo la investigaci´on y desarrollo de un sistema de GLN flexible, centr´andose sobre todo en la tarea de seleccio´n y en la elaboraci´on del plan del documento como estructura contenedora del conocimiento pragm´atico y sema´ntico imprescindible para que el sistema proporcione salidas adaptadas a las circunstancias en que se requiere el discurso. 3.1
La hipo´tesis de partida, por tanto, es que la incorporaci´on de informacio´n sema´ntica y pragm´atica tanto en el disen˜o, como en la investigaci´on y el desarrollo de un sistema de GLN, y en concreto en este trabajo, a la fase de seleccio´n y estructuraci´on del contenido, redunda en la consecuci´on de sistemas ma´s flexibles y adaptables, evitando las dificultades que hasta ahora se manifestaban a trav´es de dependencias respecto al dominio o a la aplicaci´on. Flexibilidad referida a: las bases de conocimiento y fuentes de informacio´n relevante: datos sin tratar o estructurados, bases de datos, la web, etc.
Las t´ecnicas para determinar la estructura y el contenido, planteamientos h´ıbridos que aprovechen las ventajas y superen los inconvenientes de las aproximaciones previas.
La incorporaci´on de informacio´n sem´antica y pragm´atica que redunde en la adaptabilidad del sistema a diferentes escenarios, considerando las intenciones del usuario y el propo´sito del sistema.
Para poder abordar tal tarea, se
requiere un estudio de los fundamentos
lingu¨´ısticos que vertebren esa dimensi´on del
proceso de investigaci´on. De este modo, tambi´en
se realiza el ana´lisis de aquellas teor´ıas que
se centran tanto en el aspecto pragm´atico
del lenguaje como en el funcional, en tanto
condicionantes de la forma y contenido del
discurso. Ser´ıa el caso de la teor´ıa de la
estructura reto´rica
Por otro lado, se mantiene un seguimiento
de las t´ecnicas aplicadas tanto en el ´ambito
de la generaci´on como en otras ´areas del
procesamiento de lenguaje natural, como
puede ser la incorporaci´on de diferentes tipos
de modelos de lenguaje
La metodolog´ıa que estamos siguiendo considera la contextualizaci´on de la investigaci´on (los antecedentes, los enfoques actuales relativos a cada aspecto revisado) as´ı como el disen˜o de experimentos y los m´etodos de evaluaci´on que nos permitan refinar t´ecnicas y precisar las caracter´ısticas del sistema. Algunos objetivos generales: estudio y sistematizaci´on de los diferentes enfoques que actualmente se aplican en GLN y concretamente, en macroplanificacio´n.
Estudio y adaptacio´n de teor´ıas lingu¨´ısticas que vertebren el desarrollo del sistema sobre fundamentos sema´nticos y pragm´aticos estables.
Estudio y adaptacio´n de t´ecnicas h´ıbridas (estad´ısticas/conocimiento) as´ı como de t´ecnicas relevantes en el ´area de inteligencia artificial y aprendizaje automa´tico. 5
Actualmente, estamos realizando una serie de
experimentos centrados en el estudio y
aplicaci´on de un tipo de modelo de lenguaje que,
frente a aquellos modelos que consideran el
texto como una bolsa de palabras, permite
recuperar informacio´n relativa a los
elementos relevantes y su distribuci´on en el texto.
Han sido utilizados previamente en otras
tareas como la bu´squeda y recuperaci´on de
informaci´on
Los MLPs se calculan empleando una funcio´n de propagaci´on, de modo que podemos atribuir un valor P a un elemento w que aparece en una determinada posici´on i, en funcio´n del resto de ocurrencias del mismo elemento en el texto y su distancia respecto a i, tal y como se muestra en la Ecuaci´on 1: P (w | i) =
P|jD=|1 c(w, j) × f (i, j) Pw′∈V P|jD=|1 c(w′, j) × f (i, j) (1) donde c(w,j) indica la presencia del t´ermino w en la posici´on j, |D| se refiere a la longitud del documento, V se refiere a el vocabulario y f(i,j) es la funci´on de propagaci´on.
Una vez calculados los modelos para cada posici´on i, es posible recuperar los elementos ma´s relevantes del texto, los que mayor puntuaci´on hayan obtenido, segu´n diferentes segmentaciones. Por el momento, nuestra referencia es la longitud de las oraciones originales, pero podr´ıamos considerar p´arrafos, conjuntos de oraciones relacionadas con un tema, etc.
Con los elementos seleccionados se construye el plan de documento. Los elementos proceden del vocabulario previamente determinado. Este vocabulario se deriva del contenido original del texto. Puede ser el conjunto de lemas, de synsets que lo constituyen o estructuras ma´s elaboradas como eventos, relaciones, agentes asociados a los roles sema´nticos, etc. En cada l´ınea del plan de documento incluiremos los elementos ma´s importantes asociados a esa ´area del texto.
La Figura 1 representa el procesamiento que conduce a la obtenci´on de un plan de documento a partir de un texto de entrada. En la presente implementacio´n la matriz de importancia (Mi) est´a formada por tantas filas como elementos tiene el vocabulario V y tantas columnas como posiciones el texto |D|. La matriz de puntuaciones contiene los valores P (w | i) para cada una de las palabras del vocabulario, entonces, habiendo considerado una funci´on de distancia para computar su resultado. Los elementos con mayor puntuacio´n componen el plan de documento final. 5.1
En el momento actual se est´a llevando a cabo
una aplicaci´on de tales t´ecnicas en el ´ambito
de los cuentos para nin˜os
En cuanto al vocabulario, los elementos
seleccionados son, por un lado, los lemas junto
a la categor´ıa morfolo´gica y, por otro, los
synsets de WordNet
Respecto a la funci´on de propagaci´on, se
ha optado por el kernel Gaussiano siguiendo
trabajos previos
1http://hca.gilead.org.il/ 2https://freestoriesforkids.com/ Figura 1: Secuencia de etapas de procesamiento por la que, a partir de una entrada en forma de texto, se elabora un plan de documento tomando como base modelos de lenguaje posicionales.
Dada la segmentacio´n que hemos elegido, por cada l´ınea del documento original dispondremos de una l´ınea en el plan de documento.
Tanto si estamos en la configuracio´n con lemas como en la de synsets, se proporcionara´n varios elementos de las diferentes categor´ıas morfolo´gicas que requiera el mo´dulo de realizaci´on en cada caso (verbos, nombres, adjetivos, etc). 5.2
En cuanto a la evaluaci´on, existe una investigaci´on permanente relativa a los m´etodos adecuados en el campo de la GLN, pues no se dispone de un corpus de referencia con el que cotejar la salida. En ese sentido, los experimentos y etapas cubiertas en el transcurso de la investigaci´on son evaluados tanto mediante estrategias extr´ınsecas como intr´ınsecas.
Por un lado, se considera su impacto
sobre el sistema de GLN, pasa´ndoselo al
mo´dulo de realizaci´on como entrada. en este
caso, se realiza una evaluaci´on manual de los
resultados, considerando la fluidez y
legibilidad de la salida. Por otro lado, se miden
diferentes indicadores como la variedad en el
vocabulario del texto resultante. Tambi´en se
emplean m´etricas que, aunque se suelen
emplear en otras tareas ajenas a la GLN, pueden
dar cierta luz sobre el tipo de resultados que
obtenemos, como ROUGE
Hemos introducido en la Seccio´n 5 un tipo de modelo de lenguaje as´ı como los primeros experimentos realizados emple´andolo para obtener planes de documento, esto es, estructuras de contenido que permitan a un mo´dulo de realizaci´on construir un texto nuevo. Son muchas las posibilidades que presenta tal planteamiento y, con el ana´lisis de los resultados y la incorporaci´on de nuevas herramientas de ana´lisis, estamos ampliando su capacidad y refinando su comportamiento.
Por ejemplo, las funciones de propagaci´on asociadas al modelo incluyen un para´metro σ que, en este caso, determina el alcance sem´antico de un t´ermino en una posici´on. Siguiendo los trabajos mencionados, ese valor se fij´o en un primer momento a 25, pero estamos analizando otros valores, as´ı como la posibilidad de que se haga depender al mismo del contexto (longitud de la oraci´on que lo contiene, relevancia del t´ermino considerado, etc). Tambi´en se prueban otros tipos de funciones de propagaci´on, como el kernel circular o el triangular. La elaboraci´on de las caracter´ısticas del modelo se puede extender no solo a la funci´on de propagaci´on, sino tambi´en al tipo de segmentacio´n (oraciones, sintagmas, secciones por tem´aticas, ...), al tipo de elementos que componen el vocabulario (verbos, sustantivos, entidades, eventos, ...), al nu´mero y disposici´on de los t´erminos incluidos en el plan de documento, etc. Otra de las l´ıneas en las que se trabaja es la normalizacio´n o transformaci´on de los resultados obtenidos para cada documento del corpus de manera que podamos aplicar t´ecnicas de aprendizaje para detectar los esquemas y patrones asociados a los cuentos. Esto nos permitir´ıa obtener una descripci´on mas generalizable de los mismos.
Considerando, por tanto, el marco presentado, surgen algunas cuestiones cuya puesta en comu´n resultar´ıa enriquecedora: ¿qu´e tipo de caracter´ısticas podemos incorporar para conseguir mejoras desde el punto de vista pragm´atico, qu´e tipo de elementos deber´ıa contener el vocabulario, que herramientas nos permitir´ıan extraerlos? Bajo el mismo prisma, ¿qu´e t´ecnicas de aprendizaje son apropiadas para una investigaci´on que pretende nutrirse de textos de muy diversa ´ındole y estructura, c´omo podr´ıan presentarse las caracter´ısticas para tales m´etodos? ¿Qu´e t´ecnicas de evaluaci´on ser´ıan convenientes para probar su comportamiento y validez? ¿Qu´e recursos se est´an empleando en otros idiomas en estudios similares? Esperamos que las ideas que tales preguntas susciten reviertan en una mejora cualitativa tanto de la investigaci´on como de los resultados futuros.
Esta investigaci´on ha sido financiada por la Generalitat Valenciana mediante el contrato ACIF/2016/501 y el proyecto “DIIM2.0: Desarrollo de t´ecnicas Inteligentes e Interactivas de Miner´ıa y generaci´on de informaci´on sobre la web 2.0” (PROMETEOII/2014/001), y por el Gobierno de Espan˜a (MINECO) a trav´es del proyecto “RESCATA: Representacio´n can´onica y transformaciones de los textos aplicado a las tecnolog´ıas del lenguaje humano” (TIN201565100-R).
Reiter, E. y R. Dale. 2000. Building Natural Language Generation Systems. Cambridge University Press.