Desarrollo de la capacidad de resumen y procesamiento de los resúmenes de textos escolares Development of the capacity of summarization and scholars’ texts summaries processing Unai Atutxa Euskal Herriko Unibertsitatea (UPV/EHU) Ixa Taldea atutxaunai@gmail.com Resumen: El resumen tiene como base la comprensión, de ahí la importancia que tiene en la educación. El alumno o alumna en la escuela tiene que ser capaz de entender lo que lee, oye o ve; para después expresar lo entendido a su modo resumiendo y jerarquizando el contenido. Nuestro objetivo en la tesis es la de estudiar la capacidad de resumir de los alumnos y alumnas e incidir en ella. Para conseguirlo emplearemos técnicas de Procesamiento del Lenguaje Natural desde el punto de vista textual y discursivo. El acercamiento teórico es la Rhetorical Structure Theory (RST), válido también para generar y evaluar resúmenes automáticamente. Las etapas en las que investigaremos la capacidad de resumir de los alumnos y alumnas serán desde la Educación Primaria hasta la universidad, de este modo, queremos identificar las necesidades que tienen en etapas diferentes cuando tratan de elaborar un resumen; y así poder ofrecer recursos didácticos y una metodología o recursos para responder a dichas necesidades. Palabras clave: Resumen automático, evaluación, educación, análisis discursivo Abstract: Summarization is closely related to comprehension, this makes summarization very important in education. Students have to be capable of understanding what they are reading, seeing or listening; to understand, link and underline the most important ideas into words. Our main aim in this PhD is to analyse the summarizing skills of the student and provide them resources to develop these skills. To do so, we are going to use Natural Language Processing Techniques and Rhetorical Structure Theory (RST), which is useful to create and evaluate summaries automatically. The target of this study goes from Primary Education to university, in this way, we want to identify the needs that they have on these stages when they summarize a text; and in this way, we will have the opportunity to offer educational resources and a sound methodology to answer those needs we detect. Keywords: automatic summarization, evaluation, education, discourse analysis mediante sus palabras (o imágenes) deberá dar 1 Justificacion de la investigación a conocer lo más importante de todo lo que ha propuesta entendido. Resumir un texto es un proceso en el que se han de extraer las ideas más relevantes, En el entorno educativo, la tarea de resumir mantener la coherencia entre dichas ideas en un textos es de gran importancia ya que refleja la espacio más reducido al del texto original. Sin capacidad de síntesis y de comprensión de la embargo, la información que los alumnos información de quien realiza el resumen. Hoy toman por relevante no siempre concuerda con en día, el alumno o la alumna puede tener entre la información más importante del texto. manos una gran cantidad de información, sin Nuestra intención en la tesis es estudiar la embargo, eso no garantiza que entienda y que competencia de resumir y proponer métodos interiorice toda esa información. Antes de nada, para su evaluación. Para ello, tiene especial el alumno o la alumna tiene que ser capaz de importancia trabajar a nivel textual y del entender lo que lee, oye o lo que ve; y después, discurso; ya que interviniendo a nivel Lloret, E.; Saquete, E.; Martı́nez-Barco, P.; Sepúlveda-Torres, R. (eds.) Proceedings of the Doctoral Symposium of the XXXV International Conference of the Spanish Society for Natural Language Processing (SEPLN 2019), p. 1–6 Bilbao, Spain, September 25th 2019. Copyright c 2019 his paper by its authors. Use permitted under Creative Commons License Attribution 4.0 International (CC BY 4.0). discursivo seremos capaces de entender cómo 2 Origen y trabajo relacionado entienden y jerarquizan la información los alumnos y alumnas. Algunos investigadores han analizado la Suele ser habitual no trabajar el resumen en aportación que le supone la estructura la escuela por falta de tiempo para su corrección discursiva al resumen automático, por ejemplo, o por falta de herramientas que ayuden en tareas Wang et al. (2015) y Cohan y Goharian (2017) de evaluación. Si nos detenemos a observar el utilizaron la estructura discursiva para resumir material escolar, por ejemplo, en nuestro textos. Por otra parte, Bosma (2008), entorno, en el País Vasco, nos damos cuenta Chencheng (2010), y Cardoso et al. (2015, que en euskera, el resumen de abstracción se 2011) trabajaron el resumen basándose en RST. trabaja poco en general. En consecuencia, Además, es reseñable que también se hayan competencias tan fundamentales como los empleado para el resumen de textos técnicas de relacionados con la gramática, la progresión las redes neuronales (Sarda y Kulkarni 2015). temática, la conexión, la cohesión y la En palabras de Molina (2013), la generación coherencia no se adquieren adecuadamente. automática de resúmenes es una tarea En el Decreto educativo 236/2015 de la desafiante. Al clasificar tipos de resúmenes, Comunidad Autónoma del País Vasco, al diferencia dos tipos de resúmenes según la desglosar las competencias transversales y metodología empleada: la extracción y la disciplinares, podemos darnos cuenta que el abstracción. El resumen por extracción ha sido resumen debe tener un papel fundamental a la el más desarrollado dada la dificultad de hora de desarrollar tanto las competencias resumir por abstracción, ya que a la tarea de transversales como las disciplinares. tener que identificar las ideas principales se le Para poder avanzar en el desarrollo de la suma la de hacerlo mediante frases escritas de competencia del resumen en la escuela, diferente manera. Según Molina, la compresión consideramos que es necesario desarrollar de frases establece un puente entre ambas herramientas que usen tecnologías del familias. Presenta una investigación sobre la procesamiento del lenguaje natural (PLN). compresión de frases y propone un modelo Pensamos que si se desarrolla un resumidor lineal que es aplicable al resumen. automático para el euskera (usando técnicas Además, apreciamos que hay diversos superficiales) y la evaluación automática de los trabajos en el ámbito del resumen automático. resúmenes, nos brindará un contexto adecuado Vivaldi et al. (2010) presentan un un nuevo para poder estudiar las necesidades que tienen algoritmo para el resumen automático de textos profesorado como alumnado (de primaria, especializados que combinan recursos secundaria y universidad). Para ello, en esta terminológicos y semánticos: un extractor de tesis utilizaremos técnicas del Procesamiento términos y una ontología. El extractor de del Lenguaje y partiremos desde la Teoría de la términos proporciona la lista de los términos Estructura Retórica o Rhetorical Structure que están presentes en el texto junto con su Theory (RST) (Mann y Thompson, 1987). La término correspondiente. La ontología se utiliza RST es una teoría que nos permite describir la para calcular la similitud semántica entre los coherencia entre fragmentos textuales términos encontrados en el cuerpo del texto y combinando la idea de nuclearidad, o los que se encuentran en el título del importancia de un fragmento del discurso, con documento. Las frases con la puntuación más la identificación de las relaciones retóricas que alta se eligen para formar parte del resumen unen los fragmentos del texto. final. Con esta teoría se han descrito las relaciones A su vez, Barberi et al. (2015) describen la retóricas de diversas lenguas, entre ellas el demostración de una serie de aplicaciones de euskera (Iruskieta et al,. 2013). Además, se ha resumen automático y extracción de empleado en diferentes tareas en el informaciones integradas en una tableta. En este Procesamiento del Lenguaje (Taboada y Mann, trabajo presentan funcionalidades para resumir 2006) y también en la generación de las noticias publicadas en la Web, extraer analizadores que describen automáticamente la información sobre eventos y resumir textos que estructura discursiva; el analizador CODRA desee el usuario tanto en español como en (Joty et al., 2015) es ejemplo de ello. inglés. Pero, no solo se trata de la generación de resúmenes automáticos, también es importante 2 su evaluación. Zipitria (2008) analiza la toma alumna textos o actividades que estén un poco de decisiones en la evaluación de resúmenes en más allá de su nivel actual de competencia un marco computacional. Llevó a cabo un lingüística, tal y como propone Krashen (1985) estudio empírico para analizar las decisiones en su teoría de la adquisición del segundo que subyacen en el comportamiento humano a idioma. la hora de clasificar resúmenes. En cuanto a la evaluación de los resúmenes, 3.2 Construir un corpus adecuado otro trabajo de Zipitria et al. (2013), aborda el La metodología que vamos a proponer estará tema de la obtención automática de basada en datos, y se utilizarán técnicas de puntuaciones de discurso general a partir de PLN; por lo tanto, tendremos que elaborar un medidas de discurso de superficie para el corpus adecuado para ello. Utilizaremos textos euskera. que usan los alumnos y las alumnas en la Por otro lado, Saggion eta al (2010) estudian escuela. A partir de esos textos, reuniremos la correlación de las clasificaciones de los modelos elaborados por personas expertas y sistemas de resumen de texto utilizando resúmenes generados por los alumnos. Es de métodos de evaluación con y sin modelos humanos. mencionar que a día de hoy tenemos un acuerdo con la Confederación de escuelas Euskal Como hemos dicho previamente, nos Herriko Ikastolen Elkartea ( basaremos en la estructura discursiva para https://www.ikastola.eus/) . Gracias a ello poder llevar a cabo esta tesis. Para ello, nuestra podemos trabajar con textos que se emplean en base será RST. Además de utilizarlo para segmentar los textos y determinar la estructura las escuelas y obtener resúmenes reales en contexto escolar elaborados a partir de esos jerárquica, será uno de los ejes que textos. emplearemos para evaluar los resúmenes. I) Textos que se deberán resumir: como nuestro objetivo es recolectar resúmenes 3 Descripción de la investigación elaborados por los alumnos y las alumnas, Nuestro objetivo es desarrollar la competencia utilizaremos textos que se empleen en el de resumir de los alumnos, para poder incidir en proceso de aprendizaje. Utilizaremos textos de ella, y a la vez, proponer recursos didácticos y Educación Primaria, Secundaria y de la metodología basados en el Procesamiento del universidad. Trabajaremos con distintos Lenguaje; y cuya finalidad sea posibilitar el géneros de textos, ya que cualquier texto desarrollo de dicha competencia en las producido de un estudiante y su evaluación diferentes etapas del proceso de aprendizaje. Es están condicionados por el género textual. II) por ello que en esta tesis intentaremos Gold Standard: una vez tomada la decisión de responder a las necesidades teóricas y cuáles serán los textos a resumir, crearemos su metodológicas que pueda haber en las Gold Standard. Serán resúmenes realizados por diferentes etapas. Para ello, hemos establecido expertos: de extracción y abstracción. Los Gold unos objetivos más concretos, debemos tener en Standard tendrán dos funciones principales. Por cuenta que dichos objetivos no son secuenciales una parte los utilizaremos para compararlos con y se alimentarán unos a otros: los resúmenes de los alumnos; por otra parte, los emplearemos para que la herramienta tenga 3.1 Proponer una metodología y con que comparar los resúmenes realizados por recursos didacticos para el resumen los alumnos y así poder ofrecer una generación y evaluación automática. La metodología deberá de tener como eje una II) Gold Standard: una vez tomada la perspectiva transdisciplinar o global y, a la vez, decisión de cuáles serán los textos a resumir, deberá permitir un aprendizaje cooperativo. crearemos su Gold Standard. Serán resúmenes Trabajaremos sobre todo con textos en realizados por expertos: de extracción y euskera, y una vez hayamos desarrollado la abstracción. Los Gold Standard tendrán dos metodología, investigaremos la capacidad de funciones principales. Por una parte los los alumnos en otras lenguas y si los resultados utilizaremos para compararlos con los son comparables. resúmenes de los alumnos; por otra parte, los A la hora de proponer recursos didácticos emplearemos para que la herramienta tenga con (unidades didácticas o actividades), será de que comparar los resúmenes realizados por los suma importancia poder ofrecer al alumno o 3 alumnos y así poder ofrecer una generación y 3.5 Diseñar el feedback para los evaluación automática. alumnos, alumnas, profesores y III) Resúmenes de los alumnos y alumnas: profesoras para finalizar, reuniremos los resúmenes de los alumnos y alumnas. Hasta la fecha hemos Después de haber evaluado los resúmenes con obtenido 1121 resúmenes (685 de alumnos distintas técnicas, nuestro objetivo será universitarios y 436 de alumnos de primaria) de proporcionar un feedback automático del los cuales 1067 se reunieron digitalmente resumen realizado por el alumnado; y a la vez, mediante COMPRESS-EUS (Atutxa et al., proporcionarle al profesorado un feedback 2017). añadido para que tengan la opción de interpretar lo mejor posible el resumen realizado por el 3.3 Crear criterios de evaluación para alumnado, de forma individual o colectiva. evaluar los resúmenes 3.6 Desarrollar una herramienta para Para evaluar los resúmenes propondremos reunir resúmenes criterios de evaluación. Dichos criterios, por una parte, serán significativos para la Crear una interfaz que nos dé la opción de evaluación que llevará a cabo el profesor o reunir resúmenes (extracción y abstracción) profesora; y por otra parte, serán diseñados para elaborados por los alumnos y alumnas. Para eso poder aplicar con ellos técnicas de elaboramos y mejoramos la herramienta Procesamiento del Lenguaje. Utilizaremos COMPRESS-EUS. Esta herramienta, nos técnicas superficiales desde las bolsas de facilitará evaluar los resúmenes teniendo en palabras hasta las discursivas. cuenta su estructura discursiva, dándonos la mayor información posible de manera 3.4 La evaluación de los alumnos y automática. Además, nos da la opción de saber alumnas la opinión del usuario. I) Evaluación automática: A parte de las 3.7 Difusión del trabajo realizado técnicas estándar ROUGE y BLEU que se emplean para la evaluación de los resúmenes, Para finalizar, dejaremos los resultados más propondremos y utilizaremos otras técnicas significativos en manos de la comunidad basadas en el discurso para evaluar el corpus educativa y documentamos todo el trabajo recogido. En este momento evaluamos los realizado de manera sistemática, para que sea resúmenes mediante ROUGE y BLEU y beneficioso para otros investigadores o usuarios nuestro siguiente paso será evaluar la fiabilidad de ámbito internacional. de dichas evaluaciones y examinar qué podemos implementar para mejorarlas. 4 Cuestiones especififas de II) Evaluación humana: evaluaremos los investigación resúmenes de los alumnos y alumnas con los Las principales cuestiones de investigación a las criterios de evaluación establecidos que pretendemos responder con esta tesis son previamente. las siguientes: III) Comparación entre la evaluación ● Nuestra investigación tendrá como base automática y la humana: evaluaremos la el nivel discursivo. ¿Qué otros aspectos fiabilidad de la evaluación automática y nos o niveles del lenguaje se deben dará pie a saber en qué aspectos debemos armonizar junto al discurso para alimentarla. La herramienta COMPRESS-EUS conseguir un resumen o una evaluación estará amoldada a los criterios de evaluación que hayamos establecido previamente. automática que sea lo más completa COMPRESS-EUS está disponible para quien posible? ¿Cómo se puede llevar a cabo quiera utilizarlo en la siguiente página web: esa armonización de niveles diferentes http://ixa2.si.ehu.es/compress-eus/. del lenguaje? ● ¿Cómo podemos comparar dos abstracciones descritas mediante RST? ¿Qué técnicas o métodos se pueden emplear para poder equiparar el 4 contenido de una posposición, que Bibliografía después nos permita comparar textos Atutxa, U; Iruskieta, Mikel; Ansa, O; Molina, descritos mediante RST? A. 2017. COMPRESS-EUS: I(ra)kasleen ● La evaluación en el resumen de texto laburpenak lortzeko tresna. EUDIA: puede ser extrínseca o intrínseca. En Euskararen bariazioa eta bariazioaren una evaluación extrínseca, los irakaskuntza-III. 87-98. resúmenes se evalúan en el contexto de Barbieri, F., Ronzano, F., & Saggion, H. (2015). una tarea específica que debe realizar Summarization and Information Extraction un ser humano o una máquina. En una in your Tablet. Procesamiento del Lenguaje evaluación intrínseca, los resúmenes se Natural, (55) evalúan en referencia a algún modelo ideal, en nuestro caso el Gold Standard. Bosma, Wauter E. (2008). Discourse oriented ¿Qué información obtendremos de cada summarization. Enschede: University of una de las evaluaciones? ¿Es posible Twente Thesis Typ que cada tipo de evaluación ayude a Cardoso, P. C., Jorge, M. L. D. R. C., & Pardo, obtener cierta información y que eso T. A. S. (2015). Exploring the Rhetorical nos posibilite ofrecer un feedback más Structure Theory for multi-document completo? summarization. In Congreso de la Sociedad ● El resumen requiere de compresión y Española para el Procesamiento del jerarquización, y factores como la Lenguaje Natural, XXXI. Sociedad Española para el Procesamiento del Lenguaje Natural- utilización de imágenes afectan de SEPLN. manera directa a los dos componentes. ¿Qué factores debemos tener en cuenta Cardoso, P. C., Maziero, E. G., Jorge, M. L., a la hora de potenciar la comprensión y Seno, E. M., Di Felippo, A., Rino, L. H., la jerarquización? ¿Cómo debemos ... & Pardo, T. A.(2011,October).CSTnews- adaptar los factores a cada etapa de a discourse-annotated corpus for single and aprendizaje? ¿Qué efecto causan en multi-document summarization of news texts in Brazilian Portuguese. In cada una de ellas? Proceedings of the 3rd RST Brazilian ● A la hora de proporcionales el feedback Meeting (pp. 88-105). a los alumnos, debemos ofrecer actividades o unidades didácticas que Chengcheng, Li. (2010). Automatic text estén un poco más allá del nivel actual summarization based on Rhetorical Structure de su competencia lingüística. ¿Cómo Theory. Proceedings of International Conference on Computer Application and podemos saber el nivel actual de cada System Modeling (ICCASM 2010). (pp. alumno utilizando técnicas de PLN? V13-595-598). ¿Cómo podremos ofrecer a cada Taiyuan, China alumno o alumna automáticamente recursos didácticos que estén un poco Cohan, A., & Goharian, N. (2017). Scientific más allá del nivel actual de su article summarization using citation-context competencia lingüística? and article's discourse structure. arXiv preprint arXiv:1704.06619. ● Qué influencia puede llegar a tener un generador de resúmenes automáticos en Iruskieta, M., Aranzabe, M. J., de Ilarraza, un aula? ¿Cómo le puede beneficiar al A. alumno o al profesor la obtención D., Gonzalez, I., Lersundi, M., & de automática de un resumen? ¿Qué Lacalle, O. L. (2013). The RST Basque características tendrá que tener un TreeBank: an online search interface to check rhetorical relations. In 4th workshop generador de resúmenes automático, RST and discourse studies (pp. 40-49). para que contribuya lo máximo posible al desarrollo de la capacidad de Mann, W. C. Thompson, S. A. 1987. Rhetorical resumir? structure theory: A theory of text 5 organization (pp. 87-190). University of Southern California, Information Sciences Institute. Molina, A. (2013). Compresión automática de frases: un estudio hacia la generación de resúmenes en español. Inteligencia Artificial, 16(51), 41-62. Saggion, H., Torres-Moreno, J. M., Cunha, I. D., & SanJuan, E. (2010, August). Multilingual summarization evaluation without human models. In Proceedings of the 23rd International Conference on Computational Linguistics: Posters (pp. 1059-1067). Association for Computational Linguistics. Sarda, A., & Kulkarni, A. (2015). Text summarization using neural network and rhetorical structure theory. International Journal of Advanced Research in Computer and Communication Engineering, 4(6), 49-52. Shafiq Joty, Giuseppe Carenini, and Raymond Ng. 2015. CODRA: A Novel Discriminative Framework for Rhetorical Analysis. Computational Linguistics, Volume 41:3, MIT Press. Wang, X., Yoshida, Y., Hirao, T., Sudoh, K., & Nagata, M. (2015). Summarization based on task oriented discourse parsing. IEEE Transactions on Audio, Speech, and Language Processing, 23(8), 1358-1367. Zipitria, I. Arruarte, A. Elorriaga, J. 2013. Discourse measures for Basque summary grading. Interactive Learning Environments, 21(6), 528-547. Zipitria, I., Larrañaga, P., Armañanzas, R., Arruarte, A., & Elorriaga, J. A. (2008). What is behind a summary-evaluation decision?. Behavior Research Methods, 40(2), 597-612 6