Diseño y Evaluación de una Aplicación Móvil para el Entrenamiento de la Pronunciación de Lengua Extranjera Basada en Técnicas de Pares Mı́nimos Design and Evaluation of a Mobile Application for Second Language Pronunciation Training based on Minimal Pairs Cristian Tejedor-Garcı́a ECA-SIMM Departamento de Informática Universidad de Valladolid cristian@infor.uva.es Resumen: Una correcta pronunciación es clave para lograr un nivel de comunicación adecuado en cualquier lengua extranjera. A pesar de ello, los sistemas de aprendizaje tradicionales suelen enfatizar el desarrollo de las competencias lingüı́sticas grama- ticales o léxicas. La calidad de la tecnologı́a del habla (sı́ntesis y reconocimiento de voz) ha mejorado notablemente en los últimos años, surgiendo cada vez más aplicaciones de enseñanza de lengua extranjera que la incorporan. Los juegos serios constituyen un recurso con gran potencial educativo y las versiones sociales animan a una participación competitiva y colaborativa de individuos y grupos. Este proyecto de tesis se centra en el análisis, desarrollo y evaluación de un sistema para la mejora de la pronunciación de lengua extranjera. Se propone un juego serio implementado sobre plataformas móviles y una metodologı́a de aprendizaje que utiliza las tecno- logı́as del habla y motiva al usuario a seguir practicando a lo largo del tiempo, de manera controlada. Palabras clave: Entrenamiento de la pronunciación asistida por ordenador, pares mı́nimos, aprendizaje de segunda lengua, aprendizaje de idiomas, entrenamiento de la pronunciación, gamificación, juegos serios Abstract: Correct pronunciation is crucial to grasp an adequate communication ability in a foreign language. Nevertheless, traditional foreign language learning sys- tems usually focus on the development of linguistic competencies related to grammar or lexicon. The quality of spoken language technologies (speech synthesis and recog- nition) has noticeably improved and, as a consequence, an increasing number of second language learning tools have included it. Serious games show great potential as educational resources. Their social versions encourage competitive and colabora- tive learning scenarios for individuals and groups. The proposal of this thesis project focuses on developing a system for improving foreign language pronunciation. A se- rious game to be run on a mobile platform is proposed, and a learning method which makes use of speech technology and is designed to guide and motivate users to a continuous practice over time, in a controlled way. Keywords: Computer-assisted pronunciation training, minimal pairs, second lear- ning adquisition, language learning, pronunciation training, gamification, serious games 1 Justificación de la de aplicaciones para dispositivos móviles in- investigación propuesta teligentes (Kukulska-Hulme, 2012; Escudero- Mancebo y Carranza, 2015). El debate sobre la contribución de las TIC al aprendizaje de lengua extranjera (L2) fren- En comparación con la atención prestada te a los métodos tradicionales (Thomson y al aprendizaje asistido por ordenador de los Derwing, 2014) ha aumentado a lo largo de aspectos léxicos (Yoon, 2008) y gramaticales la última década. Esto ha motivado la apari- (Levy, 2009), hay pocos estudios que abor- ción de nuevas propuestas basadas en el uso den el estudio experimental de la contribu- Lloret, E.; Saquete, E.; Martı́nez-Barco, P.; Moreno, I. (eds.) Proceedings of the Doctoral Symposium of the XXXIV International Conference of the Spanish Society for Natural Language Processing (SEPLN 2018), p. 7–11 Sevilla, Spain, September 19th 2018. Copyright c 2018 by the paper’s authors. Copying permitted for private and academic purposes. ción del uso de las tecnologı́as del habla al dizaje (Chen, Law, y Chen, 2018) y fomenta entrenamiento y mejora de la pronunciación la cooperación como elemento articulador del (CAPT, en inglés), si bien se reconoce que el trabajo en clase (Brown y Lee, 2015). uso de reconocedores y sintetizadores de voz puede ayudar a la enseñanza y mejora de la 2 Antecedentes y trabajo pronunciación en L2 (Hincks, 2005; Neri et relacionado al., 2008; Luo, 2016). En la revisión del estado de la cuestión acerca El éxito de las tecnologı́as del habla en de la enseñanza de pronunciación de lengua el aprendizaje de L2 está directamente rela- extranjera de Derwing y Munro (2005), solo cionado con la elección de la metodologı́a de aparecen 26 experimentos empı́ricos reprodu- entrenamiento correcta, que deberá atender cibles hasta 2005, y hasta 2014 solo el 39 % adecuadamente los aspectos de realimenta- de los 49 experimentos revisados utilizaban ción automática instantánea y de un adecua- tecnologı́as CAPT. do diseño de las actividades, para optimizar Los sistemas CAPT iniciales se limitaban el tiempo de uso de las herramientas CAPT a ejercicios de escucha, repetición y elección (Neri, Cucchiarini, y Strik, 2008). En este tra- de sonidos mediante un ordenador (Wang, bajo optamos por la metodologı́a basada en 2002). Progresivamente, se van incorporan- el uso de pares mı́nimos. do sistemas de reconocimiento automático de Un par mı́nimo (Celce-Murcia, Brinton, voz (ASR) y de sı́ntesis de habla (TTS) como y Goodwin, 1996) se compone de dos pala- consecuencia de las potenciales ventajas que bras (normalmente monosilábicas), que difie- puede aportar el uso de esta tecnologı́a: eva- ren en un único sonido (e.g. ((cat))-((cut)) o luación dinámica, realimentación individua- ((bin))-((pin)) en inglés). Aunque originalmen- lizada automática e inmediata, práctica más te se emplearon en tareas de extracción de intensiva, contexto libre de ansiedad y opor- catálogos fonémicos de lenguas relativamente tunidades para la corrección de errores (Neri desconocidas, es una técnica que se aplica en et al., 2002; Neri, Cucchiarini, y Strik, 2008). la enseñanza de la pronunciación de segundas Para evaluar la posible mejora de la pro- lenguas (Baker, 2006). Los pares mı́nimos fa- nunciación utilizando CAPT se pueden seguir cilitan la realización de actividades de expo- dos métodos: asignar valores subjetivos de sición a los sonidos de los fonemas, para faci- evaluadores humanos (Mak et al., 2003; Neri litar la familiarización con los mismos, tareas et al., 2008), o puntuar de manera objetiva de percepción entre reproducciones sonoras cada pronunciación partiendo de parámetros de pares y, finalmente, actividades de pro- estadı́sticos (como el ((Goodness of Pronun- ducción de locuciones asociadas a cada uno ciation)) (Neri, Cucchiarini, y Strik, 2008) o de ellos (Cámara-Arenas, 2013). La discrimi- puntuaciones de confianza de reconocedor de nación entre palabras de pares mı́nimos cons- voz (Hincks, 2005)). En ambos casos se suele tituye un desafı́o para los estudiantes de len- realizar un pre-test y dos post-test, uno tras guas extranjeras y para las tecnologı́as de re- el entrenamiento y otro retardado. Además, conocimiento automático de habla actuales. se recurre a estudios de correlación entre los La ((gamificación)) es el uso de estrate- resultados de evaluación subjetiva y objetiva. gias (pensamientos y mecánicas) de juego en Existen experimentos CAPT con reali- entornos ajenos al juego (Deterding et al., mentación muy simple (y en muchos casos 2011). Los videojuegos se están incorporando insuficiente) como por ejemplo, reducir el re- a los recursos de aprendizaje en los últimos sultado a correcto, incorrecto o puntuaciones años (Wiggins, 2018), por las posibilidades de la pronunciación (Neri et al., 2008; Ja- de cooperación, competición y trabajo indi- yakumar et al., 2016). Por otra parte, exis- vidual que aportan y por el potencial incre- ten sistemas más sofisticados, tanto gratuitos mento de la motivación y participación de los (Google ASR) como privativos (Nuance), que alumnos fuera del aula (Shaffer et al., 2005). se pueden personalizar para presentar una re- Si bien la inclusión de los elementos com- alimentación adaptada a cada usuario, inclu- petitivos en cualquier sistema pedagógico de- yendo el texto del habla reconocido, conse- be realizarse con precaución, son varios los es- jos visuales o textuales sobre cómo conseguir tudios que indican que la competitividad en pronunciar correctamente o realizar ejercicios el contexto del aprendizaje basado en juegos que lo faciliten (Tomokiyo, Wang, y Eskena- facilita la consecución de objetivos de apren- zi, 2000; Neri, Cucchiarini, y Strik, 2008). 8 En el ámbito de la ((gamificación)), apenas 4 Metodologı́a y experimentos se encuentran aún experimentos en el aula de propuestos sobre la importancia de la interacción social Tras la revisión pormenorizada del estado de en el aprendizaje de segundas lenguas, aun- la cuestión, se ha concluido que la selección que aparecen ya estrategias y consejos para de la metodologı́a de entrenamiento de la llevarlos a cabo (Flores, 2015), entre las que pronunciación es un elemento clave. En es- se considera la competitividad. La tradición te sentido, la decisión de comenzar por una establece que a través del juego el educador estrategia basada en el uso de pares mı́nimos puede incorporar distensión y variedad a las está demostrando ser fructı́fera. No obstan- actividades formativas, lo que promueve que te, desde los primeros pasos ha resultado evi- algunos autores concedan un mayor protago- dente que la elección de los pares que el par- nismo a las técnicas lúdico-pedagógicas (Had- ticipante debe reconocer y pronunciar es un field, 2000) y a la presencia de elementos com- aspecto clave y que dicha selección de pares petitivos que no comprometan la diversión debe estar adaptada, necesariamente, a las como factor principal (Greenall, 1984). caracterı́sticas de su L1. Habida cuenta de 3 Descripción de la investigación que se están desarrollando aplicaciones y ex- perimentos para diversos pares L1-L2, se ha propuesta hecho necesario también el diseño de un al- El objetivo central de la tesis es analizar, goritmo para la preparación de candidatos de comparar y proponer un sistema de guı́a y pares mı́nimos en el idioma L2 objetivo, que evaluación automática de la pronunciación luego puedan ser revisados por un experto orientada a estudiantes de lengua extranje- (Tejedor-Garcı́a y Escudero-Mancebo, 2018). ra, utilizando sı́ntesis y reconocimiento au- Como experimento inicial, se ha diseñado tomático del habla para la consecución y me- una versión de aplicación para uso indivi- jora de los ejercicios de pronunciación, facili- dual, de cara a valorar la utilidad de la tecno- tando ası́ el aprendizaje autónomo del estu- logı́a del habla (ASR y TTS) para clasificar diante en un entorno privado, sin situaciones a los usuarios según su nivel de competencia de ansiedad, a su propio ritmo y con la posi- en pronunciación (Escudero-Mancebo et al., bilidad de recibir realimentación instantánea 2015). en cualquier momento y lugar. Este objetivo En una segunda etapa, se han incorpora- general conlleva la consecución de los siguien- do elementos de ((gamificación)) a la aplica- tes objetivos particulares: ción móvil para poder valorar tanto aspectos O1: Estudio y selección de actividades y de facilidad de uso como, sobre todo, el nivel metodologı́as para la mejora de pronun- de mejora de la pronunciación alcanzable por ciación de lengua extranjera. medio de esta aproximación y usando pares mı́nimos como metodologı́a de aprendizaje O2: Estudio y selección de los criterios y (Tejedor-Garcı́a et al., 2015; Tejedor-Garcı́a parámetros de caracterización del habla et al., 2016; Tejedor-Garcı́a et al., 2016). Los más adecuados para la clasificación de resultados mostraron claramente que el uso nivel de pronunciación de las personas. de esta aplicación favorece una mejora de la O3: Análisis, desarrollo y evaluación de pronunciación en un entorno de juego que re- un método de obtención de un conjunto sulta fácil de usar y atractivo. de pares mı́nimos especı́ficos de proble- En una tercera etapa, se están incorpo- mas de pronunciación extranjera según rando aspectos competitivos en el juego, pa- la L1, supervisado por experto. ra estudiar su influencia sobre la motivación del usuario y la mejora de la pronunciación. O4: Análisis y diseño de algoritmos es- En esta versión, la aplicación se plantea co- pecı́ficos de reconocimiento de voz para mo un juego de carácter competitivo en el que la identificación de errores de pronuncia- los usuarios pueden obtener logros y puntua- ción asociados a parámetros clave de ca- ciones y lanzar retos de competición a otros racterización de nivel. usuarios como parte de la dinámica de uso O5: Análisis, desarrollo y evaluación de de la aplicación de mejora de la pronuncia- un sistema que proporcione realimenta- ción. Un análisis preliminar de estos resulta- ción individualizada al usuario para su dos están pendientes de revisión. mejora de la pronunciación extranjera. En paralelo con las dos etapas anteriores, 9 se han desarrollado también variantes de la Bibliografı́a aplicación orientadas a un uso pautado de la Baker, A. 2006. Ship Or Sheep? Stu- misma, definido por expertos en enseñanza dent’s Book: An Intermediate Pronuncia- de la lengua extranjera L2 en cada caso. El tion Course, volumen 1. Ernst Klett Spra- objetivo de estos experimentos es proporcio- chen. nar datos y conclusiones sobre la forma de mejorar la realimentación a los usuarios en Brown, H. D. y H. Lee. 2015. Teaching caso de fallo. Los resultados de estos experi- by Principles: An Interactive Approach to mentos en configuración guiada y controlada Language Pedagogy, volumen 1. Prentice están también en proceso de revisión. Hall Regents Englewood Cliffs, NJ. Como última etapa, se plantea un estu- Celce-Murcia, M., D. Brinton, y J. M. Good- dio sistemático de las caracterı́sticas del ha- win. 1996. Teaching Pronunciation. bla adquirido durante los experimentos reali- Chen, C.-H., V. Law, y W.-Y. Chen. zados para poder determinar el conjunto de 2018. The Effects of Peer Competition- rasgos clave a la hora de poner en correlación based Science Learning Game On Secon- los fallos de pronunciación con las valoracio- dary Students’ Performance, Achievement nes de expertos y, por otro lado, para facilitar Goals, And Perceived Ability. Interactive la extracción a partir de ello de sistemas de Learning Environments, 26(2):235–244. clasificación automática que puedan guiar la formulación de recomendaciones personaliza- Cámara-Arenas, E. 2013. Native Cardina- das sobre modo y punto de articulación. lity: on Teaching American English Vo- wels to Spanish Students. Historia y socie- 5 Cuestiones de investigación dad. Ediciones Universidad de Valladolid. Además de la discusión sobre metodologı́a y Derwing, T. M. y M. J. Munro. 2005. Second resultados obtenidos, son varias las cuestio- Language Accent and Pronunciation Tea- nes de investigación que se plantean, entre ching: A Research-Based Approach. TE- las que destacan las siguientes: SOL Quarterly, 39(3):379–397. 1. ¿Qué impacto puede tener el uso de Deterding, S., D. Dixon, R. Khaled, y L. Nac- un reconocedor de voz comercial fren- ke. 2011. From Game Design Elements to te a sistemas personalizados, diseñados Gamefulness: Defining Gamification. En explı́citamente para la mejora de pro- Proceedings of the 15th International Aca- nunciación, y a qué nivel debe abordarse demic MindTrek Conference: Envisioning la adaptación (usuario, lengua L2)? Future Media Environments, páginas 9– 2. ¿Qué nivel de mejora de pronunciación 15. ACM. puede lograrse en un plazo de exposición Escudero-Mancebo, D. y M. Carranza. 2015. más largo y qué impacto tiene la meto- Nuevas Propuestas Tecnológicas para la dologı́a empleada? Práctica y Evaluación de la Pronunciación 3. ¿Qué influencia tienen los elementos de del Español como Lengua Extranjera. En juego y la configuración competitiva so- Congreso Internacional de la Asociación bre la motivación, el nivel de aprendiza- Europea de Profesores de Español, pági- je, la auto-conciencia de nivel, o el grado nas 218–227, Burgos, Spain. July 20–24. de ansiedad o frustración del usuario? Escudero-Mancebo, D., E. Cámara-Arenas, C. Tejedor-Garcı́a, C. González-Ferreras, Agradecimientos y V. Cardeñoso-Payo. 2015. Implementa- Este trabajo ha sido parcialmente financiado tion and Test of a Serious Game Based on por Ministerio de Economı́a y Competitivi- Minimal Pairs for Pronunciation Training. dad y Fondos FEDER – clave de proyecto: SLaTE, páginas 125–130. TIN2014-59852-R Videojuegos Sociales para la Asistencia y Mejora de la Pronunciación Flores, J. F. F. 2015. Using Gamification de la Lengua Española, por la Universidad de To Enhance Second Language Learning. Valladolid (Convocatoria 2015 de Contratos Digital Education Review, 1(27):32–54. Predoctorales) y por la Consejerı́a de Educa- Greenall, S. 1984. Language Games and Ac- ción de Junta de Castilla y León en el pro- tivities. Hulton educational publications yecto (VA050G18). Ltd, Britain. 10 Hadfield, J. 2000. Beginners’ Communica- Around Minimal Pairs to Improve Pro- tion Games. Longman. nunciation Training. IFCASL 2015. Hincks, R. 2005. Computer Support for Lear- Tejedor-Garcı́a, C., V. Cardeñoso-Payo, ners of Spoken English. Ph.D. tesis, KTH. E. Cámara-Arenas, C. González-Ferreras, y D. Escudero-Mancebo. 2016. Measu- Jayakumar, A., M. Raghunath, M. Sakthi- ring Pronunciation Improvement in Users priya, S. Akhila, A. Sadanandan, y P. Ne- of CAPT tool TipTopTalk! Interspeech, dungadi. 2016. Enhancing Speech Recog- páginas 1178–1179, Septiembre. nition in Developing Language Learning Systems for Low Cost Androids. En IC- Tejedor-Garcı́a, C. y D. Escudero-Mancebo. CTICT, páginas 80–84. IEEE. 2018. Uso De Pares Mı́nimos En Herra- mientas Para La Práctica De La Pronun- Kukulska-Hulme, A. 2012. Mobile-Assisted ciación Del Español Como Lengua Extran- Language Learning. Blackwell Publishing jera. Revista de la Asociación Europea de Ltd. Profesores de Español. El español por el Levy, M. 2009. Technologies in Use for Se- mundo, 1(1):355–363. cond Language Learning. The Modern Tejedor-Garcı́a, C., D. Escudero-Mancebo, Language Journal, 93(s1):769–782. E. Cámara-Arenas, C. González-Ferreras, Luo, B. 2016. Evaluating a Computer- y V. Cardeñoso-Payo. 2016. Impro- Assisted Pronunciation Training (CAPT) ving L2 Production with a Gamified Technique for Efficient Classroom Instruc- Computer-Assisted Pronunciation Trai- tion. Computer Assisted Language Lear- ning Tool, TipTopTalk! IberSPEECH ning, 29(3):451–476. 2016, páginas 177–186. Mak, B., M. Siu, M. Ng, Y.-C. Tam, Y.-C. Thomson, R. I. y T. M. Derwing. 2014. The Chan, K.-W. Chan, y Leung. 2003. PLA- Effectiveness of L2 Pronunciation Instruc- SER: Pronunciation Learning via Auto- tion: A Narrative Review. Applied Lin- matic Speech Recognition. En Proc. HLT- guistics, 36(3):326. NAACL, páginas 23–29. Association for Tomokiyo, L. M., L. Wang, y M. Eskenazi. Computational Linguistics. 2000. An Empirical Study of the Effecti- Neri, A., C. Cucchiarini, y H. Strik. 2008. veness of Speech-Recognition-Based Pro- The Effectiveness of Computer-Based nunciation Training. En Proceedings of Speech Corrective Feedback for Impro- the 6th ICSLP volume, páginas 677–680. ving Segmental Quality in L2-Dutch. Re- Wang, X. 2002. Training Mandarin CALL, 20(02):225–243. And Cantonese Speakers To Identify En- Neri, A., C. Cucchiarini, H. Strik, y L. Boves. glish Vowel Contrasts: Long-term Reten- 2002. The Pedagogy-Technology Interface tion And Effects On Production. Ph.D. in Computer-Assisted Pronunciation Trai- tesis, Simon Fraser University. ning. Computer Assisted Language Lear- Wiggins, B. E. 2018. An Overview and ning, 15(5):441–467. Study on the Use of Games, Simulations, Neri, A., O. Mich, M. Gerosa, y D. Giu- and Gamification in Higher Education. liani. 2008. The Effectiveness of Com- En Gamification in Education: Breakth- puter Assisted Pronunciation Training for roughs in Research and Practice. IGI Glo- Foreign Language Learning by Children. bal, páginas 191–204. Computer Assisted Language Learning, Yoon, H. 2008. More than a Linguistic Re- 21(5):393–408. ference: The Influence of Corpus Techno- Shaffer, D. W., K. R. Squire, R. Halverson, logy on L2 Academic Writing. Language y J. P. Gee. 2005. Video Games and the Learning & Technology, 12(2):31–48. Future of Learning. Phi Delta Kappan, 87(2):105–111. Tejedor-Garcı́a, C., V. Cardeñoso-Payo, E. Cámara-Arenas, C. González-Ferreras, y D. Escudero-Mancebo. 2015. Playing 11