The speech of people with Down syndrome presents multiple disorders affecting the different components of language (syntax, semantics, phonology and pragmatics). In particular, prosody is also affected, conditioning their personal development and their social integration. Due to these difficulties, prosody training is fundamental in their speech therapy. In this work, the use of a video game focused on improving the communication skills of people with Down syndrome is presented. It is necessary to analyze the specific characteristics of this population with the aim of developing a video game adapted to this population. Moreover, an analysis of the recordings recorded during the game sessions is included in this work. The main aim of this analysis is the characterization of Down syndrome speech and an automatic evaluation of these recordings.
Algunas personas con discapacidad
intelectual (ID) tienen problemas en sus
relaciones sociales debido a sus dificultades
comunicativas
En cuanto a las dificultades para analizar
la alteracio´n en el habla en personas con
discapacidad intelectual, hay que tener en
cuenta que este tipo de voz suele contener
disfluencias y otros problemas de produccio´n del
habla originados por problemas fisiol´ogicos.
Como resultado, la calidad de la producci´on
fon´etica es baja, lo que limita el uso de
sistemas de reconocimiento autom´atico de voz,
por lo que la segmentaci´on autom´atica es,
en muchos casos, inabordable
Por otro lado, el uso de juegos serios
para mejorar la motivaci´on de los
estudiantes en educaci´on est´a ampliamente estudiado
Para analizar los problemas en la prosodia de
las personas con s´ındrome de Down se han
seguido principalmente dos enfoques: an´alisis
acu´sticos y an´alisis perceptuales. En ambos
casos, es importante diferenciar entre
adultos y nin˜os, ya que las diferencias
fisiol´ogicas pueden influir en los resultados
obtenidos. Con respecto a los an´alisis acu´sticos del
habla, los estudios indican niveles m´as altos
en la frecuencia fundamental (F0) en
adultos con s´ındrome de Down
Por otro lado, tambi´en existen resultados
en la literatura en relaci´on con nin˜os con
s´ındrome de Down en comparaci´on con nin˜os
sin discapacidad intelectual. Se han
observado valores m´as bajos en la frecuencia
fundamental
Con respecto a los an´alisis perceptuales,
algunos estudios catalogan la voz de los
adultos con s´ındrome de Down como ronca
En relaci´on con el uso de videojuegos en
educacio´n especial, existen numerosos
estudios que demuestran la eficacia del uso de
videojuegos para la rehabilitaci´on y
entrenamiento de personas con discapacidad
intelectual. Algunos ejemplos son la mejora en el
tiempo de reacci´on
Se propone un trabajo de investigaci´on orientado al desarrollo de un videojuego para la mejora de las habilidades comunicativas de personas con s´ındrome de Down, especialmente enfocado en la prosodia. Para ello, lo primero fue realizar un estudio de los principales problemas que presenta esta poblacio´n en relaci´on con sus habilidades comunicativas y el desarrollo de actividades orientadas a mejorar estos aspectos. En paralelo, fue importante definir los escenarios donde estas actividades est´an incluidas, as´ı como la historia en la que se desarrollan dichas actividades. Adem´as, fue necesario realizar un an´alisis conciso sobre como los problemas de las personas con s´ındrome de Down pod´ıan afectar a su interacci´on con el videojuego.
El g´enero elegido para implementar el videojuego es un aspecto clave. En este caso, hemos utilizado el g´enero de las aventuras gr´aficas, ya que permite incluir dentro de una narrativa una serie de actividades disen˜adas para mejorar las habilidades comunicativas. El videojuego incluye conversaciones con personajes, uso de objetos y navegacio´n por diferentes escenarios. Los jugadores tienen que usar el rat´on del ordenador para interactuar con los diferentes elementos del escenario. La principal innovaci´on de nuestra propuesta con respecto a otras desarrolladas es que el jugador tiene que reproducir diferentes frases durante el transcurso del juego y estas reproducciones son almacenadas, por lo cual pueden ser analizadas posteriormente. Al lado del jugador, siempre es necesario un acompan˜ante que evalu´e en tiempo real si estas grabaciones son lo suficiente buenas como para continuar con el juego o, por el contrario, el jugador tiene que repetir la actividad. Esta persona tambi´en ejerce el rol de apoyo al jugador en el caso que se quede bloqueado o de motivador extra para que el jugador continu´e con el videojuego.
El videojuego incluye actividades que introducen frases de diferentes modalidades (declarativas, interrogativas y exclamativas). Normalmente, los patrones de entonaci´on var´ıan dependiendo de la modalidad de la frase. Las frases declarativas normalmente acaban con una bajada hacia tonos bajos, mientras que las interrogativas acaban con una subida hacia tonos altos. Por otro lado, las frases parcialmente interrogativas, que est´an
Figura 1: Escenario del juego con una actividad de produccio´n caracterizadas por un elemento interrogativo al principio de la frase, empiezan con tonos altos asociados a la parte interrogativa y acaban con una bajada hacia tonos bajos. Las frases exclamativas son, normalmente, variaciones de las frases declarativas, por lo que la variaci´on radica en aspectos como la energ´ıa, el volumen o la modulaci´on del tono usado por el hablante. Adem´as, la combinaci´on de diferentes frases con diferente modalidades permite la inclusi´on de inflexiones que indican una segmentaci´on en la produccio´n oral. Dependiendo del contexto y de la velocidad de produccio´n de la frase, estas inflexiones pueden corresponder a una pausa (silencio) y a un fin de frase, o a una semi-pausa, que implica un cambio de entonaci´on dentro de la misma frase. 4
En el estado actual del trabajo de
investigaci´on se han realizado dos experimentos cuyos
resultados han sido publicados. Por un lado,
para analizar la interacci´on entre el jugador y
el videojuego, se realizaron una serie de tests
de usabilidad combinados con los datos sobre
la sesi´on de juego que el propio videojuego
almacena autom´aticamente
Con respecto al an´alisis de las grabaciones
obtenidas en las diferentes sesiones de
juego, el objetivo es identificar las
caracter´ısticas acu´sticas que caracterizan el habla de las
personas con s´ındrome de Down. Estas
caracter´ısticas est´an relacionadas con los dominios
de la frecuencia, de la energ´ıa, temporal y
espectral. Para realizar este proceso, se llevaron
a cabo unas grabaciones de las mismas frases
del juego, pero grabadas por personas sin
discapacidad intelectual. Para ello, se extrajeron
una serie de caracter´ısticas pertenecientes a
cada dominio estudiado y se compararon
estas caracter´ısticas entre las extra´ıdas de
grabaciones realizadas por personas con
s´ındrome de Down y las extra´ıdas de grabaciones
realizadas por personas sin discapacidad
intelectual. De esta comparaci´on surgieron las
caracter´ısticas con mayor capacidad de
discriminacio´n entre los dos grupos, utilizando
para ello tests estad´ısticos. Adem´as, se
entrenaron tres clasificadores binarios utilizando
las caracter´ısticas significativamente
diferentes y se realiz´o una comparaci´on entre las
caracter´ısticas de los diferentes dominios para
analizar cual era m´as relevante a la hora de
clasificar una voz como proveniente de una
persona con s´ındrome de Down. Finalmente,
se realiz´o un test perceptual utilizando
grabaciones creadas utilizando un algoritmo de
transferencia de prosodia entre los grupos: la
prosodia de las grabaciones de uno de los
grupos se transfiri´o a las grabaciones del otro
grupo, y viceversa. Los resultados de este test
mostraron la importancia de la entonaci´on
y el ritmo a la hora de identificar un habla
como at´ıpica
El desarrollo de un m´odulo de evaluaci´on autom´atica de las grabaciones realizas por los jugadores se desarrollar´a en dos etapas. En una primera etapa se monitorizar´a el trabajo de usuario y entrenador en las actividades de produccio´n oral integradas en el videojuego. Para ello, se desarrollar´a una interfaz que permita recoger no s´olo las respuestas orales de los usuarios y las puntuaciones asignadas por el entrenador, sino tambi´en las reacciones de este u´ltimo en forma de ayuda, orientacio´n, etc. Una segunda etapa de an´alisis de las muestras capturadas permitir´a validar una serie de informes de calidad que identifiquen cua´les son las variables acu´stico/pros´odicas m´as relevantes a la hora de determinar la calidad de los turnos de los usuarios. Con dicha informaci´on, se entrenar´a un sistema de predicci´on autom´atica de calidad que sea capaz de valorar la respuesta oral del usuario a la vez que ofrecer informaci´on para seguir mejorando (feedback). 5
Debido al momento concreto en el que se encuentra la investigaci´on, a parte de discutir las metodolog´ıas y resultados obtenidos en los estudios presentados en la anterior secci´on, las cuestiones a discutir podr´ıan ir enfocadas en como conseguir desarrollar el m´odulo de evaluaci´on autom´atica. Algunas cuestiones concretas podr´ıan ser: ¿Es posible correlar las evaluaciones de las grabaciones realizadas por los profesores con las caracter´ısticas acu´sticas extra´ıdas de las mismas? ¿Son eficaces los clasificadores binarios para realizar esta tarea?. Y si es as´ı, ¿c´omo mejorar los resultados de clasificacio´n? ¿Es posible realizar este proceso en tiempo real o ser´ıa mejor continuar utilizando al profesor como ayudante y utilizar el m´odulo como evaluador complementario?
Este trabajo es financiado parcialmente por el proyecto del Ministerio de Econom´ıa, Industria y Competitividad con t´ıtulo “INCORPORACIO´ N DE UN MO´ DULO DE PREDICCIO´ N AUTOMA´ TICA DE LA CALIDAD DE LA COMUNICACIO´ N ORAL DE PERSONAS CON S´INDROME DE DOWN EN UN VIDEOJUEGO EDUCATIVO”, clave TIN2017-88858-C2-1-R.
Albertini, G., S. Bonassi, V. Dall’Armi, I. Giachetti, S. Giaquinto, y M. Mignano. 2010. Spectral analysis of the voice in Down syndrome. Research in developmental disabilities, 31(5):995–1001.
Chapman, R. S. 1997. Language development in children and adolescents with Down syndrome. Mental Retardation and Developmental Disabilities Research Reviews, 3(4):307–312.
Cleland, J., S. Wood, W. Hardcastle, J. Wishart, y C. Timmins. 2010. Relationship between speech, oromotor, language and cognitive abilities in children with Down’s syndrome. International journal of language & communication disorders, 45(1):83–95.