El lenguaje del pensamiento The language of thought Alberto Andreu Marín Universidad de Jaén Campus Las Lagunillas s/n 23071 – Jaén aandreu@ujaen.es Resumen: Actualmente se están llevando a cabo muchos estudios sobre el reconocimiento e interpretación de ondas cerebrales con diferentes resultados. Uno de los ámbitos más prometedores es el de la denominada “habla imaginada”, palabras que se piensan, pero no se dicen. En esta línea, se están alcanzando buenos resultados utilizando un vocabulario reducido (cinco palabras), consiguiendo incluso que una persona pueda comunicarse con un ordenador a través de su pensamiento, con la única ayuda de un hardware de adquisición de ondas cerebrales superficial. No obstante, ¿somos capaces de interpretar las señales eléctricas que genera nuestro cerebro? Lo que a priori parece ciencia ficción ya se utiliza en diversos ámbitos: medicina, seguridad o incluso videojuegos, siendo solo algunos ejemplos del amplio abanico de posibilidades que presentan las interfaces Cerebro-Ordenador o BCI (del inglés Brain- Computer Interface). Palabras clave: Electro-encefalograma(EEG), Brain-Computer Interface (BCI), sensor cerebral, habla imaginada. Abstract: Many studies are currently being conducted on the recognition and interpretation of brain waves with different results. One of the most promising areas is that of the denomination “imagined speech”, words that are thought, but not said (5 words), even getting a person to communicate with a computer throught their thinking, with the only help of superficial brainwave acquisition hardware. However, are we able to interpret the electrical signals generated by our brain? What seems science fiction is already used in various fields: medicine, security or even video games are just a few examples of the wide range of possibilities presented by the Brain-Computer Interface (BCI). Keywords: Electroencephalogram (EEG), Brain-computer Interface (BCI), brain sensor, imagined speech. 1 Justificación de la investigación Además de la medicina, existen otros campos propuesta que comienzan a interesarse por este tipo de sistemas. La Neuropolítica trata de reconocer, Aunque el desarrollo de interfaces cerebro por medio del análisis de EEGs, si un candidato computador no es una tarea reciente, en los es más o menos idóneo, mostrando una imagen últimos años están alcanzando relevancia debido del candidato a la persona que se está a las posibilidades que presentan. Uno de los monitorizando. De esta forma se puede saber, a usos más generalizados se encuadra dentro del través del análisis de EEGs, si el candidato es del campo de la medicina, más concretamente en la agrado del individuo estudiado (Vecchiato et al., rehabilitación de pacientes, estableciendo un 2010). canal de comunicación paciente-ordenador orientado a individuos con problemas de El mundo del videojuego tampoco quiere movilidad (Pfurtscheller et al., 1997). quedarse atrás en este sentido, algunas marcas están desarrollando ya nuevas interfaces cerebro-ordenador ordenador que mejorarán la imaginada a partir de diferentes formas de experiencia de juego, complementándose con las analizar un EEG (Erik F. González-Castañeda et interfaces ya existentes. Otros campos, como el al., 2016). de la seguridad, comienzan a fijarse en el cerebro como una forma inequívoca de reconocer a una 1. Análisis de la señal EEG mediante la persona. descomposición en sus diferentes rangos frecuenciales. Se utiliza la misma El habla imaginada es otro de los campos técnica que se usa para el análisis de sujetos a estudio, actualmente todos los sistemas sonidos, solo que aplicada a ondas que se están desarrollando se basan en un cerebrales. Esta técnica se basa en DWT vocabulario muy restringido (de 3 a 5 palabras), (Discrete Wavelet Transform) y RWE pero suficiente para poder desplazar un cursor en (Relative Wavelet Energy). una pantalla, por ejemplo. Estos sistemas 2. Sonificación. Se trata de escalar las normalmente van dirigidos a personas con diferentes frecuencias del EEG a movilidad reducida y dificultad en el habla, que frecuencias audibles (EEG 2 tones). Una no pueden comunicarse con el mundo exterior. vez escalados, se aplican las mismas técnicas usadas en el apartado anterior, 2 Origen y trabajo relacionado mejorando los resultados en la fase de clasificación. Existe un creciente número de grupos de 3. Textificación. Es la técnica más investigación centrados en el procesamiento del innovadora, se apoya en la lenguaje imaginado. El departamento de transformación de los EEGs en texto, Ciencias de la Computación de la Universidad de esta modificación está basada en Toronto o el departamento de Ciencias de la modelado de bumps con el fin de reducir Computación del INAOE (Instituto Nacional de Astrofísica, Óptica y Electrónica) en México son la gran cantidad de datos registrados a través de los EEGs. El bump representa solo algunos ejemplos. una función paramétrica utilizada para la El origen de este trabajo se basa en estudios descomposición atómica en el mapa de previos realizados por el departamento de tiempo-frecuencia. Normalmente se Ciencias de la Computación del INAOE (Figura usan bumps semielipsoides (La Roca et 1), que cuentan con una experiencia de varios al., 2013), guardando las zonas con años en el ámbito del reconocimiento del habla mayor energía registradas en el EEG. Fig. 1. Métodos usados para la clasificación de señales EEG durante el habla imaginada. Además de para reconocer el lenguaje genera en el cerebro el fenómeno de imaginado, el análisis de EEGs se está aplicando, desincronización (ERD y ERS). Este fenómeno con muy buenos resultados, en el consiste en la alteración de la onda cerebral en el reconocimiento del movimiento imaginado. Se área del cerebro donde se localiza el movimiento sabe que cuando imaginamos un movimiento, se de las articulaciones (Norman et al., 2016). Tal efecto es sabido que puede apreciarse en el EEG voz, texto e imágenes, dominios con algoritmos hasta 2 segundos antes de realizarse físicamente de categorización ya contrastados. el movimiento (Pfurtscheller et al., 1997). Los últimos resultados presentados remarcan 3 Descripción de la investigación la mejora que experimentan estos sistemas a la propuesta, incluyendo las hipótesis hora de la clasificación cuando se realiza la principales textificación de los EEGs, más concretamente cuando se usan secuencias de N-gramas. En los En los últimos años las interfaces cerebro experimentos realizados puede observarse el ordenador (BCIs) están experimentando un incremento en el porcentaje de acierto de los rápido desarrollo debido, entre otras cosas, a la clasificadores, arrojando sus mejores resultados aparición de nuevos sistemas de adquisición de con la ordenación de secuencias en trigramas. ondas cerebrales. Están proliferando muchas Esto nos plantea, como mínimo, dos hipótesis: empresas dedicadas al desarrollo de este tipo de 1. El orden en las secuencias textificadas. hardware (Emotiv, Neurosky, GTEC). Un No basta con extraer determinados aspecto primordial en estos sistemas es la indicadores o huellas del EEG, sino que cantidad y posición de los electrodos. hay que aproximarse a este como una Dependiendo de ello, el hardware podrá ser secuencia temporal. utilizado para registrar la actividad eléctrica de 2. Del mismo modo que una sílaba no es unas áreas del cerebro u otras. una buena unidad para, por ejemplo, la Aprovechando esta coyuntura, la recuperación de información, parece que investigación trata de identificar el habla la textificación de un bump tiene una imaginada (palabras que se piensan pero no se granularidad excesivamente fina. dicen) a partir del análisis de EEGs generados a través de sistemas comerciales económicos de 4 Metodología y experimentos propuestos adquisición de ondas cerebrales. La idea es Para la experimentación se ha optado por seguir identificar un vocabulario reducido compuesto las siguientes etapas: por cinco palabras (arriba, abajo, derecha, izquierda y pulsar), que permitirá a una persona 1. Reproducir los últimos experimentos y mover el cursor del ordenador únicamente con el textificar los EEGs obtenidos. pensamiento. 2. Encontrar relaciones o series temporales. Pero ¿qué tiene esto que ver con el 3. Aplicar técnicas de clasificación y procesamiento del lenguaje? La codificación en aprendizaje automático. texto o textificación de EEGs mejora el resultado 4. Generar una base de datos sobre EEGs de la clasificación. Es en este punto en el que propia. surge el concepto de un “lenguaje del cerebro.” 5. Contrastar los resultados con bases de ¿Puede existir algún tipo de lenguaje subyacente datos ya existentes. contenido en esa textificación? Cabe destacar la generación de una base de Aplicar estas técnicas a diferentes entornos datos propia. Para llevar a cabo esta tarea se ha como el movimiento imaginado o los diseñado un primer experimento, que consta de sentimientos puede aportar un enfoque diferente las siguientes fases (Figura 2): a la hora del reconocimiento de los EEGs asociados a estos ámbitos. 1. Preparación: el sujeto se relaja e intenta poner la mente en blanco. Junto a la sonificación y la textificación, 2. Objetivo: se muestra al sujeto un también proponemos la imagenificación, esto es, estímulo visual de lo que tiene que la transformación de los EEGs en imágenes 2D imaginar. de modo que el uso de técnicas de procesamiento 3. Imaginación de la palabra: el sujeto de imágenes contribuya en el reconocimiento del dispone de 3 segundos para imaginar la habla imaginada. palabra. En definitiva, se trata de un cambio de dominio, 4. Verificación del objetivo: el sujeto del dominio del análisis de la señal EEG a otros señala en el gráfico el objetivo para dominios bien estudiados, como son análisis de realizar la comprobación de que el sujeto ha pensado lo que debía. Para el registro de los EEGs, se utiliza el 5. Descanso: el sujeto dispone de 2 sistema de adquisición de datos EPOC+ de segundos para descansar después de Emotiv; este hardware presenta 14 sensores imaginar cada palabra. distribuidos por todo el cuero cabelludo y una tasa de muestreo máxima de 256Hz. Además el Para la realización completa del experimento, sistema incorpora un software específico cada individuo deberá repetir la imaginación de (Emotiv Xavier TestBench) que facilita mucho cada una de las palabras un número n de veces. la tarea de adquisición de los datos. Fig. 2. Diseño del experimento 5 Conclusiones obligan a su utilización en entornos muy controlados. Además, existen otros problemas Actualmente el mercado de los sistemas de relacionados con los cambios que experimenta la adquisición de ondas cerebrales se encuentra señal cerebral cuando un individuo entrena inmerso en una evolución rápida y constante, no continuamente la pronunciación imaginada de solo por parte de empresas que ya se encuentran una palabra, obligando a desarrollar sistemas que posicionadas en el sector, sino por nuevas evolucionen conjuntamente. Estas son las empresas que están surgiendo al amparo de esta principales barreras a las que se debe enfrentar tecnología, muestra del interés que esta un investigador que pretenda iniciarse en este tecnología está suscitando. entorno, en el que todavía queda mucho por Aunque esta investigación se encuentra en su descubrir. fase inicial, los experimentos que ya se han Agradecimientos realizado resultan bastante esperanzadores; los resultados obtenidos una vez aplicada la Este trabajo está parcialmente subvencionado obtención de secuencias de los EEGs por el proyecto REDES (TIN2015-65136-C2-1- textificados sugieren que el orden es clave a la R) del MICINN del Gobierno de España. hora de realizar su caracterización. Bibliografía Se está avanzando mucho en este ámbito, aunque todavía queda mucho por hacer. Los Chen, D., Wan, S., Xiang, J., & Bao, F. S. próximos retos pasan por la mejora de los (2017). A high-performance seizure sistemas de adquisición de ondas cerebrales, detection algorithm based on Discrete haciéndolos, si cabe, más asequibles y Wavelet Transform (DWT) and EEG. PloS aumentando la calidad en la adquisición de los one, 12(3). datos, eliminando al máximo la gran cantidad de González-Castañeda, E. F., Torres-García, A. interferencias que sufren estos sistemas que A., Reyes-García, C. A., & Villaseñor- Pineda, L. (2016). Sonification and and desynchronization: basic principles. textification: Proposing methods for Clinical Neurophysiology, 110(11), 1842- classifying unspoken words from EEG 1857. signals. Biomedical Signal Processing and Control, 37, 82-91. Porbadnigk, A., Wester, M., & Jan-p Calliess, T. S. (2009). EEG-based speech recognition La Rocca, D., Campisi, P., & Solé-Casals, J. impact of temporal effects. 2nd Internacional (2013, September). Eeg based user Conference on Bio-inspired System and recognition using bump modelling. In Signal Processing (Biosignals 2009), Porto, Biometrics Special Interest Group(BIOSIG), Portugal. 2013 Internacional Conference of the BIOSIG Special Interest Group (pp. 1-12). Torres-García, A. A., Reyes-García, C. A., IEEE. Villaseñor-Pineda, L., & García-Aguilar, G. (2016). Implementing a fuzzy inference Norman, S. L., Dennison, M., Wolbrecht, E., system in a multi-objective EEG channel Cramer, S. C., Srinivasan, R., & selection model for imagined speech Reinkensmeyer, D. J. (2016). Movement classification. Expert Systems With Anticipation and EEG: Implications for BCI- Applications, 59, 1-12. Contingent Robot Therapy. IEEE Transactions on Neural Systems and Vecchiato, G., Toppi, J., Cincotti, F., Astolfi, L., Rehabilitation Engineering, 24(8), 911-919. Fallani, F. D. V., Aloise, F., Mattia, D., Bocale, S., Vernucci, F., & Babiloni, F. Panzner, M., & Cimiano, P. (2016). Comparing (2010, August). Neuropolitics: EEG spectral Hidden Markov Models and Long Short maps related to a political vote based on the Term Memory Neural Networks for Learning first impression of the candidate's face. Action Representations. In Machine In Engineering in Medicine and Biology Learning, Optimization, and Big Data: Society (EMBC), 2010 Annual International Second International Workshop, MOD 2016, Conference of the IEEE (pp. 2902-2905). Volterra, Italy, August 26-29, 2016. Revised IEEE. Selected Papers (Vol. 10122). Vialatte, F. B., Martin, C., Dubois, R., Haddad, Pfurtscheller, G., Neuper, C., Flotzinger, D., & J., Quenet, B., Gervais, R., & Dreyfus, G. Pregenzer, M. (1997a). EEG-based (2007). A machine learning approach to the discrimination between imagination of right analysis of time–frequency maps, and its and left hand application to neural dynamics. Neural movement. Electroencephalography and networks, 20(2), 194-209. Clinical Neurophysiology, 103(6), 642-651. Zhao, S., & Rudzicz, F. (2015, April). Pfurtscheller, G., Neuper, C., Andrew, C., & Classifying phonological categories in Edlinger, G. (1997b). Foot and hand area mu imagined and articulated speech. rhythms. International Journal of In Acoustics, Speech and Signal Processing Psychophysiology, 26(1), 121-135. (ICASSP), 2015 IEEE International Conference on (pp. 992-996). IEEE. Pfurtscheller, G., & Da Silva, F. L. (1999). Event-related EEG/MEG synchronization