Proceedings of the II International Conference MOOC-Maker (MOOC-Maker 2018) Propuesta de Libro de Códigos para evaluar a los moderadores de los videos MOOC impartidos por Universidades Latinoamericanas Viviana Estefanía Ochoa Ruilova 1 Universidad Iberoamericana, Lomas de Santa Fe, 01219, Ciudad de México Resumen. Este trabajo muestra mediante una mirada comunicacional, cómo se pueden mejorar los MOOC en Universidades Latinoamericanas. Para ello presento un Libro de Códigos, que sirva como guía para analizar futuros videos, enfocándose en evaluar al docente o moderador que imparte el curso a partir de variables comunicacionales basadas en modelos funcionalistas como el de David Berlo (1988). El objetivo es lograr adaptar estas variables de comunicación, para mejorar la transmisión del mensaje y por lo tanto de conocimientos mediante el uso de las TIC, además de ofrecer a los participantes contenidos de calidad y experiencias de aprendizaje enriquecedoras. Abstract. This work shows, through a communicational perspective, how MOOCs can be improved in Latin American Universities. To this end, I present a Code Book, which serves as a guide for analyzing future videos, focusing on evaluating the teacher or moderator who teaches the course based on communicational variables based on functionalist models such as that of David Berlo (1988). The objective is to adapt these communication variables to improve the transmission of the message and therefore of knowledge through the use of ICTs, in addition to offering participants quality content and enriching learning experiences. Keywords: MOOC, e-learning, libro de códigos. 1 Introducción Si bien los Cursos en Línea, Masivos y Abiertos (MOOC, por sus siglas en inglés) han generado grandes expectativas en los últimos años brindando la oportunidad a muchos de obtener una educación en línea y gratuita, aún no se logra conseguir que éstos alcancen un nivel de excelencia, especialmente en cursos MOOC lanzados por Universidades Latinoamericanas. El Ph.D. en Computer Engineering Miguel Zapata- Ros, menciona en su artículo “Latinoamérica y la educación superior en la encrucijada de la Sociedad del Conocimiento” (Zapata-Ros, 2017), sobre los desafíos y disrupciones que existe en la adaptación de una educación digital en América Latina, especialmente en las Universidades, ya que tanto las instituciones como los docentes, “adolecen de mímesis” para adaptarse e incorporar nuevos métodos de educación que incluye el uso de la tecnología, como es el caso de los MOOC. Este documento busca mostrar una propuesta de un Libro de Códigos, que permita evaluar a los moderadores en instituciones de educación superior, donde los docentes no han desarrollado necesariamente sus habilidades comunicacionales ante la cámara. 60 Proceedings of the II International Conference MOOC-Maker (MOOC-Maker 2018) Este artículo es el resultado de mi estudio de tesis de Maestría titulado “Análisis de contenido de los videos MOOC impartidos por Universidades Latinoamericanas” (Ochoa, 2018), el cual pretende servir como apoyo en el diseño y producción de futuros videos MOOC. 2 Análisis de contenido y el Libro de Códigos El vídeo de carácter educativo es una de las manifestaciones más significativas de las nuevas formas de enseñanza-aprendizaje que se están generando en el ecosistema formativo de las tecnologías emergentes de la comunicación, esto lo menciona (Rajas Fernandez & Gertrudiz Barrio, 2016) de la Universidad del Zulia- Venezuela, en su artículo “Narrativa audiovisual: producción de vídeos colaborativos para MOOC” en donde señalan que los contenidos audiovisuales e hipermedia son parte fundamental de estos cambios. Por tanto, es necesario conocer las características diferenciales de los vídeos educativos incluidos en las plataformas MOOC, así como reflexionar acerca de su potencialidad creativa en el ámbito formal y en cuanto a estrategias narrativas, vinculación informativa y emocional con el espectador y sobre la construcción de la temporalidad e innovación en la creación de contenidos que fomenten la participación activa y la colaboración estrecha del usuario con el propio relato didáctico (Rajas Fernandez & Gertrudiz Barrio, 2016). Esta investigación busca realizar un análisis de contenido desde una mirada comunicacional, aplicando modelos funcionalistas como el de David K.Belo, de los videos de los cursos MOOC impartidos por Universidades Latinoamericanas, que evalúe al docente o moderador. Para la selección de la muestra, se utilizó un diseño de muestra de tipo estratégico, en dónde fueron elegidos 3 cursos MOOCs ofertados en el 2016 de las plataformas más prestigiosas (Edx, MiriadaX, Coursera) y que están relacionadas con el tema de las TICs (Tecnologías de la Información y Comunicación), a continuación presento los videos que serán analizados: Table 1. : Descripción de los cursos analizados Video 1 Video 2 Video 3 Plataforma: Coursera Plataforma: Plataforma: Edx Universidad: MiriadaX Universidad: Universidad de Chile- Universidad: Pontificia Universidad Chile Universidad de Flores- Javeriana– Colombia Nombre del curso: Argentina Nombre del curso: ¿Cómo (nos) cambia la Nombre del curso: Impacto de las TIC en la Tecnología? Invirtiendo la clase. Un vida de las familias Enlace video 1: camino hacia la Enlace al video 3: Introducción: La innovación en educación Impacto de las TIC en la tecnología está en todas Enlace video 2: vida de las familias partes. Invirtiendo la Clase. A partir del análisis de contenido web, se pretende generar un libro de códigos, el cual permitirá evaluar a los moderadores de los videos de los cursos MOOC. El análisis 61 Proceedings of the II International Conference MOOC-Maker (MOOC-Maker 2018) de contenido y el libro de códigos, está basado en el libro del Dr. Juan José Igartua “Métodos cuantitativos de investigación en comunicación” (Igartua, 2006), quien explica que “el análisis de contenido es una técnica de investigación que permite descubrir el ADN de los mensajes mediáticos, dado que dicho análisis posibilita reconstruir su arquitectura, conocer su estructura, sus componentes básicos y el funcionamiento de los mismos” (p. 181). 2.1 El libro de códigos Según (Piñeiro Naval , 2015, pág. 418) “el libro de códigos es al análisis de contenido, lo que una guía de instrucciones al montaje de un mueble, o la hoja de ruta a la travesía de un crucero: un conjunto de pautas a seguir para que el resultado sea el deseado”. El libro de códigos es una herramienta principal para el análisis de contenido de los videos de los cursos MOOC, el cual servirá para que los expertos evalúen los videos de los cursos MOOC seleccionados y de esta forma puedan hacer una lectura y consulta de cada una de las variables que serán analizadas durante el proceso de codificación. A continuación, presento los bloques en que se estructura el libro de códigos, el cual especifica en detalle cómo deberán evaluarse cada uno de los componentes (variables), tomados del modelo de comunicación de (Berlo, 1988). Todas estas variables, serán aplicadas únicamente al emisor del mensaje, es decir el moderador del curso, que será la persona evaluada a partir de su habilidad, actitudes, conocimientos y tratamiento para trasmitir el mensaje, esto mediante el canal que serán los videos introductorios de los cursos MOOC elegidos para este análisis: Descripción de las variables: Table 2. : Descripción de las variables (libro de códigos) Componentes Factores Variables 0. Mantiene claridad al explicar un tema y expresarse: el moderar tiene una habilidad innata para comunicar el mensaje. Sabe cuándo hacer pausas, cuando repetir una oración y explicar más 1. Habilidades detalladamente temas complejos comunicativas 1.No mantiene claridad al explicar un tema y expresarse: el moderador no tiene la habilidad de explicar el tema con fluidez y clardidad. Se traba en sus oraciones y no se toma su tiempo en explicar temas complejos. 0. Utiliza regionalismos y una tropicalización propia de su región: el moderador utiliza un lenguaje muy regional, lo que podría dificultar A. Fuente de que un estudiante de otra nacionalidad perciba el mensaje. Su tono y Comunicación modulación de voz es muy marcada y dificulta la compresión de sus 2. Acento y oraciones. modismos 1.Utiliza un lenguaje claro y entendible: el moderador utiliza un lenguaje claro, sin un acento marcado lo cual permite que cualquier estudiante de otra nacionalidad pueda comprender el mensaje sin dificultad. 0. Actitud activa del hablante hacia el escucha: el moderador muestra una actitud de confianza y logra establecer 3. Actitudes empatía con el escucha. Mira fijamente a la pantalla para conectar con el receptor, mantiene una postura erguida y muestra habilidades para desenvolverse ante a la cámara. 62 Proceedings of the II International Conference MOOC-Maker (MOOC-Maker 2018) 1.Actitud pasiva del hablante hacia el escucha: el moderador se nota nervioso, busca desviar su mirada hacía otros lados y es muy mecánico en sus movimientos, por lo que no logra establecer empatía con el escucha. No muestra una gran habilidad para desenvolverse ante la cámara y es notorio que fija la mirada teleprónter para no perderse. 0. Familiaridad con el tema: el moderador maneja correctamente los términos y conceptos básicos del curso. Demuestra un dominio del tema en base de tecnicismos y logra vincular su clase con situaciones prácticas y cotidianas en diferentes contextos. 4. Conocimiento 1.No muestra un buen conocimiento del tema: el moderar no demuestra dominar el tema respecto a las TIC (en este caso) y conceptos base de la clase, no logra conectar y esto lo hace ver con poca experiencia frente a la pantalla. 0. Expresa claramente el propósito del curso sobre las TIC desde el inicio hasta el fin: el moderador tiene claro el objetivo de la clase y lo transmite mediante conceptos y ejemplos claros. 5. Contenido 1.No expresa claramente el propósito del curso sobre las TIC: el moderador no tiene claro el objetivo de la clase y no transmite conceptos y ejemplos claros. 0. Hay un buen uso del lenguaje corporal: el moderador hace un buen uso del lenguaje no verbal que va acompañado de gestos, señales, símbolos, etc. y permite una mejor forma de expresarse por 6. Elementos parte del moderador. 1.No hay un buen uso de lenguaje corporal: el moderador no utiliza un lenguaje corporal correcto y sus gestos, señales y símbolos no van acorde a su presentación. B. Mensaje 0.Utiliza una variedad de Recursos: el moderador facilita varios recursos físicos y virtuales para estructurar los códigos y el contenido. Los recursos utilizados tienen coherencia con la materia, con el tema, es pertinente e invita a participar en otros espacios (foros, test, lecturas, 7. Tratamiento etc.) 1.No utiliza los recursos pertinentes para explicar su objetivo: el moderador no utiliza suficientes recursos físicos o virtuales para explicar el tema, lo cual hace que los estudiantes se pierdan o no visualicen lo que el moderador intenta explicar. 0. Con Ruido: existen distractores dentro del video, así como saturaciones y sobrecarga de recursos. 8. Código 1.Sin Ruido: no existen mayores distractores más que los que podrían presentarse externamente. Hay un correcto uso de recursos. 0.Largo: los videos serán considerados como largos si sobrepasan los 5 minutos de duración, un tiempo considerable en el que los estudiantes perderán la atención del mismo. 9. Duración 1.Corto: Videos de corta duración (máximo de 5 minutos), en dónde se explican las partes que se van a tratar y es un tiempo que está dentro de los límites de atención de un alumno. 0. Clara: existe un audio y sonido perceptible, que permite que se C. Canal comprenda el curso. 10. Escucha 1.Mala: existe un mal audio y una saturación de sonidos que no permite una completa comprensión del curso. 0.Buena los videos tienen nitidez y son bien logrados en cuanto al uso de luz, tomas, zooms y capturas. 11. Vista 1.Mala: los videos no están bien logrados ya que existen sombras, neblina y otros elementos que no permiten una buena calidad del video. 63 Proceedings of the II International Conference MOOC-Maker (MOOC-Maker 2018) Todas estas variables son dicotómicas, cuantitativas con un rango de 0 a 1. 0 para las variables que cumplen con el requisito y 1 cuando no cumple o difiere. Los 3 videos introductorios fueron codificados por 4 analistas que nos apoyaron en esta investigación. Es importante señalar que en un proyecto de investigación de análisis de contenido, participan varios codificadores o analistas. En el caso de este estudio se contó con 4 codificadores, especialistas en el tema de MOOC. Dos de ellos procedentes de México y dos de Ecuador. Cada codificador se enfrentó a las variables que constan en el libro de códigos y decidieron los valores que corresponden en cada una de estas variables. 2.2 Fiabilidad de resultados En este contexto, cobra especial relevancia el concepto de fiabilidad inter-codificadores (coder reliability), que se refiere al grado de conceso o acuerdo alcanzado entre diferentes codificadores, que, de formas separada, han analizado un mismo material con el mismo instrumento de evaluación. En esta investigación se utilizó el índice más sencillo para evaluar la fiabilidad intercodificadores, que es el coeficiente de acuerdo o porcentaje de acuerdo observado (Pao), que mide el grado de acuerdo simple (en proporción o en porcentajes) a partir de considerar el número total de acuerdos alcanzados entre los jueces (A) sobre el total de juicios o unidades analizadas (n). Este constituye uno de los métodos más populares a pesar de que no se toma en consideración la influencia del azar. Este es uno de los pasos más críticos de todo el proceso, pues pone de manifiesto la calidad de los resultados obtenidos y, por ende, de la investigación en general. El nivel de acuerdo mínimo que se debe alcanzar para que los datos sean fiables es de 0.70 (70%) (Igartua, 2006, pág. 221). A continuación, se presenta el cálculo de la fiabilidad de intercodificadores de los 3 videos introductorios de los cursos MOOC de Universidades Latinoamericanas. Como ya se había señalado en el cuadro anterior, los videos fueron analizados bajo 3 principios de comunicación y 11 variables: Table 3. : Cálculo de la fiabilidad de intercodificadores A. Fuente de comunicación B. Mensaje C. Canal Codificador Video H-C A y M Act Con Cont El Tr Co Dr Es Vis Especialista 1 0 0 1 1 1 0 0 1 0 0 0 Especialista 2 0 1 0 0 0 0 0 1 1 0 0 Video 1 Especialista 3 0 0 1 0 1 1 0 1 1 0 0 Especialista 4 0 1 0 1 0 1 0 1 0 0 0 Especialista 1 0 1 0 0 0 0 0 1 1 0 0 Especialista 2 0 1 0 0 0 0 0 0 1 0 0 Video 2 Especialista 3 0 0 0 0 0 0 0 1 1 0 0 Especialista 4 0 1 0 0 0 0 0 1 1 0 0 Especialista 1 0 1 0 0 1 0 1 1 1 0 0 Especialista 2 0 1 0 0 1 1 1 1 1 0 0 Video 3 Especialista 3 0 1 0 0 0 0 0 1 1 0 0 Especialista 4 0 1 0 0 0 1 0 1 1 0 0 64 Proceedings of the II International Conference MOOC-Maker (MOOC-Maker 2018) El primer video Introducción: La tecnología está en todas partes se observa que se han producido 5 acuerdos y 6 desacuerdos entre los codificadores, con lo que aplicando a fórmula apropiada, se podrá calcular el primero de los coeficientes de acuerdo (PAo): 5 0.45 (45%) 11 En el segundo video Invirtiendo la Clase, se han producido 9 acuerdos y 2 desacuerdos, aplicando la fórmula obtenemos el siguiente coeficiente de acuerdo (PAo): 9 0.82 (82%) 11 En el tercer video Impacto de las TIC en la vida de las familias se produjeron 8 acuerdos y 3 desacuerdos, aplicando la fórmula obtenemos el siguiente coeficientes de acuerdo (PAo): 8 0.73 (73%) 11 La fiabilidad promedio de las 11 variables que integran el libro de códigos de la presente investigación asciende a=.67; un dato satisfactorio ya que estamos por encima del 60%. Según (Igartua, 2006, pág. 221), se considera que se deben obtener valores superiores a 0.70, aunque en ocasiones (sobre todo en investigaciones exploratorias) se pueden considerar como adecuados valores de 0.60 en adelante. Como podemos observar en los resultados de fiabilidad, existen algunos resultados interesantes para tomar en cuenta sobre el comportamiento del moderador en el video introductorio del MOOC, como, por ejemplo: • Las habilidades comunicativas, escucha y vista, son comunes en los 3 videos. Todas estas variables se muestran de forma positiva en los videos. La variable de habilidades comunicativas es otro de los elementos principales que se debe considerar al momento de comunicar un mensaje. El video número dos es el que más acuerdos tiene, todas las variables fueron calificadas como positivas dentro del video. El tercer video a pesar de tener 8 acuerdos, no cumple con la variable de contenido, ya que fue marcada en acuerdo por los 4 especialistas como que no expresa claramente el propósito del curso sobre las TICs. • El primer video presenta desacuerdos en los 3 elementos de comunicación analizados: fuente de comunicación, mensaje y canal. El acento y modismos se presenta como desacuerdos tanto en el video 1 como en el video 2. En los tres videos existen desacuerdos en el mensaje, que es uno de los elementos principales y uno de 65 Proceedings of the II International Conference MOOC-Maker (MOOC-Maker 2018) los objetivos de la comunicación. En el caso de los tres videos existe un equilibrio de los desacuerdos, es decir de los 4 especialistas que analizaron los cursos, 2 señalan que los videos si cumplen las variables y 2 señalan lo contrario. Únicamente en el video 1 existe una mayoría de desacuerdos. Tres de los cuatro especialistas, señalaron que el moderador utiliza un lenguaje claro y entendible. En el caso de la variable del código, tres de cuatro señalaron que no existe ruido en el video. • La variable de habilidades comunicativas se cumplió de forma positiva en todos los videos, lo cual puede ayudar a deducir que de alguna forma los moderadores de las universidades analizadas, tienen la capacidad para explicar y comunicar un mensaje mediante un curso en línea. Sin embargo, es importante también señalar que una de las variables que mostró mayor desacuerdos en los 3 videos fue el mensaje, que es el propósito de la fuente expresado en los videos. Este era uno de los elementos principales a ser analizados dentro del modelo de comunicación de Berlo; y a pesar de que algunas variables del mensaje si cumplen su propósito en los videos, es importante señalar que una de las posibles falencias de los cursos MOOC en universidades Latino Americanas, o al menos en los cursos analizados, puede estar presente en la forma en cómo el contenido o materia es enviado hacia el receptor en forma de video y la capacidad del moderador de transmitir claramente el mensaje. 3 Conclusiones El objetivo de este estudio fue demostrar cómo se puede realizar un análisis de contenido de videos de cursos MOOC de Universidades Latinoamericanas, con la finalidad de validar fundamentos basados en el modelo de comunicación de David Berlo, que puedan ser aplicados para la elaboración de un libro de códigos que permita evaluar al docente. El libro de códigos presentado, permitirá evaluar próximos cursos MOOC durante su planteamiento y producción para mejorar el contenido y el mensaje del video partiendo de la preparación y entrenamiento del moderador a partir de un modelo de comunicación que le pueda servir como prototipo. De esta manera concluyo que la hipótesis planteada al inicio de esta investigación es positiva, ya que afirma que las variables de comunicación extraídas del modelo de comunicación de David Berlo, permiten evaluar al docente o moderador de los videos MOOC desde una mirada comunicacional. Finalmente, considero importante reconocer que nos encontramos ante una nueva generación que tienen la tecnología mucho más a su alcance. Es por ello que considero importante continuar con el estudio y sumar esfuerzos sobre cómo estas nuevas herramientas tecnológicas inmersas ya en la educación, nos permiten transmitir conocimientos a otros, tomando en cuenta varias reglas y modelos no solo de comunicación, sino de educación y diseño que nos permitan ofrecer mejores cursos en línea (MOOCs) que puedan ser adaptados a una clase tradicional o simplemente sean ofrecidos a quien no tiene acceso a una educación presencial pero logrando que estos sean de la mejor calidad posible. 66 Proceedings of the II International Conference MOOC-Maker (MOOC-Maker 2018) Referencias [1] Berlo, D. (1988). El Proceso de la Comunicación (Vol. 3ra edición). Buenos Aires, Argentina : El Ateneo [2] Igartua, J. (2006). Métodos cuantitativos de investigación en comunicación. Salamanca, España: Bosch. [3] Ochoa, V. (2018). Análisis de contenido de los videos de cursos MOOC (Massive Open Online Course) impartidos por Universidades Latinoamericanas. Universidad [4] Piñeiro Naval , V. (2015). El Patrimonio Cultural en la Sociedad Digital "Un estudio de su difusión a través de Internet". Salamanca: Universidad de Salamanca [5] Rajas Fernandez, M., & Gertrudiz Barrio, M. (2016). Narrativa audiovisual: producción de vídeos colaborativos para MOOC. Red de Revistas Científicas de América Latina, el Caribe, España y Portugal [6] San Agustín, M. P., Maldonado, J., & Morales, N. (2016). Estado del arte de adopción de MOOCs en la Educación Superior en América Latina y Europa. MOOC-Maker Construction of Management Capacities of MOOCs in Higher Education. MOOC- Maker [7] Zapata-Ros, M. (12 de octubre de 2017). RED. El aprendizaje en la Sociedad del Conocimiento ISSN 2386-8562. (RED, Productor) Recuperado el 1 de septiembre de 2018, de Latinoamérica y la educación superior en la encrucijada de la Sociedad del Conocimiento. Desafíos y disrupciones: https://red.hypotheses.org/1011 67