Resumen: Los Cursos Abiertos Masivos y en Línea (MOOCs) son materiales educativos que han posibilitado la configuración de nuevos escenarios educativos, tanto presenciales como virtuales. Sin embargo, son pocas las aproximaciones que existen actualmente en la literatura para evaluar la calidad de este tipo de materiales educativos. En este trabajo, a partir de una revisión sistemática de la literatura a contar del 2012 al 2016, se presentan las iniciativas más relevantes que se están utilizando para evaluar la calidad de los MOOCs. Los resultados apuntan a que este tema, sigue siendo poco tratado en la literatura y las aproximaciones existentes, son una adaptación de los modelos de calidad en e-learning centrados en aspectos didácticos y pedagógicos.
Cualquier discusión sobre calidad en temas de educación es desafiante, puesto que la
calidad no es objetiva y es una medida que se establece para un propósito específico. A
su vez, este propósito puede cambiar dependiendo del contexto, de las instituciones, de
los actores y de los estudiantes, quienes tienen distintos puntos de vista y, en
consecuencia, evalúan la calidad a través de distintos lentes (Hood & Littlejohn, 2016).
Además, la presencia de las Tecnologías de la Información y Comunicación (TIC) están
configurando nuevos escenarios educativos, obligando a las instituciones de educación
superior a incorporarlas en sus procesos de enseñanza y aprendizaje, por las
posibilidades didácticas, pedagógicas y comunicativas que ofrecen a los estudiantes
Al igual que cualquier otro curso, los MOOC contienen una estructura basada en objetivos de aprendizaje, contenidos, actividades y evaluaciones (puede verse a los MOOC como un Objeto de Aprendizaje (sic) de granularidad gruesa, Maldonado & Astudillo, 2014). La similitud de un MOOC con un objeto de aprendizaje, sugiere que los MOOC pueden ser producidos y evaluados siguiendo los estándares de calidad definidos para un curso de e-learning dadas sus características (Roswell & Jasen, 2014; Gea, 2015). Entonces, es posible identificar criterios para aproximar el análisis de la calidad de un MOOC, tanto como producto y como proceso.
Como producto, los criterios deben estar centrados desde el punto de vista de su
producción (el objeto mismo), y como proceso, los criterios deben estar centrados en el
desarrollo del objeto
La evaluación de la calidad en MOOCs es un tema poco tratado en la literatura y las aproximaciones existentes, son una adaptación de los modelos de calidad en e-learning (Roswell y Jasen, 2014). Estos, han proporcionado una base variada sobre los aspectos didácticos, pedagógicos y técnicos que se utilizan para evaluar la calidad. Sin embargo, estos criterios no siempre se pueden adaptar de forma directa en el proceso de producción de un MOOC.
Con el fin de analizar las aproximaciones existentes para evaluar la calidad de los MOOCs, en este estudio se propone realizar una revisión sistemática a contar desde el año 2012 hasta el año 2016. Esta revisión tiene como objetivos: (1) proporcionar una visión global sobre el estado actual de las iniciativas de modelos y herramientas para la evaluación de MOOCs e (2) identificar los modelos y herramientas para la evaluación de MOOCs que han sido utilizadas por diferentes instituciones educativas que ofrecen estos cursos. Concretamente, se plantean las siguientes preguntas de investigación para dirigir el análisis sistemático: 1) RQ1: ¿Cómo se evalúa la calidad de los MOOCs en los artículos publicados entre los años 2012 al 2016? 2) RQ2: ¿Qué modelos o herramientas se han desarrollado para evaluar la calidad de los MOOCs entre los años 2012 al 2016?
El artículo se estructura de la siguiente manera: la sección 2 presenta la metodología del estudio, la sección 3 los resultados de la literatura y la sección 4 las conclusiones y discusión. 2
La metodología utilizada para guiar el proceso de investigación es el método de revisión sistemática de la literatura. Se han seguido los lineamientos propuestos por Kitchenham (2004), que propone organizar la revisión sistemática en tres fases que se componen de distintos pasos: (1) Planear la búsqueda: a) se desarrolló un protocolo de revisión, en el que se identificaron las necesidades de la búsqueda para delimitar el campo de estudio acerca de los modelos y herramientas para evaluar la calidad de los MOOCs, luego, b) se formularon las preguntas de investigación para dirigir el estudio y c) se delimitó el período de búsqueda entre el año 2012 hasta el 2016. (2) Realizar la búsqueda: En esta fase se incluyeron: a) artículos electrónicos publicados en revistas científicas y congresos tanto en español como en inglés, utilizando bases de datos científicas relacionadas con la tecnología educativa: EBSCO, Redalyc, Dialnet y RIED. b) se utilizó el motor de búsqueda de Google Scholar, Academia.edu y ResearchGate. c) adicionalmente, se realizó una búsqueda en las referencias de los artículos encontrados y seleccionados en las bases de datos para identificar otras publicaciones. Las variables que guiaron la revisión fueron las asociadas a la calidad de los MOOC (calidad, evaluación, diseño instruccional y estándares de calidad) además, se incluyeron palabras clave en inglés, tales como: MOOCs, Evaluation, Quality, ISO standards, Instructional Design. d) Se definieron las cadenas de búsqueda (p.e. [MOOCs] AND [Quality] AND [Evaluation]) y se realizó una prueba piloto, con el propósito de depurar la estrategía de búsqueda y descartar los artículos que no contenían información suficiente en relación a propuestas de evaluación y modelos de calidad en MOOCs. De esa forma se identificaron los falsos positivos (artículos seleccionados por la búsqueda pero que no responden a los objetivos del estudio), falsos negativos (artículos no detectados por la estrategia de búsqueda pero que son de interés para el estudio) y dudosos (artículos donde no queda claro si el trabajo es o no de interés para los objeticos del estudio). e) Por último, en el proceso de búsqueda y selección participaron 4 investigadores relacionados con el área de investigación. El título, el resumen y la lista de palabras clave de cada artículo fue leído para determinar si el artículo cumplía o no con los criterios de selección determinados. (3) Reportar la búsqueda: se encontraron alrededor de 4,568 artículos relacionados con las variables asociadas a calidad de MOOC, de los cuales se seleccionaron 25, puesto que contienen información relevante para responder a las preguntas realizadas al inicio de la investigación (ver Tabla 1).
Tabla 1: Resultados de la revisión científica en bases de datos y motores de búsqueda
Fuente Google Scholar Research Gate
Redalyc EBSCO Academia
RIED Dialnet Total
No. Resultados búsqueda 2,510 100 452 6 1,450 10 40 4,568
No. Resultados seleccionados 10 4 2 2 3 2 2 25
Fecha 15/02/17 15/02/17 17/02/17 26/02/17 26/02/17 28/02/17 28/02/17 3
La revisión de la literatura incluye estudios, ideas y propuestas de diversos autores para determinar cómo se evalúa la calidad de MOOCs. Además, se describen los modelos e instrumentos que se han adoptado del e-learning a la calidad de MOOC. Por último, se identifican las relaciones o similitudes encontradas en las fuentes seleccionadas. 3.1.
Para Gea (2015): “el aseguramiento de la calidad viene dado por una metodología para el diseño del curso siguiendo unas pautas bien establecidas: planificación, guías, elaboración del material siguiendo estándares de calidad y accesibilidad, apoyo docente, evaluación [SKAM13]”, (Gea, 2015, p.15). El mismo autor indica que una aproximación más directa a la calidad de cursos MOOC, sería utilizar indicadores de calidad de la modalidad a distancia: • Planificación: identificación, duración, horas y guías didácticas de apoyo • Diseño: contenidos, recursos didácticos, herramientas de comunicación y actividades • Tutorización y seguimiento: comunicación, incidencias, soporte y tutorías • Evaluación: por pares, autoevaluación, final, por logros… • Incluir soporte de formación y apoyo al profesorado
Por otro lado,
Zapata (2015) al igual que
Las propuestas más recientes de la literatura presentan un panorama completo para valorar la calidad de los MOOCs a través de una serie de variables y perspectivas. Por ejemplo, Jansen, Roswell y Kear (2016) sugieren que la calidad de los MOOCs se puede considerar desde cuatro perspectivas: (1) la calidad desde el punto de vista del estudiante (expectativas del estudiante, metas, comportamientos de aprendizaje y habilidades), (2) la calidad vinculada al marco pedagógico del MOOC, (3) la calidad relacionada a los elementos de entrada (diseño instruccional, recursos, preguntas de opción múltiple, evaluación, tecnología empleada y la calidad del profesor) y (4) la calidad del profesor y la calidad basada en el resultado (número de estudiantes que completan el MOOC o los que logran obtener la certificación).
De igual forma, Hood y Littlejohn (2016) plantean un modelo basado en las tres variables de Biggs (1993), las cuales conceptualizan la educación como un complejo conjunto de ecosistemas que interactúan: (1) Variables de presagio: son los recursos que van dentro del proceso de enseñanza y aprendizaje como la plataforma, proveer un instructor y el estudiante, (2) Variables del proceso: están asociadas con las variables de presagio como la pedagogía y el diseño instruccional y (3) Variables del producto: se refiere a los resultados del proceso educativo, el aprendizaje y aprendices. 3.2.
Las fuentes consultadas para determinar los distintos modelos y herramientas de la
evaluación de la calidad fueron tomadas de los autores: Read y Rodrigo (2014),
Uno de los principales aportes en relación a modelos de calidad de los MOOCs, fue realizado por los autores Read y Rodrigo (2014). En el modelo de la primera edición de la iniciativa UNED MOOC, se evaluaron seis aspectos y se hicieron correcciones de acuerdo con los resultados: 1. Tema, cada curso debía ser específico. Los cursos que eran muy amplios se simplificaron y se dividieron en propuestas de más de un curso. 2. Contenidos, en muchos casos los materiales preparados por el autor del curso fueron adaptados al curso MOOC. 3. Duración, se consideró un tiempo de duración de 25 a 125 horas. 4. Estructura del curso, dependiendo de los objetivos y la duración, este se dividió entre 4 a 8 módulos y cada uno tenía de 4 a 8 videos con actividades y evaluaciones. 5. Diseño instruccional, en el curso se retaba al estudiante a formar parte de su proceso de enseñanza-aprendizaje, la autoevaluación se utilizó como método de evaluación. 6. Canales de comunicación, los foros se utilizaron como herramienta principal para la interacción.
El modelo propuesto por
La estandarización de cursos virtuales también puede aplicarse en la evaluación de
cursos MOOC. La organización Internacional de estandarización (ISO) define
estandarización como la actividad que tiene por objeto establecer, ante problemas reales o
potenciales, disposiciones destinadas a usos comunes y repetidos, con el fin de obtener un
nivel de ordenamiento óptimo en un contexto dado, que puede ser tecnológico, político o
económico
La UNE 66181:2012 - Gestión de la Calidad de la Formación Virtual, es una norma que pretende servir como guía para identificar las características de las acciones formativas virtuales, de forma que los usuarios puedan seleccionar los cursos que mejor se adapten a sus expectativas, y que las organizaciones educativas puedan mejorar su oferta y, con ello, la satisfacción de sus alumnos.
Además de los modelos y herramientas, existen iniciativas europeas que ofrecen recursos para evaluar la calidad. OpenupEd es una iniciativa abierta sin fines de lucro fundada por European Association of Distance Teaching Universities (EADTU) con el apoyo de la Comisión Europea, la cual pretende establecer una marca de calidad distintiva (Quality label) que promocione la diversidad, para facilitar la educación me- diante los cursos MOOC (http://www.openuped.eu/es/). El objetivo de la OpenupEd Quality Label es incentivar la mejora de la calidad para los MOOC y sus proveedores a través de la marca E-xcellence. Está marca ofrece una serie de herramientas, un manual y una orientación rápida de autoevaluación en línea (quick scan), que brinda soporte a un proceso de revisión basado en un número de puntos de referencia. La autoevaluación contiene 35 puntos de referencia que se dividen en seis áreas: dirección estratégica, diseño curricular, diseño del curso, impartición del curso, apoyo al personal y apoyo al estudiante. Adicional, el manual proporciona un texto de soporte que detalla los indicadores de buenas prácticas (Roswell y Jasen, 2014).
Otra iniciativa, es el MOOC Quality Project de la Fundación Europea de la calidad en
el e-learning (EFQUEL), la cual trata de abordar la temática de calidad en MOOCs a través
de un blog que presenta una serie de artículos, en donde participan expertos y partes
interesadas en el campo. Algunos temas que se han discutido en el blog se relacionan con
la información previa al curso, el grupo objetivo indefinido de los MOOC, el compromiso
requerido del estudiante, aprendizaje entre pares y nivel de interacción de los estudiantes
Tabla 2: Cuadro comparativo de la evaluación de calidad en MOOCs por autor
Autor
Conole (2013)
Read & Rodrigo (2014)
Gea (2015) Ramíraz (2015)
Zapata (2015)
Hood & Littlejohn (2016) Jansen, Roswell & Kear (2016)
Perspectiva pedagógica x x x x x x x x
Perspectiva didáctica x x x x x x x x
Perspectiva técnica x x x x 4
En conclusión, esta revisión de la literatura ha mostrado que las investigaciones encontradas, coinciden en que, para evaluar la calidad en los MOOCs se deben considerar criterios que evalúen aspectos pedagógicos, didácticos y técnicos de los cursos, que también, son utilizados por los modelos para evaluar la calidad en elearning.
Las primeras propuestas encontradas en la revisión de la literatura evalúan la calidad de MOOCs desde la perspectiva pedagógica, que incluye criterios de la estructura del curso, contenidos y la actividad formativa, mientras que las publicaciones actuales sugieren evaluar la calidad de los MOOC desde la perspectiva del estudiante (Jansen, Roswell & Kear; Hood & Littlejohn, 2016) ya que una de las características principales de los MOOCs es, que tiene una amplia variedad de estudiantes con diversas motivaciones. Además, todas las propuestas y modelos contienen criterios que evalúan la calidad desde una perspectiva pedagógica y didáctica, no así desde la perspectiva técnica.
Dentro de la literatura se han encontrado cinco propuestas de modelos que evalúan la calidad de los MOOC que datan del año 2013 al 2016, los cuales contienen características específicas sobre aspectos a tomar en cuenta para el diseño del curso, de estos modelos uno se basa en la certificación AENOR a través de la norma UNE 66181 (Gestión de la Calidad de la Formación Virtual).
Así mismo, dentro de las fuentes encontradas se mencionan iniciativas europeas que han abordado el tema de calidad en MOOCs, a través de información, orientaciones y herramientas que proporcionan indicadores básicos de calidad.
En la literatura aún no se han encontrado modelos de evaluación de calidad por parte de instituciones latinoamericanas. La mayoría de iniciativas y universidades que tratan los temas relacionados con la calidad de MOOCs son únicamente del ámbito europeo. A pesar de ello, se comprueba que la experiencia de estas universidades en el campo de la planeación, diseño e implementación de proyectos virtuales, ha sido trasladada a la creación de MOOCs, tomando en cuenta los criterios pedagógicos, didácticos y académicos que han desarrollado. 5
Este trabajo fue patrocinado por: FONDECYT (Chile) N 11150231, el proyecto MOOC-Maker (561533-EPP-1-2015-1-ES-EPPKA2-CBHE-JP), el proyecto ACAI-LA (561997-EPP-1-20151-ES-EPPKA2-CBHE-JP) y el CONICYT DOCTORADO NACIONAL 2016/21160081 6 1. 2.