=Paper= {{Paper |id=Vol-1836/p8 |storemode=property |title=Calidad en Cursos Abiertos Masivos y en Línea. Revisión de Literatura del 2012 - 2016 |pdfUrl=https://ceur-ws.org/Vol-1836/8.pdf |volume=Vol-1836 |authors=Alejandra Meléndez,Mariela Román,Mar Pérez-Sanagustín,Jorge J. Maldonado |dblpUrl=https://dblp.org/rec/conf/emoocs/MelendezRPM17 }} ==Calidad en Cursos Abiertos Masivos y en Línea. Revisión de Literatura del 2012 - 2016== https://ceur-ws.org/Vol-1836/8.pdf
    Actas de la Jornada de MOOCs en español en EMOOCs 2017 (EMOOCs-ES)


       Calidad en Cursos Abiertos Masivos y en Línea.
            Revisión de literatura del 2012 - 2016

           Alejandra Meléndez1, Mariela Román,1, Mar Pérez-Sanagustín.2,
                              Jorge J. Maldonado.2,3

                  1 UPANA Virtual, Universidad Panamericana, Guatemala
2 Departamento de Ciencias de la Computación, Pontificia Universidad Católica de Chile, Chile
   3 Departamento de Ciencias de la Computación, Universidad de Cuenca, Cuenca, Ecuador

{amelendez,mroman}@upana.edu.gt;                     {mar.perez,jjmaldonado}@uc.cl



       Resumen: Los Cursos Abiertos Masivos y en Línea (MOOCs) son materiales
       educativos que han posibilitado la configuración de nuevos escenarios educativos,
       tanto presenciales como virtuales. Sin embargo, son pocas las aproximaciones que
       existen actualmente en la literatura para evaluar la calidad de este tipo de
       materiales educativos. En este trabajo, a partir de una revisión sistemática de la
       literatura a contar del 2012 al 2016, se presentan las iniciativas más relevantes que
       se están utilizando para evaluar la calidad de los MOOCs. Los resultados apuntan
       a que este tema, sigue siendo poco tratado en la literatura y las aproximaciones
       existentes, son una adaptación de los modelos de calidad en e-learning centrados
       en aspectos didácticos y pedagógicos.


       Palabras clave: MOOCs, Evaluation, Quality, ISO standards, Instructional
       Design


1      Introducción

Cualquier discusión sobre calidad en temas de educación es desafiante, puesto que la
calidad no es objetiva y es una medida que se establece para un propósito específico. A
su vez, este propósito puede cambiar dependiendo del contexto, de las instituciones, de
los actores y de los estudiantes, quienes tienen distintos puntos de vista y, en
consecuencia, evalúan la calidad a través de distintos lentes (Hood & Littlejohn, 2016).
Además, la presencia de las Tecnologías de la Información y Comunicación (TIC) están
configurando nuevos escenarios educativos, obligando a las instituciones de educación
superior a incorporarlas en sus procesos de enseñanza y aprendizaje, por las
posibilidades didácticas, pedagógicas y comunicativas que ofrecen a los estudiantes
(Guerrero, 2015). En este sentido, los Cursos Masivos Abiertos y en Línea (MOOCs),
surgen como una tendencia disruptiva sobre las convenciones y principios
predominantes, tanto de la educación presencial como en línea. Hoy en día, este tipo de
cursos ya forman parte del panorama actual de muchas instituciones de educación



                                                                                               72
    Actas de la Jornada de MOOCs en español en EMOOCs 2017 (EMOOCs-ES)

superior. Estas instituciones se han visto obligadas a definir nuevos procesos de
producción que se adapten a su contexto.
   Al igual que cualquier otro curso, los MOOC contienen una estructura basada en
objetivos de aprendizaje, contenidos, actividades y evaluaciones (puede verse a los
MOOC como un Objeto de Aprendizaje (sic) de granularidad gruesa, Maldonado &
Astudillo, 2014). La similitud de un MOOC con un objeto de aprendizaje, sugiere que
los MOOC pueden ser producidos y evaluados siguiendo los estándares de calidad
definidos para un curso de e-learning dadas sus características (Roswell & Jasen, 2014;
Gea, 2015). Entonces, es posible identificar criterios para aproximar el análisis de la
calidad de un MOOC, tanto como producto y como proceso.
   Como producto, los criterios deben estar centrados desde el punto de vista de su
producción (el objeto mismo), y como proceso, los criterios deben estar centrados en el
desarrollo del objeto (Lavin, Del Solar, Fischer & Ibarra, 2002). Así, los criterios de
evaluación pueden cimentarse sobre aspectos didácticos (materiales del MOOC),
pedagógicos (diseño instruccional) y técnicos (plataforma).
   La evaluación de la calidad en MOOCs es un tema poco tratado en la literatura y las
aproximaciones existentes, son una adaptación de los modelos de calidad en e-learning
(Roswell y Jasen, 2014). Estos, han proporcionado una base variada sobre los aspectos
didácticos, pedagógicos y técnicos que se utilizan para evaluar la calidad. Sin embargo,
estos criterios no siempre se pueden adaptar de forma directa en el proceso de
producción de un MOOC.
   Con el fin de analizar las aproximaciones existentes para evaluar la calidad de los
MOOCs, en este estudio se propone realizar una revisión sistemática a contar desde el
año 2012 hasta el año 2016. Esta revisión tiene como objetivos: (1) proporcionar una
visión global sobre el estado actual de las iniciativas de modelos y herramientas para la
evaluación de MOOCs e (2) identificar los modelos y herramientas para la evaluación
de MOOCs que han sido utilizadas por diferentes instituciones educativas que ofrecen
estos cursos. Concretamente, se plantean las siguientes preguntas de investigación para
dirigir el análisis sistemático:
   1) RQ1: ¿Cómo se evalúa la calidad de los MOOCs en los artículos publicados
        entre los años 2012 al 2016?
   2) RQ2: ¿Qué modelos o herramientas se han desarrollado para evaluar la calidad
        de los MOOCs entre los años 2012 al 2016?
   El artículo se estructura de la siguiente manera: la sección 2 presenta la metodología
del estudio, la sección 3 los resultados de la literatura y la sección 4 las conclusiones y
discusión.


2      Metodología

La metodología utilizada para guiar el proceso de investigación es el método de revisión
sistemática de la literatura. Se han seguido los lineamientos propuestos por Kitchenham
(2004), que propone organizar la revisión sistemática en tres fases que se componen de
distintos pasos:




                                                                                        73
    Actas de la Jornada de MOOCs en español en EMOOCs 2017 (EMOOCs-ES)

(1) Planear la búsqueda: a) se desarrolló un protocolo de revisión, en el que se
    identificaron las necesidades de la búsqueda para delimitar el campo de estudio
    acerca de los modelos y herramientas para evaluar la calidad de los MOOCs, luego,
    b) se formularon las preguntas de investigación para dirigir el estudio y c) se
    delimitó el período de búsqueda entre el año 2012 hasta el 2016.
(2) Realizar la búsqueda: En esta fase se incluyeron: a) artículos electrónicos
    publicados en revistas científicas y congresos tanto en español como en inglés,
    utilizando bases de datos científicas relacionadas con la tecnología educativa:
    EBSCO, Redalyc, Dialnet y RIED. b) se utilizó el motor de búsqueda de Google
    Scholar, Academia.edu y ResearchGate. c) adicionalmente, se realizó una
    búsqueda en las referencias de los artículos encontrados y seleccionados en las
    bases de datos para identificar otras publicaciones. Las variables que guiaron la
    revisión fueron las asociadas a la calidad de los MOOC (calidad, evaluación,
    diseño instruccional y estándares de calidad) además, se incluyeron palabras clave
    en inglés, tales como: MOOCs, Evaluation, Quality, ISO standards, Instructional
    Design. d) Se definieron las cadenas de búsqueda (p.e. [MOOCs] AND [Quality]
    AND [Evaluation]) y se realizó una prueba piloto, con el propósito de depurar la
    estrategía de búsqueda y descartar los artículos que no contenían información
    suficiente en relación a propuestas de evaluación y modelos de calidad en MOOCs.
    De esa forma se identificaron los falsos positivos (artículos seleccionados por la
    búsqueda pero que no responden a los objetivos del estudio), falsos negativos
    (artículos no detectados por la estrategia de búsqueda pero que son de interés para
    el estudio) y dudosos (artículos donde no queda claro si el trabajo es o no de interés
    para los objeticos del estudio). e) Por último, en el proceso de búsqueda y selección
    participaron 4 investigadores relacionados con el área de investigación. El título,
    el resumen y la lista de palabras clave de cada artículo fue leído para determinar si
    el artículo cumplía o no con los criterios de selección determinados.
(3) Reportar la búsqueda: se encontraron alrededor de 4,568 artículos relacionados con
    las variables asociadas a calidad de MOOC, de los cuales se seleccionaron 25,
    puesto que contienen información relevante para responder a las preguntas
    realizadas al inicio de la investigación (ver Tabla 1).

Tabla 1: Resultados de la revisión científica en bases de datos y motores de búsqueda

        Fuente            No. Resultados        No. Resultados              Fecha
                            búsqueda             seleccionados
    Google Scholar            2,510                    10                  15/02/17
    Research Gate              100                     4                   15/02/17
       Redalyc                 452                     2                   17/02/17
       EBSCO                    6                      2                   26/02/17
      Academia                1,450                    3                   26/02/17
        RIED                   10                      2                   28/02/17
       Dialnet                 40                      2                   28/02/17
        Total                 4,568                    25




                                                                                       74
       Actas de la Jornada de MOOCs en español en EMOOCs 2017 (EMOOCs-ES)


3        Resultados

La revisión de la literatura incluye estudios, ideas y propuestas de diversos autores para
determinar cómo se evalúa la calidad de MOOCs. Además, se describen los modelos e
instrumentos que se han adoptado del e-learning a la calidad de MOOC. Por último, se
identifican las relaciones o similitudes encontradas en las fuentes seleccionadas.


3.1.     RQ1: evaluación de la Calidad de los MOOCs en los artículos publicados
         entre 2012 y 2016

Para Gea (2015): “el aseguramiento de la calidad viene dado por una metodología
para el diseño del curso siguiendo unas pautas bien establecidas: planificación, guías,
elaboración del material siguiendo estándares de calidad y accesibilidad, apoyo
docente, evaluación [SKAM13]”, (Gea, 2015, p.15). El mismo autor indica que una
aproximación más directa a la calidad de cursos MOOC, sería utilizar indicadores de
calidad de la modalidad a distancia:
     • Planificación: identificación, duración, horas y guías didácticas de apoyo
     • Diseño: contenidos, recursos didácticos, herramientas de comunicación y
          actividades
     • Tutorización y seguimiento: comunicación, incidencias, soporte y tutorías
     • Evaluación: por pares, autoevaluación, final, por logros…
     • Incluir soporte de formación y apoyo al profesorado
   Por otro lado, Downes (2013) en la publicación “The quality of massive open online
course”, propone que la calidad de MOOC se valore por el resultado de los cursos, a
través de cuatro criterios: (1) autonomía (los alumnos marcan sus propias metas y
objetivos), (2) diversidad (consecuencia de la autonomía), (3) abertura (no hay límites
y los contenidos son fluidos) e (4) interactividad (mezcla entre conexión e
interactividad). El mismo Downes (2014), afirma que el éxito o fracaso del MOOC
depende de lo bien que se responda a estos criterios.
   Zapata (2015) al igual que Margaryan, Bianco y Littlejohn (2014), consideran el
diseño instruccional como un indicador indispensable para garantizar la calidad de los
MOOCs. El diseño debe realizarse con todas las partes implicadas en el proceso y
siguiendo el desarrollo de las siguientes líneas: bases teóricas, práctica formativa
(actividades de enseñanza y de aprendizaje) y la investigación formativa, basada en el
diseño. Además de estas líneas, se deben detallar y contemplar los siguientes aspectos
(Zapata, 2015):
     • Objetivos y epítome
     • Construcción de unidades
     • Construcción de las guías docentes y de las guías didácticas de las unidades
     • Crear y organizar materiales para cada unidad
     • Los tipos y funciones de los profesores en relación con los otros aspectos del
          diseño, y en particular de los profesores asistentes
   Las propuestas más recientes de la literatura presentan un panorama completo para
valorar la calidad de los MOOCs a través de una serie de variables y perspectivas. Por
ejemplo, Jansen, Roswell y Kear (2016) sugieren que la calidad de los MOOCs se puede


                                                                                       75
       Actas de la Jornada de MOOCs en español en EMOOCs 2017 (EMOOCs-ES)

considerar desde cuatro perspectivas: (1) la calidad desde el punto de vista del
estudiante (expectativas del estudiante, metas, comportamientos de aprendizaje y
habilidades), (2) la calidad vinculada al marco pedagógico del MOOC, (3) la calidad
relacionada a los elementos de entrada (diseño instruccional, recursos, preguntas de
opción múltiple, evaluación, tecnología empleada y la calidad del profesor) y (4) la
calidad del profesor y la calidad basada en el resultado (número de estudiantes que
completan el MOOC o los que logran obtener la certificación).
   De igual forma, Hood y Littlejohn (2016) plantean un modelo basado en las tres
variables de Biggs (1993), las cuales conceptualizan la educación como un complejo
conjunto de ecosistemas que interactúan: (1) Variables de presagio: son los recursos que
van dentro del proceso de enseñanza y aprendizaje como la plataforma, proveer un
instructor y el estudiante, (2) Variables del proceso: están asociadas con las variables de
presagio como la pedagogía y el diseño instruccional y (3) Variables del producto: se
refiere a los resultados del proceso educativo, el aprendizaje y aprendices.


3.2.     RQ2: modelos o herramientas que se han desarrollado para evaluar la
         calidad de los MOOCs

Las fuentes consultadas para determinar los distintos modelos y herramientas de la
evaluación de la calidad fueron tomadas de los autores: Read y Rodrigo (2014), Conole
(2013), Martín, González, García (2013), Ramírez (2015). Así mismo, se tomaron en
cuenta las experiencias de instituciones como la Universidad Nacional de Educación a
Distancia de España (UNED) y Universidad Pablo de Olavide de Sevilla, España, la
Fundación Europea para la Calidad en e-learning (EFQUEL), OpenupEd y la Guía
Afortic, para determinar los criterios e indicadores usados para evaluar la calidad.
   Uno de los principales aportes en relación a modelos de calidad de los MOOCs, fue
realizado por los autores Read y Rodrigo (2014). En el modelo de la primera edición
de la iniciativa UNED MOOC, se evaluaron seis aspectos y se hicieron correcciones de
acuerdo con los resultados:
     1. Tema, cada curso debía ser específico. Los cursos que eran muy amplios se
          simplificaron y se dividieron en propuestas de más de un curso.
     2. Contenidos, en muchos casos los materiales preparados por el autor del curso
          fueron adaptados al curso MOOC.
     3. Duración, se consideró un tiempo de duración de 25 a 125 horas.
     4. Estructura del curso, dependiendo de los objetivos y la duración, este se
          dividió entre 4 a 8 módulos y cada uno tenía de 4 a 8 videos con actividades y
          evaluaciones.
     5. Diseño instruccional, en el curso se retaba al estudiante a formar parte de su
          proceso de enseñanza-aprendizaje, la autoevaluación se utilizó como método
          de evaluación.
     6. Canales de comunicación, los foros se utilizaron como herramienta principal
          para la interacción.
   Conole (2013) proporciona el modelo de las 7c, el cual se puede utilizar en el diseño y
en la evaluación de la calidad de MOOCs. Los elementos que conforman el modelo son:
conceptualizar (¿Cuál es la visión del curso?), capturar (revisión de recursos), comunicar


                                                                                        76
    Actas de la Jornada de MOOCs en español en EMOOCs 2017 (EMOOCs-ES)

(mecanismos para fomentar la comunicación), colaborar (mecanismos para fomentar la
colaboración), considerar (estrategias de evaluación), combinar (relacionar distintos
enfoques sobre diseño) y consolidar (implementar y evaluar el diseño en un contexto de
aprendizaje real).
    El modelo propuesto por Martín, González, y García (2013) utiliza como base un
instrumento de la guía Afortic (evaluación de la calidad de la enseñanza online en las
universidades andaluzas) para la evaluación de MOOC. Dicho modelo se fundamenta en
las iniciativas de acreditación y evaluación que se siguen en España, por lo que considera
cinco dimensiones para sus indicadores: (1) planificación de la acción formativa, (2)
programa de la acción formativa, (3) recursos de la acción formativa, (4) desarrollo de la
acción formativa y (5) calidad de los resultados
    La estandarización de cursos virtuales también puede aplicarse en la evaluación de
cursos MOOC. La organización Internacional de estandarización (ISO) define
estandarización como la actividad que tiene por objeto establecer, ante problemas reales o
potenciales, disposiciones destinadas a usos comunes y repetidos, con el fin de obtener un
nivel de ordenamiento óptimo en un contexto dado, que puede ser tecnológico, político o
económico (Hilera y Hoya, 2010, p.19-21). La propuesta de Ramírez (2015), utiliza la
certificación AENOR con la norma UNE 66181, en los cursos de la Universidad Pablo de
Olavide de Sevilla, España.
    La UNE 66181:2012 - Gestión de la Calidad de la Formación Virtual, es una norma que
pretende servir como guía para identificar las características de las acciones formativas
virtuales, de forma que los usuarios puedan seleccionar los cursos que mejor se adapten a
sus expectativas, y que las organizaciones educativas puedan mejorar su oferta y, con ello,
la satisfacción de sus alumnos.
    Además de los modelos y herramientas, existen iniciativas europeas que ofrecen
recursos para evaluar la calidad. OpenupEd es una iniciativa abierta sin fines de lucro
fundada por European Association of Distance Teaching Universities (EADTU) con el
apoyo de la Comisión Europea, la cual pretende establecer una marca de calidad distintiva
(Quality label) que promocione la diversidad, para facilitar la educación me- diante los
cursos MOOC (http://www.openuped.eu/es/). El objetivo de la OpenupEd Quality Label
es incentivar la mejora de la calidad para los MOOC y sus proveedores a través de la marca
E-xcellence. Está marca ofrece una serie de herramientas, un manual y una orientación
rápida de autoevaluación en línea (quick scan), que brinda soporte a un proceso de revisión
basado en un número de puntos de referencia. La autoevaluación contiene 35 puntos de
referencia que se dividen en seis áreas: dirección estratégica, diseño curricular, diseño del
curso, impartición del curso, apoyo al personal y apoyo al estudiante. Adicional, el manual
proporciona un texto de soporte que detalla los indicadores de buenas prácticas (Roswell
y Jasen, 2014).
    Otra iniciativa, es el MOOC Quality Project de la Fundación Europea de la calidad en
el e-learning (EFQUEL), la cual trata de abordar la temática de calidad en MOOCs a través
de un blog que presenta una serie de artículos, en donde participan expertos y partes
interesadas en el campo. Algunos temas que se han discutido en el blog se relacionan con
la información previa al curso, el grupo objetivo indefinido de los MOOC, el compromiso
requerido del estudiante, aprendizaje entre pares y nivel de interacción de los estudiantes
(Creelman, Ehlers, y Ossiannilsson, 2014).


                                                                                          77
     Actas de la Jornada de MOOCs en español en EMOOCs 2017 (EMOOCs-ES)

   La tabla 2, presenta un cuadro comparativo de las perspectivas pedagógica, didáctica y
técnica de acuerdo a los criterios que se encontraron en las diversas propuestas y modelos
presentados por los autores de la literatura y en los que se ven reflejados los criterios
utilizados para evaluar la calidad de los MOOCs.

Tabla 2: Cuadro comparativo de la evaluación de calidad en MOOCs por autor

                Autor                   Perspectiva      Perspectiva         Perspectiva
                                        pedagógica        didáctica            técnica
             Conole (2013)                    x               x
    Martín, González, y García (2013)         x               x
         Read & Rodrigo (2014)                x               x                  x
               Gea (2015)                     x               x
             Ramíraz (2015)                   x               x                  x
              Zapata (2015)                   x               x
        Hood & Littlejohn (2016)              x               x                  x
     Jansen, Roswell & Kear (2016)            x               x                  x


4       Conclusiones y discusión

En conclusión, esta revisión de la literatura ha mostrado que las investigaciones
encontradas, coinciden en que, para evaluar la calidad en los MOOCs se deben
considerar criterios que evalúen aspectos pedagógicos, didácticos y técnicos de los
cursos, que también, son utilizados por los modelos para evaluar la calidad en e-
learning.
   Las primeras propuestas encontradas en la revisión de la literatura evalúan la calidad
de MOOCs desde la perspectiva pedagógica, que incluye criterios de la estructura del
curso, contenidos y la actividad formativa, mientras que las publicaciones actuales
sugieren evaluar la calidad de los MOOC desde la perspectiva del estudiante (Jansen,
Roswell & Kear; Hood & Littlejohn, 2016) ya que una de las características principales
de los MOOCs es, que tiene una amplia variedad de estudiantes con diversas
motivaciones. Además, todas las propuestas y modelos contienen criterios que evalúan
la calidad desde una perspectiva pedagógica y didáctica, no así desde la perspectiva
técnica.
   Dentro de la literatura se han encontrado cinco propuestas de modelos que evalúan
la calidad de los MOOC que datan del año 2013 al 2016, los cuales contienen
características específicas sobre aspectos a tomar en cuenta para el diseño del curso, de
estos modelos uno se basa en la certificación AENOR a través de la norma UNE 66181
(Gestión de la Calidad de la Formación Virtual).
   Así mismo, dentro de las fuentes encontradas se mencionan iniciativas europeas que
han abordado el tema de calidad en MOOCs, a través de información, orientaciones y
herramientas que proporcionan indicadores básicos de calidad.
   En la literatura aún no se han encontrado modelos de evaluación de calidad por parte
de instituciones latinoamericanas. La mayoría de iniciativas y universidades que tratan

                                                                                           78
      Actas de la Jornada de MOOCs en español en EMOOCs 2017 (EMOOCs-ES)

los temas relacionados con la calidad de MOOCs son únicamente del ámbito europeo.
A pesar de ello, se comprueba que la experiencia de estas universidades en el campo de
la planeación, diseño e implementación de proyectos virtuales, ha sido trasladada a la
creación de MOOCs, tomando en cuenta los criterios pedagógicos, didácticos y
académicos que han desarrollado.


5       Agradecimientos

Este trabajo fue patrocinado por: FONDECYT (Chile) N 11150231, el proyecto MOOC-Maker
(561533-EPP-1-2015-1-ES-EPPKA2-CBHE-JP), el proyecto ACAI-LA (561997-EPP-1-2015-
1-ES-EPPKA2-CBHE-JP) y el CONICYT DOCTORADO NACIONAL 2016/21160081


6       Referencias
1.      Aguaded, I., & Medina, R. (2015). Criterios de calidad para la valoración y gestión de
        MOOC. RIED, 18:2, 119-143.
2.      Alario-Hoyos, C., Kloos, C. D., Estévez-Ayres, I., Fernández-Panadero, C., Blasco, J.,
        Pastrana, S., & Villena-Román, J. (2016). Interactive activities: the key to learning
        programming with MOOCs. Proceedings of the European Stakeholder Summit on
        experiences and best practices in and around MOOCs (EMOOCS 2016), 319.
3.      Conole, G. (2013). Los MOOCs como tecnologías disruptivas: estrategias para mejorar la
        experiencia de aprendizaje y la calidad de los MOOCs. Revista científica de Tecnología
        Educativa, II, 16-28.
4.      Creelman, A., Ehlers, U.-D., & Ossiannilsson, E. (2014). Perspectives on MOOC quality-
        An Account of the EFQUEL MOOC Quality Project. The International Journal for
        Innovation and Quality in Learning.
5.      Downes, S. (2013). The Quality of Massive Open Online Courses. Recuperado de:
        http://www.downes.ca/post/66145
6.      EFQUEL. (s/f). European Foundation for Quality in e-learning. Recuperado de:
        http://mooc.efquel.org/the-mooc-quality-project/
7.      Gea, M. (2015). Informe MOOC y criterios de calidad. CRUE-TIC Comisión Sectorial
        de las Tecnologías de la Información y las Comunicaciones, 18:2, 119-143.
8.      Guerrero, C. (2015). UMUMOOC Una propuesta de indicadores de calidad pedagógica
        para la realización de cursos MOOC. Campus Virtuales, Vol. 4, num. 2, pp. 70-76.
9.      Hilera, J., & Hoya, R. (2010). Estándares de e-learning: guía de consulta. Universidad
        de Alcalá
10.     Hoood, N., & Littlejohn, A. (2016). Quality in MOOCs: Surveying the Terrain.
        Commonwealth of Learning, 2-2
11.     Jasen, D., Roswell, J., & Kear , K. (2016). Quality Frameworks for MOOCs. En: M.
        Jemni, Kinshuk & M.K. Khribi (Eds.). Open Education: from OERs to MOOCs. Lecture
        Notes in Educational Technology (LNET). pp. 261-281 Aug 18, 2016. Berlin: Springer
12.     Kitchenham, B. (2004) “Procedures for performing systematic reviews,” Keele UK Keele
        Univ., vol. 33, no. 2004, pp. 1–26.
13.     Lavín, S., Del Solar, S., Fischer, M., & & Ibarra, J. C. (2002). La propuesta CIGA: gestión
        de calidad para instituciones educativas. 23




                                                                                                79
      Actas de la Jornada de MOOCs en español en EMOOCs 2017 (EMOOCs-ES)

14.     Luján, S., & Pernías, P. (2013). Los MOOC: orígenes, historia y tipos. Comunicación y
        pedagogía, 269-270. Recuperado de https://www.centrocp.com/los-mooc-origenes-
        historia-y-tipos/
15.     Maldonado, J., & Astudillo, G. (2014). Los Objetos de Aprendizaje: Un estado del arte
        en Iberoamérica. In VI Conferencia Iberoamericana sobre Tecnologías y Aprendizaje,
        Miami, Estados Unidos.
16.     Martín, O., González, F., García, M. (2013). Propuesta de evaluación de la calidad de los
        MOOCs a partir de la Guía Afortic. Campus Virtuales, 01, II.
17.     Margaryan, A., Bianco, M., & Littlejohn, A. (2014 (Peréz, Maldonado, Rendich, & Peréz,
        2017). Instructional quality of Massive Open Online Courses (MOOCs). ELSEVIER, 77-
        83.
18.     Meléndez, A. Román, M. & Pinillos, R. (2016) Informe sobre estado de arte en relación a
        la evaluación de la calidad de cursos MOOCs. MOOC-Maker. Universidad
        Panamericana, Guatemala.
19.     Muñoz, P., Méndez, E. & Delgado, C. (2014). SPOCs for Remedial Education:
        Experiences at the Universidad Carlos III de Madrid.
20.     Perez-Sanagustín, M. & Hilliger, I. & Alario-Hoyos, C. & Delgado Kloos, C. & Rayyan,
        S. Describing MOOC-based Hybrid initiatives: The H-MOOC Framework. European
        MOOCs Stakeholders Summit EMOOCs 2016.
21.     Pérez-Álvarez, R., Maldonado, J.J., Rendich R., Sapunar D. and Pérez-Sanagustín, M.
        (2017). Observatorio MOOC UC: La adopción de MOOCs en la Educación Superior en
        América Latina y Europa (Under review)
22.     Ramírez, M. (2015). La valoración de MOOC: una perspectiva de Calidad. RIED, 18:2,
        171-195.
23.     Read, T., & Rodrigo, C. (2014). Toward a quality model for UNED MOOCs. (S. P.A.U.
        Education, Ed.) eLearning Papers, 1-8.
24.     Rosewell, J., & Jansen, D. (2014). The OpenupEd quality label: Benchamarks for
        MOOCs. The International Journal for Innovation and Quality in Learning, pp 88-100.
25.     SCOPEO (2013). ―SCOPEO INFORME Nº2: MOOC: Estado de la situación actual,
        posibilidades, retos y futuro. Junio 2013. Scopeo Informe No. 2 Available from:
        http://scopeo.usal.es/wp-content/uploads/2013/06/scopeoi002.pdf




                                                                                              80