OA) se debe a la falta de consenso en cuanto a su significado, diseño y evaluación que permita gestionarlos con eficacia. En este trabajo se presenta una propuesta de gestión de OAs de calidad que propone un diseño instruccional y evaluación de OAs que fue aplicada como caso de estudio.
Numerosas son las investigaciones que se están realizando sobre el concepto de OA, sin embargo, no se aprecia un consenso sobre su significado, requisitos técnicos y pedagógicos, lo cual sumado a estándares que aún se encuentran en desarrollo, ha provocado que la creación y gestión de OAs no sea una práctica común. Ante esta problemática, se sugiere una propuesta para promover la calidad de los OAs a través de un sistema de gestión. El objetivo de este trabajo es presentar la propuesta y su puesta en práctica, destacando los resultados obtenidos para mejorar la calidad de los OAs.
En la sección 2, se presenta un modelo de conocimiento a través del cual se definió el diseño instruccional de un OA (Tema 1), a modo de lección, para apoyar una asignatura a nivel universitario a través de la plataforma Moodle. En la sección 3, se presentan los pasos seguidos para la creación e implementación del OA. La sección 4 presenta un instrumento a través del cual los alumnos valoraron la calidad del OA de forma cualitativa y cuantitativa. Según los resultados obtenidos se presentan los aspectos indicados para mejorar la calidad de los OAs; sobre esta base se diseñó, y evaluó un segundo OA (Tema 2) que corresponde a otra lección sobre el mismo tema, cuyos resultados se analizan en la misma sección. Finalmente, se presentan las conclusiones de dicho estudio y sugerencias para mejorar aún más la calidad de los OAs.
El primer paso para implementar la propuesta de gestión de OAs de calidad [3] fue determinar el contexto en que sería aplicada. Es así como se seleccionaron contenidos impartidos en la asignatura del curso Programación Orientada a Objetos que corresponden al tema "Orientación a Objetos y Reutilización del Software" de la asignatura "Programación Orientada a Objetos", perteneciente a la carrera de "Ingeniería Técnica en Informática de Sistemas" de la Universidad de Salamanca.
El siguiente paso, ha consistido en delimitar objetivos concretos que sirvan para crear OAs como unidad mínima de contenido. Es así como se crearon dos pequeñas unidades conceptuales. La primera de ellas (Tema 1), trata sobre conceptos básicos del tema: "Orientación a Objetos y Reutilización del Software: Aspectos Generales", contenido clasificado como Datos y Conceptos [2].
La segunda parte, correspondiente al Tema 2 "Orientación a Objetos y Reutilización del Software: Ciclo de Vida", tiene un grado mayor de dificultad, pero su contenido también es conceptual, así es que también ha sido clasificado como Datos y Conceptos [2].
Una vez delimitados los objetivos, se han seleccionado los contenidos y actividades para cada unidad siguiendo un modelo de normalización [2]. Sobre esta base, el OA Tema 1, se ha estructurado de la siguiente manera:
• Objetivo: Conocer y comprender definiciones de los conceptos fundamentales de la disciplina de la reutilización sistemática del software, su importancia y utilidad. • Nivel cognitivo: En esta ocasión, por tratarse de una introducción al tema, se ha definido el nivel cognitivo a alcanzar de "conocimientos" de [1],debido a que el tema trata principalmente de conceptos abstractos. Para lograr un nivel de comprensión se han aplicado ejercicios de auto-evaluación en donde los alumnos tienen la oportunidad de reforzar esos conceptos las veces que crean necesario. Posteriormente, se propone un ejercicio de "comprensión" en donde los alumnos deben reflexionar sobre una determinada situación y dar su opinión al respecto en un foro de discusión, actividad en donde se promueven los niveles de conocimiento de "análisis" y "síntesis". Las competencias a lograr, por tanto, deben evidenciar un nivel de "conocimiento" y "actitud" con respecto a una determinada cuestión, que en este caso es su postura con respecto al concepto e importancia de la reutilización.
• Tipo de Contenidos: Los contenidos tratados en este OA pretenden iniciar al usuario en el tema de Programación Orientada a Objetos. Sobre esta base, se abordan conceptos claves, características, hechos, etc. por tanto, son clasificados como "Datos y Conceptos", tal como muestra la figura 1 [2], [5]. • Resumen: Para ayudar en la comprensión de los conceptos, el diseño de los contenidos contempla algunos esquemas y cuadros comparativos que destacan las principales ideas. • Actividades de Práctica: Se han diseñado actividades de práctica de tipo selección múltiple y verdadero o falso. A través de estas actividades, se pretende reforzar los contenidos tratados.
• Actividades de Evaluación: Se realiza una actividad de reflexión en donde los alumnos deben expresar su pensamiento y compartirlo con sus compañeros para conseguir una realimentación entre todos a través del foro de discusión. A través de esta actividad, se promueven los niveles cognitivos de análisis y síntesis • Modalidad de Trabajo: En principio la modalidad es individual porque los alumnos interactúan con los contenidos y los refuerzan a través de las actividades de auto-evaluación. Posteriormente, se promueve una modalidad de trabajo grupal a través de los foros de discusión en donde los alumnos tienen la opción de exponer sus reflexiones y dudas, que son compartidas y discutidas por sus pares y profesor. • Estrategia: La estrategia en las actividades de práctica es de lectura y ejercicios de auto-evaluación. En el caso de las actividades de evaluación, los alumnos también requieren la lectura del texto para luego expresar sus propias reflexiones en el foro.
Figura 1. Modelo de conocimiento para la normalización del OA Tema 1.
Una vez terminado el diseño de los OAs, éstos fueron creados con Dreamweaver MX 2004 para luego ser estructurados y empaquetados según la especificación SCORM [8] a través del software Reload Editor. Una vez empaquetado el OA se importó a la plataforma Moodle (http://www.moodle.org) para su distribución. El sistema de gestión de cursos Course Management System (CMS) ó LMS MOODLE, es un paquete de software diseñado para ayudar al profesor a crear fácilmente cursos en línea. Se ha seleccionado esta herramienta por su facilidad de actualización y su diseño modular, características idóneas para esta propuesta.
Para evaluar el aprendizaje durante su proceso [3] se crearon foros de discusión en donde los alumnos podían comentar su experiencia de aprendizaje y posibles dudas sobre el temario.
Las actividades de práctica se desarrollaron para reforzar contenidos a través de un cuestionario de auto-evaluación, con ítems de verdadero o falso y selección múltiple. Finalmente, la evaluación del OA durante el proceso de interacción se llevó a cabo a través de la herramienta que muestra la figura 2 [2] que será explicada en la sección 4.
A través del OA creado con la especificación SCORM [8], los alumnos tuvieron una versión navegable de los contenidos. Esto es debido, a que se habilitó una sección donde se encuentra el tema como OA de acuerdo al formato de SCORM.
Los contenidos del OA se crearon además en formato "pdf" para así contar con una versión imprimible que facilitase el estudio de los contenidos. Para reforzar los conceptos, a manera de realimentación, se ha incluido una sección de autoevaluación, que presenta un conjunto de preguntas de selección múltiple y otro de verdadero o falso. No se trata de una actividad evaluada u obligatoria, sino de refuerzo de contenidos. El alumno puede conocer inmediatamente la respuesta y si lo desea puede volver a repetir el cuestionario.
Se incluye además una actividad evaluativa sobre los contenidos teóricos del OA, con el objetivo de lograr reflexionar sobre los mismos, para ello se le pide al alumno que explique con sus propias palabras, a través de un foro de discusión, algunas cuestiones expresadas en el texto. De esta manera, es posible conseguir una realimentación entre todos. Para conocer las opiniones de los alumnos durante el proceso de enseñanza, se habilitó una sección de foros donde se podía consultar o debatir sobre tres asuntos.
• Respuestas a la evaluación: Lugar donde se responde a la actividad evaluativa, es decir, que a través de este foro se debía responder a la actividad de evaluación planteada en el OA. • Dudas del proceso de seguimiento y evaluación del tema: Lugar para consultar dudas sobre cómo realizar la evaluación del OA a través del instrumento. • Dudas del contenido del tema: Lugar para responder dudas del contenido teórico.
Según la literatura sobre evaluación de recursos educativos y OAs [6], [9], [11], [12], se diseñó el instrumento que muestra la figura 2, a través del cual se pretende valorar su calidad desde el punto de vista de los usuarios con preguntas relacionadas a su satisfacción con respecto a los contenidos, actividades etc. y también con respecto al diseño de la unidad [4]. La herramienta podía ser descargada por los alumnos a través de la plataforma Moodle, para luego calificar cada ítem del 1 al 5 y hacer comentarios al respecto. La figura 2 muestra el resultado final de la valoración de los alumnos por cada ítem y el promedio total que refleja la puntuación final de la calidad del OA Tema 1 por parte de los alumnos.
El rango utilizado para la valoración corresponde a N/S= no sabe; 1 = Deficiente; 2 = Regular; 3 = Aceptable; 4 = Buena y 5 = Muy Buena [3]. El valor final 3,64 está dentro del rango de 3,0 = aceptable y 4,0 = buena, lo cual refleja que el OA es valorado como de buena calidad. Figura 2. Resultado final de la evaluación del OA Tema 1 por parte de los alumnos.
A través de la sección de comentarios de la herramienta de evaluación, ha sido posible recoger diversas apreciaciones de los alumnos con respecto a los ítems descritos o cualquier otro aspecto relacionado con el OA. A continuación, se muestra un listado de estas apreciaciones • Se mencionó la necesidad de contar con un glosario de términos que recogiera los principales conceptos y siglas del texto. • La ventana de los contenidos SCORM tenía una resolución que no permitía ver los contenidos a pantalla completa, y había que utilizar la barra de desplazamiento. El problema del tamaño de las ventanas se debe a que han sido creadas con una resolución de 779x452, es decir adecuada para una pantalla completa estándar de 800x600, pero al subir a la plataforma un archivo SCORM se agrega un índice a la izquierda que disminuye el espacio. • Se mencionó la necesidad de contar con ejemplos que permitiesen ejemplificar los conceptos que por su abstracción son difíciles de comprender.
• Se comentó que una página hecha con tablas dificulta la accesibilidad para personas invidentes. • Los ejercicios de auto-evaluación tuvieron muy buena acogida, incluso algunos alumnos comentaron que deseaban más preguntas y que estas aparecieran en forma aleatoria. • Se manifestó la necesidad de destacar aspectos importantes del texto con estilos negrita, subrayado, colores, etc. • Con respecto a la evaluación del recurso se mencionó que el cuestionario no deja claro los aspectos a evaluar, es decir, se debe explicar más claramente cada criterio. Como respuesta a esta cuestión, para evaluar el siguiente OA "Tema 2", se rediseñó el instrumento de evaluación tal como muestra la figura 4. • Se comentó en un caso que los contenidos teóricos contaban con demasiadas referencias.
Como puede observarse, los comentarios han sido diversos. Algunos de ellos son perfectamente aplicables al diseño del OA, como por ejemplo, la creación de un glosario, el ajuste del tamaño de las ventanas, ejemplos para complementar los conceptos abstractos, la no inclusión de tablas en el diseño, mejorar las autoevaluaciones, los estilos de letra y los colores de las páginas. Sobre la base de estos comentarios se realizaron algunas modificaciones para la creación del segundo OA Tema 2.
El contexto del OA del Tema 2 es el mismo en el que se implementó el OA correspondiente al Tema 1, esto es debido a que se trata del contenido teórico siguiente, es decir, otro OA como parte de un módulo de la asignatura.
En esta ocasión, el contenido es un poco más complejo puesto que tiene como requisito el contenido del OA anterior, sin embargo, su contenido sigue siendo de tipo conceptual. Sobre esta base, para diseñar el OA se ha realizado el proceso de normalización que muestra la figura 3, el cual consiste en uniformar los componentes del diseño instruccional para dar un nivel de granularidad uniforme a los OAs [1].
El contenido del OA del Tema 2, se diseñó tal como muestra la figura 3 y luego se creó, al igual que el OA del Tema 1 utilizando Dreamweaver. Sobre la base de las sugerencias de mejora obtenidas en la valoración del OA Tema 1, se realizaron algunas modificaciones para la creación del OA Tema 2:
• Se cambió y agrandó el tipo de letra.
• Se destacó información relevante, mediante subrayados, estilos negrita y cursiva. • Se agregaron acrónimos y lecturas complementarias.
• Se agregaron más y diversas preguntas de auto-evaluación. La figura 4, muestra el resultado final de la valoración de los alumnos para cada criterio. El promedio de estas valoraciones refleja la puntuación final de la calidad del OA por parte de los alumnos. Este valor 3,66 está dentro del rango de 3,0 = aceptable y 4,0 = buena. Sin embargo, se inclina más hacia este último valor.
Se han realizado diversos comentarios apoyando la inclusión de las secciones de referencias, acrónimos y lecturas complementarias en caso de que el alumno desee obtener más información acerca del tema específico que se trate. Según los datos de la figura 4, el OA Tema 2 fue mejor valorado que el primero en los siguientes aspectos:
• NAVEGACIÓN: La navegación ha sido apropiada e intuitiva (fácil acceso, enlaces orientativos, etc.). (Técnico-Funcional).
• DESCRIPCIÓN: La descripción del tema ha sido adecuada (resumen, introducción, etc.). (Didáctico-Curricular). • ACTIVIDADES: Las actividades y auto-evaluación han sido claras y significativas para el aprendizaje. (Didáctico-Curricular). • PARTICIPACIÓN: Se ha explicado claramente mi participación en el tema.
(Psicopedagógicos).
Me mantuve motivado durante la realización de la lección Los aspectos que obtuvieron la misma valoración en ambos fueron:
• El diseño de los contenidos fue claro e intuitivo (colores, tamaño letra, etc.). (Técnico-Funcional). • Me mantuve motivado durante la realización del tema. (Psicopedagógicos).
Finalmente, los aspectos que fueron menos valorados en el OA Tema 2 en relación al primero fueron:
• He alcanzado los objetivos propuestos en el tema. (Didáctico-Curricular)
• El nivel de dificultad fue adecuado a mis conocimientos previos. (Psicopedagógicos) • Los contenidos fueron consistentes (adecuados a los objetivos, referencias que lo avalen, etc.). (Didáctico-Curricular) • Nivel de interactividad: adecuado para el logro del objetivo. (Técnico-Funcional). • He obtenido realimentación de los contenidos (a través de foros, actividades, etc.). (Didáctico-Curricular)
Los aspectos que fueron más valorados en el OA Tema 2, superan ampliamente al primer OA estando dentro del rango de "buena" calidad. En cuanto a los menos valorados, estos se encuentran dentro del rango de evaluación "buena" y "aceptable". La mayoría recae en aspectos Didáctico-Curriculares que tienen relación entre sí. El nivel de dificultad del OA Tema 2 puede haber sido mayor en relación a los conocimientos de los alumnos, lo cual puede ser una consecuencia de la gran cantidad de texto en los contenidos con escasa interactividad. Para realimentar los contenidos se utilizaron los foros donde podían preguntar sus dudas y opinar. Por otra parte, los alumnos contaron con auto-evaluaciones de refuerzo.
Según los comentarios de los alumnos, los foros son un buen medio de realimentación. Las auto-evaluaciones tuvieron una buena aceptación incluso solicitaron más preguntas y con mayor nivel de complejidad. Sin embargo, es probable que sea necesario incluir además ilustraciones que clarifiquen las ideas de los contenidos teóricos y según sea el objetivo aumentar la interactividad con los contenidos de los OAs.
Para implementar los OAs Tema 1 y Tema 2, se han realizado los mismos pasos de diseño y creación. Sin embargo, el Tema 2 tiene un mayor grado de complejidad que el primero debido a que se trata del contenido teórico siguiente al Tema 1. A pesar de ser OAs independientes, en este caso el OA Tema 1 es prerrequisito del Tema 2. Sin embargo, para un curso más avanzado sobre "Programación Orientada a Objetos" es posible comenzar desde el segundo OA y agregar otros más complejos.
Para un adecuado diseño de los OAs, se siguió un modelo de conocimiento que considera los componentes necesarios para un adecuado diseño instruccional: introducción, contenidos, actividades de práctica y evaluación. Además en el OA Tema 2, se agregaron las secciones de referencias, acrónimos y lecturas complementarias que según la valoración final tuvieron muy buena acogida.
Al igual que en el OA Tema 1, se utilizaron foros para realizar una valoración del OA durante el "proceso" de enseñanza cuyo resultado arrojó una participación activa ya que según comentaban los alumnos este medio no les intimidaba a intervenir a diferencia de las clases presenciales. La valoración cuantitativa arrojada por el instrumento fue útil para identificar los criterios que eran mejor y peor evaluados dentro de categorías concretas a través de las cuales es posible mejorar el OA con la participación del o los expertos en esas categorías.
Es importante destacar que debido a que los OA se forman a partir de elementos tales como imágenes, vídeos, materiales Web, etc. Es necesario hacer accesibles todos estos contenidos elaborándolos de acuerdo a las pautas necesarias. Se puede decir que página o sitio Web es accesible cuando está diseñada para que sus contenidos y servicios estén disponibles para cualquier usuario y le permitan interactuar de forma total, independientemente de sus condiciones personales, o contexto de navegación. De modo que si pretendemos dotar de calidad a los OAs deberemos atender los aspectos relacionados con accesibilidad Web y Diseño Universal en sus contenidos. Para ello, será necesario construir los contenidos atendiendo a las técnicas fundamentales que cumplan las pautas de desarrollo de contenido Web Accesible tales como las Web Content Accesibility Guidelines (WCAG) y que promueve que promueve la iniciativa WAI (Web Accesibility Initiative) [10], pero estas técnicas no garantizan la adecuación ni son la única forma de que un autor pueda producir contenido adecuado.
De manera que la evaluación de la calidad de un OA, ha de incluir junto a lo descrito a lo largo del artículo, aspectos de accesibilidad y la usabilidad. Así en cuanto a valoración de la accesibilidad se incluiría algún parámetro que diese cuantía del nivel de accesibilidad alcanzado de manera general (A, AA, AAA). La accesibilidad de las páginas podría revisarse de manera automática a través de herramientas como Bobby de Watchfire (http://bobby.watchfire.com/), Cynthia Says (http://www.cynthiasays.com), TAW de la Fundación CTIC y el SIDAR (http://www.usablenet.com), LIFT de UsableNet (http://www.usablenet.com), WAVE de Temple University Institute on Disabilities y WebAIM (http://www.wave.webaim.org/).
Por otra parte, es posible valorar aspectos relacionados con el cumplimiento de los lenguajes de marcado utilizados, que pueden ser evaluados por herramientas genéricas de valoración de lenguajes de marcado tales como Markup Validation Service v0.6.7 ó HTML Tidy http://www.w3.org/People/Raggett/tidy/. La utilización de hojas de estilo en cascada (CSS) y si es el caso su correspondiente validación a través de herramientas tales como CSS Validation Service 2.0. http://jigsaw.w3.org/css-validator/. Aspectos de validación de contrastes de color en el diseño, que pueden ser medidos con herramientas tales como Colorblind Web Page Filter (http://colorfilter.wickline.org/) o Color Check (http://www.etre.com/tools/colourcheck/) y tantos otros aspectos que pueden mecanizarse. Igualmente resulta de especial interés poder probar los OAs correspondientes con usuarios expertos en aspectos de usabilidad y accesibilidad, conocido como métodos manuales, así como con usuarios con algún tipo de discapacidad que puedan detallar aspectos reales en contextos específicos de uso de los mismos. Con respecto a su usabilidad [6] propone una serie de consejos para facilitar al usuario la interacción con las páginas.
Por otra parte, la calidad de los OAs no sólo tiene que ser promovida con criterios de evaluación, sino también sobre su gestión como un proceso, tal y como señalan Ovelar, Monge y Azpeitia [7] es necesario tener presente el ciclo de vida del OA, no sólo los aspectos relacionados a su uso y creación.
Agradecimientos. Este trabajo es parcialmente financiado por el Ministerio de educación y Ciencia, como también por proyecto FEDER Keops (TSI2005-00960) y el proyecto de la Junta de Castilla y León SA056A07.