=Paper=
{{Paper
|id=Vol-117/paper-5
|storemode=property
|title=Adapting Software Engineering Reusability Metrics to Learning Objects
|pdfUrl=https://ceur-ws.org/Vol-117/paper05.pdf
|volume=Vol-117
}}
==Adapting Software Engineering Reusability Metrics to Learning Objects==
https://ceur-ws.org/Vol-117/paper05.pdf
Adapting Software Engineering Reusability Metrics to
Learning Objects
Juan J. Cuadrado-Gallego
Departamento de Informática, Universidad de Valladolid
40005, Plaza de Santa Eulalia, 9, Segovia, Spain
jjcg@infor.uva.es
Abstract. Reusability is considered to be an essential characteristic of learning
objects, which are the central notion of current approaches to standardized
learning content design. In consequence, measurement instruments for learning
object reusability should be developed for the sake of quality assessment and
also to serve as criteria to choose between alternate designs. In this paper, the
applicability of metrics borrowed from the field of Software Engineering is
analyzed, providing analogies for several metrics that can be given an interpre-
tation in terms of learning objects.
Adaptación de las Métricas de Reusabilidad de la
Ingeniería del Software a los Learning Objects
Juan J. Cuadrado-Gallego
Departamento de Informática, Universidad de Valladolid
40005, Plaza de Santa Eulalia, 9, Segovia, España
jjcg@infor.uva.es
Resumen. La reusabilidad se considera una característica esencial de los
learning objects, los cuales constituyen la idea central de las aproximaciones
actuales a la estandarización del diseño de contenidos de aprendizaje. En
consecuencia, los instrumentos de medida de la reusabilidad de los learning
objects deberían ser adoptados en función de su validez como evaluadores de la
calidad de los mismos, de tal forma que permitiesen escoger entre varios
diseños alternativos posibles. En este artículo se analiza la aplicabilidad que
diferentes métricas desarrolladas en el campo de la ingeniería del software,
pudieran tener para resolver el problema de la medición de la reusabilidad de
los learning objects.
Introducción
La reusabilidad se considera una característica esencial del concepto de “learning
object”, el cual es considerado como la idea central del diseño moderno de contenidos
digitales de aprendizaje. Por ejemplo, Polsani (2003) incluye la reutilización en su
definición de learning objects como “una unidad independiente y auto contenida de
contenido de aprendizaje que esta predispuesta a ser reutilizada en múltiples
contextos de aprendizaje”, y Wiley (2001) también menciona el término en su
definición de learning object “cualquier recurso digital que puede ser reutilizado para
proporcionar aprendizaje”. Sin embargo, el concepto de la reusabilidad de los learning
objects como un factor de calidad clave en el diseño de contenidos es difícil de
caracterizar y medir, ya que implica no solamente la evaluación de los contenidos por
si mismos (Vargo et al., 2003), sino también un equilibrio entre su usabilidad en
contextos específicos, y la amplitud de los contexto educacionales (Sicilia and García,
2003).
Las especificaciones y estándares actuales se han centrado en la posibilidad de mover
learning objects entre plataformas sin introducir cambios. Pero es portabilidad no está
relacionada con el actual diseño de learning objects para educación, por eso el
seguimiento de este estándar en la práctica puede proporcionar muy pequeña
reusabilidad. La reusabilidad en diversos contextos educacionales requiere un diseño
cuidadoso de los contenidos y sus registros con metadatos asociados, de tal forma que
sean lo suficientemente consistentes y completos (Pagés et al., 2003) para una
selección tanto manual como automatizada.
La reusabilidad puede ser evaluada por las personas considerando tres aspectos
interrelacionados: (a) La calidad de la separación entre contenidos y presentación, la
cual se requiere para una reutilización efectiva en terminos técnicos y de formato, (b)
la calidad del registro de metadatos, especialmente en la facilidad de comprensión y
claridad y la precisión del contexto educacional al cual está especialmente dirigido, y
(c) el diseño de las instrucciones para cada uno de los contextos educacionales a los
que va dirigido. Parece obvio que un proceso fiable y consistente para judgar cada
uno de los tres aspectos mencionados debería ser largo y necesitaría del trabajo de un
experto. De hecho en este proceso podría ser considerado como una versión
estructurada del proceso de revisión conjunta de MERLOT (Cafolla, 2002), mejorado
con herramientas para obtener datos en un formato que pudiera ser tratado por la
máquina. De tal proceso se podrían obtener evaluaciones altamente fiables.
Sin embargo, podrían ser deseables aproximaciones mas ligeras a la evaluación de la
reusabilidad debido a dos importantes razones. Primero, la evaluación podría
idealmente, ser integrada en el diseño del proceso de aprendizaje mismo, mediante la
utilización de las herramientas automatizadas necesarias, o mediante la utilización de
analizadores automatizados útiles para obtener “búsquedas rápidas” que podrían ser
utilizadas como guías para el resto de la evaluación. Y segundo, sistemas software
que automáticamente busquen y compongan learning objects podrían utilizar estas
métricas automatizadas como un criterio de calidad que guiase sus acciones.
Las técnicas de la ingeniería del software, y en particular, la tecnología de objetos,
han sido utilizadas como una fuente de inspiración para el diseño de learning objects
(Sosteric and Hesenmeier, 2002; Sicilia and Sánchez, 2003). Sin embargo, las
analogías son la mayor parte de las veces metafóricas ya que los learning objects y las
instancias de componentes del software tienen difrentes restricciones de uso. Los
learning objects son unas – en un sentido general- particulares piezas de software, p.e.
un posible contenido web con un código script (u otro artefacto similar) para la
interacción. Pero los learning objects (LO) se han pensado para ser utilizados por
personas, y son “objetos de interfaz” en el sentido de que han sido pensados para una
interacción via browser, mientras que los componentes software por ser desarrollados
como artefactos tecnológicos con un interfaz (no confundir con interfaz de usuario)
con una conformidad estricta con el tipo. En conclusión, la intención de un
componente software está empotrada en sus interfaces, mientras que los usos
previstos para los learning objects están (o al menos deberían estar) descritas en sus
(separados) registros de metadatos.
No obstante, algunas de las métricas desarrolladas y utilizadas por la Ingeniería del
Software (IS) en las últimas décadas (Chidamber and Kemerer, 1994) trabajan con
conceptos como dependencias y complejidad que tienen una clara correlación con la
tecnología de learning objects. Esto sugiere que tales IS métricas podrían arrojar
alguna luz sobre el problema de obtener métricas para LO que estén relacionadas
Adaptación de las Métricas de Reusabilidad de la Ingeniería del Software a los Learning
Objects 3
directa o indirectamente con la reusabilidad. En el resto del artículo se revisan algunas
de tales técnicas.
Algunas Métricas de Reusabilidad aplicables a LO
Aunque muchas métricas del software están orientadas a la medición de la utilización
real, sólo unas pocas de ellas describen directamente la reusabilidad (Washizaki et al.,
2003). Aquí se analizarán las métricas clásicas de Chidamber and Kemerer (1994) que
pueden ser utilizadas para medir la reutilización, Métodos Ponderados por Clase
(MPC), Profundidad del árbol de herencias (PAH), Acoplamiento entre Objetos de
las Clases (AOC), y Falta de Cohesión de los Métodos (FCM). En lo que sigue, las
ideas subyacentes de estas métricas son revisadas para intentar encontrar analogías
con el campo de los LO.
La métrica de los MPC resulta de la agregación de las complejidades de los métodos
de una clase dada. Dicha métrica podría ser utilizada como medida de predicción de la
reusabilidad de la clase desde el punto de vista de que “clases con un gran número de
métodos tendrían una mayor dificultad para ser aplicadas en más de una aplicación
específica, lo que limitaría sus posibilidades de reutilización”. Se podrían considerar
las siguientes analogías para esta métrica:
El LO bajo consideración sería análogo a la clase como objeto de análisis
para esta métrica. Esta analogía ha sido también establecida (Sicilia and
Sánchez, 2003).
El concepto de método, como una “capacidad de la clase” puede ser
asimilado al de “actividad interactiva” en el interior de composite learning
object.
Finalmente, la noción de complejidad puede ser fijada en terminos de
“granularidad” de las actividades. Este concepto de granularidad es
dependiente del tipo de contenido bajo consideración, p.e. para textos, puede
ser contado en términos de número de palabras, mientras que para
cuestionarios puede ser medido en términos de número y tipo de cuestiones.
La métrica resultante para LO debería ser consistente con la actuales consideraciones
que sólo LO de “fina granularidad” pueden ofrecer un alto grado de reusabilidad, p.e.
(Wiley, 2003), y la idea de descomposición reflejan conveneitemente los marcos de
agregación tales como SCORM1 o el lenguaje basados en actividades de la
especificaciones del IMS Learning Design2.
La métrica PAH es la cuenta de la profundidad en el árbol de herencias de una clase
dentro de un marco de software. Esta métrica está relacionada con la reusabilidad
desde el punto de vista de que “clases que son más profundas en el árbol de herencia
1 http://www.adlnet.org
2 http://www.imsproject.org
son mas complejas (debido a que tienen probablemente, heredadas mas
características), y así menos predisposición a ser reutilizadas”. Aquí el concepto clave
es que la herencia. Pueden expresarse tipos de learning objects mediante la simple
inclusion de una etiqueta en un campo de metadatos (Learning Resource Type en
LOM3), pero también mediante aproximaciones más potentes, que impliquen una
herencia real de características y propiedades como se ha descrito en (Sicilia et al.,
2004). La profundidad de la herencia como determinante de una mayor complejidad
se aplica de igual modo a los learning objects, ya que la especialización implica
elementos de metadato más detallados, p.ej. una “actividad meta-cognitiva con
cuestionarios” puede definirse como una especialización de “learning object”,
“cuestionario” y “recurso metacognitivo”, requiriendo por tanto descripciones más
detalladas sobre los tres aspectos que recoge.
La métrica AOC es la cuenta del número de clases con las que la clase considerada se
encuentra acoplada. Altos AOC impiden la reutilización ya que van en detrimento del
diseño modular. Esta métrica tiene una traslación directa en términos de relaciones
entre los LO, los cuales pueden ser definidos bajo los marcos actuales de metadatos
como LOM – siempre pesando que se encuentran libres de las ambigüedades descritas
en (Sánchez and Sicilia, 2004). Visto que los registros de metadatos declaran
explícitamente esa, el acoplamiento es fácil de contar automáticamente. Por supuesto,
un gran número de relaciones con otros LO (excepto en el caso de “versionOF”-
como relaciones que no tengan dependencias) tendría como consecuencia que el LO
tiene un gran nivel de granularidad (p.e. esta agregado o compuesto de muchos otros
objetos LO) o que no es autocontenido, en el sentido de que se declaran dependencias
con otros LO los cuales son requeridos para que funcione correctamente el LO bajo
consideración.
Finalmente, la métrica FCM es una medida de la carencia de solapamiento en el uso
de los atributos de una clase. Si los métodos utilizan subconjuntos separados de
atributos de la clase, se podría hacer la hipótesis de que los métodos no están
correctamente agrupados, y que probablemente la clase se podría dividir en muchas
más. Clases con un alto FCM dificultan la reutilización ya que aumentan la dificultad
de comprensión. Para evaluar la utilidad de esta métrica para LO, se requiere una
analogía con los atributos de una clase. Si se considera que diferentes actividades
(métodos) dentro de la clase (LO) tienen en cuenta algunos conceptos que son
objetivos para el aprendiz, podríamos decir que los objetivos de aprendizaje (esto es,
los resultados esperados del proceso de interacción entre el usuario y el learning
object) pueden considerarse metafóricamente como “atributos” de la clase. En
consecuencia, la disparidad de los objetivos (tal y como se recoge en los registros de
metadatos) de las actividades que son parte del learning object son un indicador de
objetivos mal definidos, lo cual va en detrimento de la reutilización, que se guía por
necesidades de aprendizaje discretas y concretas.
3 http://ltsc.ieee.org/wg12/
Adaptación de las Métricas de Reusabilidad de la Ingeniería del Software a los Learning
Objects 5
Conclusiones
La reusabilidad de los LO es un concepto difícil de caracterizar debido su naturaleza
multidimensional, e incluye aspectos como el formato, los contenidos y
consideraciones sobre los metadatos. Esto podría ocasionar que las técnicas de
evaluación de la reusabilidad de los LO fueran sólo aplicables por personas, con el
consumo de esfuerzo que esto acarrearía. Por lo que la búsqueda de técnicas de
evaluación de la reusabilidad de los LO que pudieran ser, al menos en parte,
automatizadas, aparece como algo de gran utilidad. Pueden ser encontradas muchas
analogías entre métricas clásicas de reusabilidad del software y las características
propias de los LO, especialmente la analogía de la granularidad como una forma de
complejidad y las consideraciones con las dependencias de los LO.
La discusión sobre la aplicabilidad de las ideas tomadas de las métricas clásicas del
software al dominio de los LO sugieren que puede merecer la pena el investigar más
en la validez de algunos de los correlatos de las métricas OO en el terreno de los LO,
utilizando datos empíricos obtenidos de repositorios de learning objects. Esto
requeriría metadatos de una calidad mayor que los que actualmente se encuentran de
manera habitual en esos repositorios, y también requeriría la clarificación de varios
aspectos relativos a los learning objects, incluyendo una interpretación consistente de
sus relaciones. En otras palabras, una mejora en las prácticas de creación de
metadatos sería deseable como pre-requisito para la elaboración de métricas de
learning objects fiables.
Referencias
Cafolla, R. Project Merlot: Bringing Peer Review to Web-based Educational
Resources. In Proceedings of the USA Society for Information Technology and
Teacher Education International Conference (2002) pp. 614– 618.
Chidamber, S. and Kemerer, C. (1994). A Metrics Suite for Object Oriented Design,
IEEE Transactions on Software Engineering, 20(6).
Fenton, N. (1991) Software Metrics: A Rigorous Approach, Chapman & Hall, Ltd.,
London, UK.
Pagés, C., Sicilia, M.A., García, E., Martínez, J.J., Gutiérrez, J.M. On The Evaluation
Of Completeness Of Learning Object Metadata In Open Repositories. In: Proceedings
of the Second International Conference on Multimedia and Information &
Communication Technologies in Education (m-ICTE 2003), 1760-1764.
Polsani, P. R. (2003). Use and Abuse of Reusable Learning Objects. Journal of
Digital information, 3(4). Retrieved May 11, 2004 from:
http://jodi.ecs.soton.ac.uk/Articles/v03/i04/Polsani/
Sánchez, S. and Sicilia, M. A. (2004). On the semantics of aggregation and
generalization in learning object contracts. In Proceedings of the 4th IEEE
International Conference on Advanced Learning Technologies - ICALT 2004.
Joensuu, Finland.
Sicilia, M.A. & García, E. (2003). On the Concepts of Usability and Reusability of
Learning Objects. International Review of Research in Open and Distance Learning
4(2).
Sicilia, M.A., Sánchez, S. (2003). Learning Object "Design by Contract". WSEAS
Transactions on Systems, Vol. 2, Issue 3, pp. 612-617.
Sicilia, M.A., García, E., Sánchez, S. and Rodríguez, E. (2004). Describing learning
object types in ontological structures: towards specialized pedagogical selection. In
Proceedings of ED-MEDIA 2004 - World conference on educational multimedia,
hypermedia and telecommunications. Lugano, Switzerland.
Sicilia, M.A., Sánchez, S. 2003. On the concept of learning object "Design by
Contract". WSEAS Transactions on Systems, 2 (3), 612-617.
Sosteric, M. and Hesemeier, S. (2002). When a Learning Object is not an Object: A
first step towards a theory of learning objects. International Review of Research in
Open and Distance Learning Journal, 3(2).
Vargo, J., Nesbit, J., Belfer, K. Archambault, A. (2003). Learning object evaluation:
Computer mediated collaboration and inter-rater reliability. International Journal of
Computers and Applications 25(3).
Washizaki, H., Yamamoto, Y. and Fukazawa, Y. (2003). A Metrics Suite for
Measuring Reusability of Software Components. In: 9th IEEE International
Symposium on Software Metrics
Wiley, D. A. (2001). The Instructional Use of Learning Objects. Association for
Educational Communications and Technology, Bloomington.
Wiley, D. A., Gibbons, A., and Recker, M. M. (2000). A reformulation of learning
object granularity. Retrieved July 2003 from: http://reusability.org/granularity.pdf