Resumen. La automatizaci6n de mEtricas permite minimizer el esfuerzo y los costos en tareas de evaluaci6n, asi como evitar Ios errores e imprecisiones introducidas por el factor humane en la recolecci6n de datos y su ulterior tratamiento. Contar en el proceso de evaluaci6n de sitios Web con una herrarnienta como Website MA Que nos permita gestionar la recolecci6n de datos y el clllculo de las m6rricas automatizables fue uno de nuestros principales objetivos para su desarrollo. En el presente trabajo, nos centraremos en la discusi6n de las m6tricas automatizables por Website MA qua ban intervenido en tres casos de estudio. Adernas, ilustraremos Que soporte da esta herramienta al proceso de evaluaci6n defmido en la metodologfa cuantitatina Website QEM. Finalmente, Se discutirdn aspectos salientes de las m6tricas Web especificadas y de herramientas relacionadas con Website MA.
Desde la perspectiva del aseguramientode calidad de 208productos Web, 208 desarro2)adoresy evaluadores de software Se encuentrancon interesantesdesafios debido al incesante auge de las ap2icacionesy zecno2ogiasWeb. Por lo que es necesario una Claradefxnici6nde requerirnientos tanto funciona2escomo no funciona2esparapoder medir, controlary, potencialmente,mejorar la calidad producida. Los sitios Web, a2 aumentar en interacci6n y funcionalidad, ban pasado de ser tan s61o un medio de presentaci6nde informaci6nestdticaa ser ap2icacionescon al monos la complejidad del software tradicional.Una de las caractensticas a destacar de 2aSap2icacionesWeb es la combinaci6n de diferentes medios y tecnologias para desp2egarsu informaci6ny funcionalidad,que va desde el simple texto, voz e imdgenes, hasta componentes con interacciones comp2ejas (scripts, applets, ActiveX, entre otros). En consecuencia, un empleo no sistemdtico,ad hoc de estos recursos puede acarrear problemas al usuario visitante, Que s61o pretende encontrar informaci6n, navegar, acceder a contenidos y funcionalidadespecificos.
Web visitado, puede ser debido, entre otros aspectos, a la falta de una clara estructura organizativa de su pagina principal (un pobre agruparniento de los controles principales y navegacionales, la ausencia de arributos como una tablade contenidos, un mapa de) sitio o indices), la falta de contenidos relevantes, la baja velocidad en cargar las paginas, la existencia de enlaces rotos o innlidos, etc~ Esto puede conducir a Que el usuario abandone el sitio Web con una imagen deslucida del mismo y hastade la instituci6n visitada.
For otra parte, es diffcil considerer todas las
caracteristicasy atributos deseables y obligatorios de un
sitio Web si no se cuenta con un esquema o modelo de
calidad que nos permits especificar ordenadamentedichas
caracteristicasy atributos.La metodologia Website QEM
(Quality EvaluationMethod) [III, pane de un modelo de
calidad que consiste en Unajerarqufa de requerimientos,
definiendo un enfoque cuantitativo,sistem:itico e integral
para evaluary compararproductos Web (tanto en la fase
operativa como en la fase de desarrollo del ciclo de vida
de un producto).El principalobjetivo de la metodologia es
evaluar y determinarel nine} de curnplirnientode ciertas
caracteristicas de calidad como la usabz.Itdad,
funcionalidad, confiabilidad, cz.encia, mantenibilz`dady
ponabilidad [
Cada una de las m6tricasobtenidas para los atributos
especificados en el modelo de calidad, pueden ser
clasificados en metricas directas e indirectas.Las primeras
son obtenidas a partir de un atributo directo (no
compuesto) de un cote, en tanto qua las segundas serdn el
resultado de aplicar un modelo o ecuaci6n materruiticaa
partir de Una asociaci6n de atributos. Es decir, Una
asociaci6n de atributos estti[ compuesta por atributos
directos~ For otra parte, considerando el tipo de
recolecci6n de datos de las m6tricas definidas, la misrna
puede hacerse de un modo manual, semiautomatico o
automzitico.En el caso de las m6tficas automatizablesde
atributos directos e indirectos podemos utilizer una
herrarnientaCo instrumento) de recolecci6n de datos y
cdlculo. Website-MA [
Entre las metricas automatizablesgestionadas por esta herramientapara los casos de estudio antes citados, se encuentran: cantidad de enlaces rotos, cantidad total de en|aces de an sz"tiop,orcentaje de enlaces rotos de an sitio, cantidad de enlaces rotos distintos, cantidad de p6ginas muertas, cantidad de inaigenes de an sirio con ro alternativo, cantidad total de imaZenes de an sitio, cantidad nzd:l:imdae marcos, entreotras.
desarrolloJava 2 y mediante el empleo del lenguaje WebL {7], de utilidad para recorrerrecursivamente documentos
en cuatro m6dulos principales, a saber: el m6dulo
interfaz entre Java y WebL, y el m6dulo de WebL propiamentedicho. Adetmis de la recolecci6n de datos, la herramientanos brinda la posibilidad de obtenerinformes tabulates y graficos de la informaci6n procesada.
a WebQEM_Tool {14], en su nueva versi6n" ).
especificado en la metodologia Website QEM.
La estructura de este trabajo es la siguiente: en la secci6n 2, comentamos las principales actividades de la metodologia Website QEM, la cOal da an marco conceptual de aplicaci6n a las herrarmentasE.n la secci6n 3, anaJizamos los distintos atributos utiJizados, centrandonos en la discusi6n de aquellos automatizables desde el punto de vista de la recolecci6n de datos y obtenci6n del valor de las m6tricas. En la secci6n 4, describimos los principafes m6dulos funcionales de la herramienta Website MA, considerando aspectos de disefio e implementaci6n. For Oltimo presentaremos la discusi6n del articulo, las consideraciones finales y trabajosfuturos. 2.
La metodologfa Website QEM foe desarrollada a
mediados del 98, con el prop6sito de aportaruna estrategia
eficaz para evaluar y analizar la calidad de sitios o
aplicacionesWeb. Esta basada en un modelo jerarquicode
requerimientosde calidad, partiendo de las caracteristicas
de mIis alto ninel prescritasen la Donna ISO-9126 [
El principal objetivo de esta metodologfa consiste en
evaluar y determiner el nine) de cumplimiento de las
caracterfsticas requendas para lo cual Se analizan las
preferenciasglobales, parcialesy elementales. El resultado
def proceso de evalaaci6n Cy eventualmente de
comparaci6n) puede ser interpretado como el grado de
requerimientos de calidad satisfechos. La metodologfa
comprende una serie de fases y actividades Que los
evaluadores deben Ilevar a cabo en el proceso; entre las
que podemos citar las principalesactividadest6cnicas:
/ . Dnici6n de /as metas de evalaaci6n y selecci6n
del peL de asaario. Los enaluadores deben definir las
metas y establecer el alcance del proyecto de evaluaci6n
Web. La evaluaci6n puede Ilevarse a cabo cantoen la fase
de desarrollocomo en la lase operativadel proyecto, y Se
puede nalorarla calidad de un productocompleto o bien Se
puede valorarla calidad de un conjunto de caracteristicasy
atributos de un componente. Los resultados podran ser
utifizados para comprender,mejorar, controlar o predecir
la calidad de los productos. Por otra parte, la relativa
importanciade las caracterfsticasy atributosdependen del
perfil de usuario seleccionado y del dominio de la
aplicaci6n. Para prop6sitos de evaluaci6n en dominios
Web, hemos considerado tres perfiles de usuario a on alto
nine} de abstracci6n,a sabe{:visitantes, desarroJladores,y
gerenciadores. Siguiendo un mecanismo de
descomposici6n podemos, por ejemplo, dividir a la
categoriavisitante en clases mis especificas CverII 0])"
2, Detinici6n de Los reqaerimientos de call.dnd. Los
evaluadores deben elicitar, acordar y especificar los
atribulos y caracteristicas de calidad que van a ester
presentes en el proceso, agrupdolos en un zirbol de
~ requerimientos. De las caracteristicas 150 arriba
mencionadas derivamos las subcaracteristicasy de estas
podemos especificar atributos con an rninimo
solapamiento. A cada atributo cuantificable del dominio
empirico, le asociamos Una variable en el dominio
numico; esta variable puede cornerun valor real, Que
podsh ser medido y computado [
3. Definicio-nde crz.terz`odse prerencia elementaLesy procedimientos de medici6n. Los evaluadores deben definir Una base de criterios para la evaluaci6nelemental, y realizer el ulterior proceso de medici6n y puntaje elemental. Un criterio de evaluaci6n elemental declare y especifica c6mo medir atributos cuantificables. El resultado final es Unapreferenciao indicador elemental,el cual puede ser interpretadocomo el grado o porcentajedel requerimientoelemental satisfecho. For lo tanto,para cads m6trica de un atributonecesitamos establecer un rango de valores aceptab]es y definir la funci6n de criterio elemental, que producird Una correspondencia entre el valor de la m6trica con el nuevo valor Querepresentala preferencia elemental.
4. Definz`c!6n de estructuras de agregaci6n e
implementacz.6nde la evaluacz.6nglobal, En el paso previo
se producenn preferencias de calidad elemental paralos n
atributos considerados en el arbol de requerimientos.For
lo unto, aplicando un mecanismo de agregaci6n paso a
paso, las preferencias elementales se pueden agrupar
convenientemente para producir al final un esquema de
agregaci6n. Las preferenciasde caZidadparcia2esy global
se pueden obtener rnediante cdlculo conforme al modelo
de agregaci6ny puntajeempleado. En los casos de estudio
realizados hemos usado el modelo LSP [
5. Andlisis de resultados y recomendaciones Una vez dz.sehado e impLementado eLproyecto de evaluacz.6n, eL proceso culmina con la documentaci6n de Las conclusiones y recomendaciones. Los evaluadores analizan Losresultados consz.derandolas metas y e/ pezfiL de usuario establecidos. El proceso de evaluacz"6n, produce informaci6n elemental, paretoL y global qua puede serfdcz"Imenteanalizada por medio de un modelo de seguimiento o trazabilidad y e.ficientementeempleada en actividades de toma de decisi6n
Una vez comentados los princz.pales pesos que z"ntegrana la metodologza Website QEM, en La sz"guz.ente secci6n vamos a poner nfasis en el estudio de las metn`casautomatizables. La selecci6n de estas metricas se correspotzde con las actz.vz.dadesde definici6n de criterios elementales y procedimz.entos de medici6n. Especcamente, discutiremos las me-tr!casautomatizables para algunos de Los atributos quaformaron parts de los requerz.mz.entosde call.dad de los casos de estudz.o real .z..ados.
3.
Como indicamos en la introducci6n, los atributos de un ente (producto, proceso o recurso), se pueden categorizer en atributos directos e indirectos, For otra parte, en consideraci6n del tipo de recolecci6n de datos, los atributos pueden ser parcial o totalmente automatizados. Mas precisamente, para determinar el valor de un atributo, puede hacerse de un modo manual, o asistido total o parcia2mente por un insrrumento de medici6n o herramienta de recolecci6n de datos y cziJculo.
Si bien machos de los datos recolectados para las m6tricas empleadas en los casos de estudio realizados para sitios academicos, de comercio electr6nico, entre otros dominios. fueron implementados de un modo manual u observacional, dado que no habia Otto modo de hacerlo efectivamente, no obstante, la recolecci6n de datos automtitica fue en muchas instancias el dnico mecanismo para obtener resultados de un modo confiable y eficiente. Este fue el caso para medir atributos como Enlaces Rotos,
seguir, analizamos el listado de las metricas automatizables por un instrumento de rnedici6n (como Website MA)~ conforme a los estudios realizados. No obs(ante, en el proceso de innestigaci6n en marcha, estamos descubriendo nuevas metricas automatizables (alrededor de ochenta), que serdn implementados en la segunda versi6n de la herramienta Website MA, y serdn reportados en breve.
Este atributo indirecto represents la cantidad de enlaces rotos tota]es del sitio (tarnbidn denorninados broken o dangling links), bien scan internos o externos al mismo. For otra parte. al momento del conteo de este atributo no se hard distinci6n entre URLs iguales (de enlaces rotos). Este atributo es importance a la horn de apreciar la calidad, dado que si el nOmero de enlaces rotos es grande, la confiabilidad global del sitio podrd disminuir considerablemente para un usuario visitante. Aderruis, es interesante discernir entre los enlaces rows que pertenecen a `LJRLsinternos al sitio, de los enlaces rotos dirigidos a pdginas externas. En la Figura I, especificamos mediante pseudoc6digo, el algoritmo Que petmite recorrer un sitio y calcular la cantidad de enlaces rotos totales, en funci6n de los enlaces rozos internos y externos.
m6trim enLacesrotas totaLes.
Website MA implement&dicho algoritmo y permite almacenar los URLs de los enlaces rotas, tame internos como externos, para un posterior anallsis y posible correcci6n.El chequeo de un enlace roto se compruebapar medio del tipo de errordevuelto conformea los c6digos de estado del protocolo HTTP. Asimismo, en consider&clan del c6digo de error devuelto, se puede determiner la cantidadde enlaces Queconducena pdginasno accesibles.
Se puede recolectar automticarnente la cantidadtotal de enlaces que posee un sitio Web, asf como los enlaces internos y extemos totales, reusando el aJgoritrnode la figura 1. (El lector podrfa considerar el cociente entre enlaces rotos extemos y cantidadtotal de enlaces extemos, y la misma relaci6n para los enlaces intemos -, y observerla proporci6nentreambos cocientes).
anteriorrnente (cantidad de enlaces rotos totaLes y cann"dad total de enlaces de an sitio), se computa el porcentajede enlaces rotos de un sitio, establecido par la f6rmulasiguiente:
de un sitio nos da una idea global de la confiabilidad del sitio permiti6ndonosadem la comparaci6nde este atributopara distintos sitios.
metric&en la calidad de uso consistiz-iaen analizar la importanciade los enlaces rotos en funci6n de
relevantesyJovisitadas.
Cantidad de enlaces rotos distintos. ,Yart.xendode la metr.xcaxnd,.xrectacantz.a.ad. a.c . . , . enlaces rotos totales, queremos analizar los diferentes URLs a los que hacen referencia 108 enlaces rotos recolectados anteriorrnente. A diferencia de la m6trica citada, dsta nos data informaci6nms Otilpara lases de mantenimiento, y especi.ficamentepuede favorecer el anlisis de impactoantepotenciales cambios.
una leve modificaci6n del aJgoritmomostrado en la Figura 1, consistiendo ( Sta en la adici6n de IDS chequeos necesarios para comprobar si el consider&doya fue visit&doo no.
Tal y como hemos mencionado en la metric&cantidad total de enlaces, la cantidad total de enlaces distintos existentes en un sitio Web, nos aport&rd inforrnaci6n dtil en el analisis del impacto ante cambios.
A semejanza de la metrica porcentaje de enlaces rotas totaLes de zznsitio, esta m6trica va a calcularse a trav6s de las metricas: cantidad de enlaces rotos distintos y cantidad total de enLaces distz.ntos de an sitio, aunque establecemos la reJaci6n existente en funci6n de los enlaces no repetidos.
ocasiones, par razones de accesibilidad o rendimiento (performance),deben ser desactivadas.Un sitio Web debe proporcionarmecarxismosadecuadospara la visualizaci6n opcional de las imhgenes sin qua por ello toda la inforrnaci6nque conlleva Se pierda. Existe una propiedad Que consiste en enlazarun texto altemativo a la Imagen,propiedad ALT en HTML-, la cual contribuye a la legibilidad de la pdgina, (incluso el texto podrd ser lefdo antes de Que la Imagen sea descargada totalmente). No obstante, el agregado de texto alternativo no garantiza la calidad del mismo, ya que el texto podo haver sido generado automdticamente For editores de pdginas, como FrontPage. Este atriboto estd incloido dentro de las recomendaciones de accesibilidad del W3 Consortium [15]. Ademds, esta propiedad es extensible a otros objetos eng)obados en las paginas Web como applets, sonidos, etc.
Website MA co`ntabilizael n6mero de im;iigenes que poseen esta propiedad.
La cantidad total de imagenes que posee un sitio ofrece una medida de la informaci6n visual Que se nos esni proporcionando. AZigual que para /Os enfaces de un sitio es facil detectar la cantidad de imagenes qua 6Ste posee. Para eJlo, recolectaremos de cads una de las pdginas analizadas, la presencia de imzigenes verificando su existencia a trav6s de la propiedad IMO soportada por el c6digo HTML.
Mediante el empleo de las metric&s anteriores,
porcentaje de presencia de la propiedad ALT.
PorcentajePresenciaTextoALternatz.vo - 100* Cantidadlm6ZenesconTextoALternativo_
La cantidad total de imzigenes distintas nos esta dsndo ademds de la informaci6n visual Que se nos esta proporcionando, la variedad de la informaci6n", es decir podemos medir la redundancia de irnagenes.
irnuiigenesdistintas y la cantidad total de imdyenes, podemos obsernarel porcentaje de imdgenesrepetidas qua posee el sitio Web. La repetici6n de im:igenes equiv&lea la redundanciade la informaci6nvisual.
Calculado a partir de las m6tricas cantidad total de enlaces y cantidad total de pd&Enos,esta m6trica da Una idea prirnaria del nine} de interconexi6n de on sitio (ver [II] para mzisdetalles).
TlmaSo de pzigim
Se rnide el tarn&ho de una pgins estatica, considerando todos sos componentes graficos, textoales, tabulates, etc. As{ podemos contabifizar el tarn&homedido en bytes para cads pdgina. El tarna6o de las pginas es un factor importance para la apreciaci6n de la eficiencia de un sitio. Especfficamente, el tarnsBo es ono de los elementos que )unto con el tipo de conexi6n va a inffoir en el tiempo de descarga de la pdgina.
El tiempo de descarga (T), estar;i en funci6n del tarn&hode la Fagin&estatica (t), y la velocidad de la Ifnea de conexi6n establecida (c). El tiempo de descarga es directamente proporcional al tarn&ho de la pgina e inversamente proporcionai a la velocidad de la linea de conexi6n.
TDescargn - f (t,c)
La creaci6n de ombrales minimos de tamaho de la pgina para ona descarga eficiente para ona conexi6n dada nos perrnite crear una fonci6n qua clasifique cada ona de las pgloss del sitio en p;;iginasde acceso rdpido o paginas de acceso lento. A trav6s de estos ombrales contabilizaremos las pdginas de noestro sitio qoe son de acceso rapido. El factor interesado poede referirse a las sogerencias de tarn&hosrecomendados para ciertas lineas de comonicaci6n [3, S].
Se podria decir qua entre 105atributos deseables de un sitio Web esuin aquellos coya apariencia visual lejos de confundir aI osoario le ayudan a mantener la coherencia en la informaci6n visualizada. Particolarmente entre estos, For ejemplo, el mantenimiento def color de los enlaces textoales es un atriboto deseable. Asi podemos analizar el mantenimiento del color de los enlaces en funci6n de si foeron o no visit&dos, respetando preferentemente la recomendaci6n de tonalidad azol (para los enlaces no visitados), y de ptirl:)ura (para los ya visitados) [SJ. La m6trica discfiada compote la cantidad de cambios en todo el sitio para ambas categories. For lo tanto, se analizan los c6digos de color para las propiedades LINK (en el caso de los enlaces no visit&dos)y VLINK (para los ya visit&dos) del c6digo foente HTML.
La m6trica de este atributo es de utilidad para deterrninarel ndmero maXimo de vistas, la cual puede afectar a la accesibilidad. Los frames o marcos organizan una ventana en diferentes areas o subvistas, a saber: de control y de contenido. Cuanto mayor es la cantidad de marcos, manor es la accesibilidad a las ventanas, principalmente para personas con discapacidades, entre otros inconvenientes inform&dos.La guia provista por W3C en WA! Accessibility Guidelines [15], dice: "For vz'sually enabled users, fiames may organize a page into derent zones. For non-visual users relationships between the content inframes (e.g., oneframe has a table of contents, another the contents themselves) must be conveyed through other means". Verificando en cada una de las paginas analizadas si existe la etiquetaPRAME, se puede comprobar de rnaneraautomdtica la cantidad de marcos Que contiene la pagina. Tras este proceso, se calcular la pdgina con el mayor numerode maxcos.
Este atributo representa la cantidad de paginas Que no tienen ningtin enlace de retorno dentro del sitio (tambi6n denominadas paginas buerfanas). Si un visitante accediera a una vagina xnuerta desde un URI externo aI sitio, For ejemplo, a tray6s de un enlace recuperado por un buscador en Internet (Yahoo, Altavista, etc.) no tendrfa la posibilidad de navegar dentro del mismo. 0 bien Una vez Que hayamos llegado a esta pdgina a trav6s de otras p8ginas del sitio en el Que esni contenida, serd imposible salir de ella sin utilizar obligadamente los controles del navegador. Sea simplemente una pagina sin vfnculo alguno, cuya funcionalidad navegacional es practicamente nula y su utilidad dependerd exclusivamente del contenido de la ruisma.
cantidad de p6ginas muertas y cantidad total de p6ginas. El ndmero total de paginas muertasno es una m6tricatan vida a la hora de evaluarun sitio, sino se la relaciona con el total de paginas del mismo. Al igual que con la m6trica de porcentaje de enlaces rotos, un alto valor en el porcentaje de p6gt.Hasmuertas ser un indicadorpotencial de una baja confiabilidad,y en consecuencia, de la calidad del sitio.
soporte al proceso de evaluaci6n de m6tricasen la Web.
secci6n 3 y la generaci6nde informes en formato grafxcoy tabular, Aderrjds, es capaz de adrninistrar mi:iItiples proyectos Web representadospor Sus URLs, cada uno con Sus respectivasm6tricasseleccionadas. Consecuentemente, esos distintos proyectos quedan almacenados con Sus diferentesresultados existiendo la posibilidad de visualizer los informes en cualquier momento. Tambi6n permite registrarparacada proyectola fecha y hora de comienzo y fin de la evaluaci6n. De este modo se puede evaluar un mismo sitio en distintas fechas. For OItimo,es importante resaltar que el recorridodel sitio se realiza de un modo on-line aunquese podriarecorrerun sitio replicado en una mquina local.
dise6ada en tres capasprincipales,que son las siguientes: u&"<IeDatcs:s| CR- 3;,i!!t;a~rs
m6tricas configurables por el usuario desde la GUI.
m6tricas. Esta capa interactriadirectamente con el URL del sitio a analizar desde donde se recolectan los dams para luego calcularlas m6tricas.For otra parte, interacrda con la capa de Gesri6n de Base de Datos, donde se va almacenandola informaci6nrecolectada.
gestionartoda la informaci6nsuministradapor el usuarioa tray6s de la capa /ntet:faz de Usuario~ Dentro de la informaci6nproporcionadaFor el evaluadorse encuentran:
inicio y fin de la evaZuaci6nc,onfxguraci6nde las m6tricas a evaluar y comentarios. Las consultas de inforxnes grdfxcosy tabulates realizadaspor el usuario son tambi6n resueltas por esta capa. Adema"s,esta capa interact con la capa de Gesti6n de Me:trz"casa,lmacenado toda la
Un empleo sisternuiticoy disciplinado de modelos, m6todos y herramientas de Ingeniena Web para el asegurarniento y control de la calidad favorece a la comprensi6n, al anisis y potencialmentea la mejorade la calidad producida. La metodologia Website QEM [11], proporciona un enfoque sistemtiticoy cuantitativo para la evaluaci6n y comparaci6n de la calidad de sitios y aplicaciones Web. Adernas el desarrollo de herramientas que den soporte a la metodologia perrnite a 108 evaluadores agilizar los procesos de evaluaci6n. En este contexto una de las herrarnientasdescriptas, Website MA, autornatizala recolecci6n de datos y realiza el cdIcuIOde algunas m6tricaSWeb.
nenimos desarrollandO,consiste en incOrporarWebsite
WebQEM_Tool [