Refinamiento de un Modelo de Calidad para Juegos Serios

Abstract

Resumen. En este trabajo se persiguen los siguientes objetivos: 1) Presentar brevemente el modelo de calidad para Juegos serios (QSGame-Model) propuesto en un trabajo previo de los autores, 2) Describir las actividades llevadas a cabo para diseñar y construir una encuesta que será distribuida a expertos en el desarrollo y enseñanza de Juegos serios (o videojuegos) y cuyas respuestas nos servirán para refinar el modelo propuesto, y 3) Presentar los primeros resultados obtenidos tras la realización de la encuesta por tres expertos. La distribución de la encuesta a un grupo mayor de expertos y la validación de la utilidad del QSGame-Model, quedan pendientes como trabajo futuro.

-

Zyda [ 1 ] define un Juego Serio (JS) como “una competición mental jugada en un ordenador de acuerdo a reglas específicas que utiliza el entretenimiento para alcanzar objetivos en la formación empresarial, en la educación, en la salud, en la política pública y en la comunicación estratégica”. De forma simplificada un JS se considera un juego cuyo objetivo principal va más allá del mero entretenimiento [ 2 ]. El uso de los JS proporciona muchos beneficios: existe evidencia de que son más eficaces que los métodos de enseñanza tradicionales en cuanto a la formación de las habilidades cognitivas [ 3 ], son prometedores en el desarrollo de habilidades motoras [ 3 ] permiten mejorar el potencial de los empleados y sus capacidades técnicas [ 4 ], permiten a los estudiantes experimentar situaciones que sería imposible experimentar en la vida real [ 2 ], etc.

Además de ser un mercado de rápido crecimiento [ 5 ], los JS constituyen un área de oportunidades que está en constante crecimiento. En 2012, los ingresos de todo el mundo para el aprendizaje basado en el juego ascendieron a 1,5 mil millones de dólares. Con una tasa de crecimiento global del 8% al año, se prevé que en 2017 los ingresos en todo el mundo de este tipo de aplicaciones alcanzarán los 2,3 mil millones de dólares [ 6 ].

Los JS pueden ser un medio para alcanzar metas relevantes tanto desde el punto de vista personal como desde el punto de vista institucional. La cantidad de usuarios de estas aplicaciones crece día a día, lo que significa que su impacto social es muy alto. Es por esta razón que su calidad es muy importante, y por lo tanto como investigadores y profesionales de la informática consideramos que es nuestro deber garantizar la calidad de los JS. Por todo lo dicho, decidimos centrar nuestra investigación en la calidad de los JS.

Comenzamos, como es normal en cualquier investigación, realizando una revisión de la literatura siguiendo una metodología conocida con el anglicismo de “mapeo sistemático de la literatura” (Systematic Mapping Study (SMS)) [ 7,8,9 ]. El SMS es una metodología ampliamente utilizada en ingeniería del software para realizar revisiones de la literatura [ 10 ] que se lleva a cabo con el fin de obtener una visión general de un determinado tema de investigación de manera sistemática, fiable, rigurosa y auditable [ 8,9 ], que intenta encontrar la máxima información posible del tema investigado, evitando sesgos en los resultados obtenidos. Concretamente el propósito de este SMS fue conocer el estado del arte de la investigación sobre la calidad de los JS [ 11 ]. Los resultados del SMS revelaron que en los 112 artículos encontrados, los investigadores estaban principalmente preocupados en demostrar o confirmar si el JS había logrado el propósito para el que fue creado y si proporcionaba placer y entretenimiento. Los artículos evaluaban diferentes sub-características de calidad como por ejemplo, la operabilidad, la estética de la interfaz de usuario, la completitud funcional, entre otras. Si bien existe un modelo estándar de calidad de producto software como el ISO/IEC 25010 [ 12 ], no hemos podido encontrar un modelo de calidad consensuado que se pueda aplicar a cualquier JS. Esto nos motivó a proponer en un trabajo previo una versión preliminar de un modelo de calidad de producto específico para el dominio de los JS, llamado QSGame-Model [ 13 ].

Ahora queremos ir un paso más allá, y conocer la opinión de expertos, en el desarrollo y enseñanza de JS (o videojuegos), sobre el modelo de calidad propuesto, con el objetivo de obtener un modelo de calidad consensuado por expertos. Concretamente queremos, a través de una encuesta, preguntarles a los expertos si los atributos de calidad propuestos les parecen adecuados y si su definición es comprensible.

Los objetivos de este trabajo son: 1) Presentar brevemente el modelo de calidad para JS propuesto (QSGame-Model) en un trabajo previo de los autores [ 13 ], 2) Describir las actividades llevadas a cabo para diseñar y construir una encuesta con el objetivo de refinar el modelo propuesto a través de las opiniones de expertos y 3) Presentar los primeros resultados obtenidos tras la realización de la encuesta por tres expertos.

El resto de este documento está organizado de la siguiente forma. La Sección 2 presenta un resumen del QSGame-Model. La Sección 3 describe el proceso seguido en el diseño y construcción de la encuesta y la Sección 4 presenta los primeros resultados obtenidos de la encuesta realizada por tres expertos. Por último, las conclusiones y las principales ideas sobre nuestro trabajo futuro se presentan en la Sección 5.

Presentación del QSGame-Model

Antes de introducir el QSGame-Model haremos una breve presentación del estándar de calidad de software ISO/IEC 25010 [ 12 ], que fue usado como base para construir el modelo de calidad para JS. El principal objetivo del estándar ISO/IEC 25010 es especificar y evaluar la calidad de los productos software por medio de un modelo de calidad que se utiliza como marco para la evaluación del software [ 12 ]. El modelo de calidad ISO/IEC 25010 está compuesto por dos modelos que son útiles en lo que respecta a la evaluación de la calidad de un producto software: ─ Modelo de calidad de producto: mediante la medición de propiedades internas (tales como especificación de software, el diseño arquitectónico, entre otros), o mediante la medición de propiedades externas (típicamente midiendo el comportamiento del código cuando se ejecuta); y ─ Modelo de calidad en uso: mediante la medición de la calidad en propiedades de uso (i.e. cuando el producto está en uso de forma real o simulada).

El modelo de calidad de producto clasifica las propiedades de calidad de producto en ocho características y treinta sub-características de calidad; mientras que el modelo de Calidad en uso describe cinco características y nueve sub-características de calidad [ 12 ].

Un modelo de calidad está definido por características generales del software, que son refinadas en sub-características, las que a su vez se descomponen en atributos, produciendo así una jerarquía de múltiples niveles. La parte inferior de la jerarquía contiene atributos medibles de software cuyos valores se calculan mediante el uso de una determinada medida. Estas medidas deben definirse de forma completa y precisa dentro del modelo de calidad. Por tanto, la salida de la evaluación de la calidad de un producto de software es un conjunto de valores de medición que tienen que ser interpretados con el fin de proporcionar realimentación a los desarrolladores y diseñadores acerca de la calidad de los productos de software.

El estándar ISO/IEC 25010 es genérico y las características que define son relevantes para todos los productos de software y no están relacionados exclusivamente con el código o software ejecutable, sino también con el análisis y diseño de los artefactos. Debido a su naturaleza genérica, el estándar fija algunos conceptos de calidad de alto nivel, que se pueden adaptar a dominios específicos [ 14 ]. Existen varias propuestas de modelos de calidad que toman como base un estándar y lo adaptan a dominios específicos, como por ejemplo, Radulovic et al. [ 15 ] presentan un modelo de calidad basado en el estándar ISO/IEC 25010 [ 12 ], de los productos para las tecnologías semánticas llamado SemQuaRE, Herrera et al. [ 16 ] proponen un modelo de calidad en uso para los portales Web (QiUWeP) basado en el estándar ISO/IEC 25010 [ 12 ], y Carvallo et al. [ 17 ] construyeron un modelo de calidad del producto basado en el estándar ISO/IEC 9126-1 [ 18 ] para los servidores de correo.

Como nuestro objetivo es la calidad de los JS, realizamos en primer lugar un SMS para recopilar todo lo publicado en la literatura sobre este tema [ 11 ]. En este SMS encontramos que aunque las investigaciones abordan varios aspectos de calidad de los JS, no existe un modelo de calidad de producto consensuado que se pueda aplicar a cualquier JS específico. Basándonos en estos resultados, definimos una versión preliminar de un modelo de calidad, que se extiende del modelo de calidad de producto del ISO/IEC 25010 [ 12 ], para los JS llamado “QSGame-Model” [ 13 ] que se presenta en la Fig. 1. Este modelo además de basarse en el estándar mencionado, considera tanto las características consideradas en las investigaciones incluidas en el SMS como los elementos que caracterizan la jugabilidad [ 19 ] como atributos de producto. El objetivo principal que perseguimos es que este modelo de calidad pueda servir a los desarrolladores de JS a construir JS de calidad. El modelo se definió siguiendo una metodología propuesta por Franch y Carvallo [ 14 ] para la construcción de modelos de calidad para dominios específicos. El detalle de los pasos seguidos para la construcción del QSGame-Model se puede encontrar en [ 13 ].

En la Fig. 1, los recuadros con fondo blanco representan las sub-características donde no se realizaron modificaciones, es decir estas sub-características permanecen en el QSGame-Model igual que en el estándar. Los recuadros con fondo obscuro representan las sub-características en las que se realizaron modificaciones. Las modificaciones consistieron en añadir atributos y medidas en las tres sub-características de la Adecuación Funcional: Completitud Funcional, Exactitud Funcional y Pertinencia Funcional; y en cinco sub-características de la Usabilidad: Reconociblidad Adecuada, Facilidad de Aprendizaje, Operabilidad, Estética de la Interfaz de Usuario y Accesibilidad. Fig. 2 muestra, a modo de ejemplo, los atributos añadidos a las tres subcaracterísticas de la Adecuación Funcional. En el resto de las características del modelo de calidad de producto (Eficiencia en el desempeño, Compatibilidad, Fiabilidad, Seguridad, Mantenibilidad, y Portabilidad) no añadimos ni modificamos atributos o medidas. El modelo completo puede encontrar en: http://alarcos.esi.uclm.es/SeriousGamesProductQualityModel/

Como se mencionó anteriormente, los modelos de calidad estándar, como el propuesto en [ 12 ], son genéricos y en teoría aplicables a cualquier producto software. Aunque al ser tan genéricos, suelen no adaptarse a productos software de dominios específicos y por ello es necesario adaptarlos. Al adaptar un modelo de calidad existente a un dominio específico como el QSGame-Model, es necesario consultar a expertos en el desarrollo y enseñanza de JS (o videojuegos) para saber si los atributos de calidad propuestos son adecuados y comprensibles y así su opinión permitirá refinar el modelo y obtener un modelo de calidad consensuado. Por ello, como primer paso, nos planteamos refinar el QSGame-Model mediante una encuesta realizada a expertos en el desarrollo y la enseñanza de los JS (o videojuegos). Para diseñar la encuesta seguimos las directrices establecidas en [ 20 ].

En el resto de esta sección describiremos las actividades que llevamos a cabo para el diseño y construcción de la encuesta.

El objetivo de la encuesta es “Obtener la opinión de expertos en el desarrollo y enseñanza de JS con respecto a la relevancia que tienen para ellos cada uno de los atributos de calidad propuestos en el QSGame-Model y también saber si la definición de dichos atributos les resulta comprensible”. ─ Encuestas transversales: son estudios en donde a los encuestados se les solicita información en un punto determinado en el tiempo [ 20 ]. ─ Encuestas longitudinales: son estudios donde el objetivo es conocer la evolución de una determinada población a través del tiempo [ 20 ].

El objetivo que nos planteamos en esta encuesta nos condujo a elegir el diseño de encuesta transversal, ya que como se menciona en [ 21 ] la mayoría de las encuestas que se realizan en la ingeniería del software son de este tipo.

Los cuestionarios que diseñamos son auto-administrados y los aplicaremos a través de Internet [ 20 ]. Debido a que los cuestionarios auto-administrados son sin supervisión, las instrucciones sobre cómo rellenarlo las incorporamos antes que las preguntas de la encuesta. Esto es muy importante porque cuando los encuestados no son guiados por una persona, es fundamental que comprendan perfectamente cómo deben proceder con la encuesta. 3.3

Población objetivo

La población objetivo de la encuesta son profesionales que se dedican al desarrollo y enseñanza de JS (o videojuegos), tanto en universidades como en empresas. 3.4

Estructura de la encuesta

La encuesta está estructurada en tres bloques principales: ─ Glosario: contiene una lista de las definiciones de los términos que se utilizan en el contexto de los JS y de los videojuegos. El propósito del glosario es que todos los encuestados utilicen un mismo término para referirse a un mismo concepto al momento de rellenar la encuesta. ─ Antecedentes y experiencia: es un bloque de preguntas relacionadas con aspectos demográficos de los encuestados como su sexo, su nivel de educación, país en el que trabajan, su experiencia en las TIC´s y en el desarrollo de videojuegos o JS, así como su formación específica en el desarrollo de JS. La Fig. 3 muestra un ejemplo de este tipo de preguntas. Este bloque de preguntas nos ayudarán a contextualizar las respuestas de la encuesta. ─ Valoración de los atributos de calidad de los JS: contiene un bloque de preguntas relacionadas con los atributos de calidad propuestos en el QSGame-Model. Un ejemplo de este tipo de preguntas se muestra en la Fig. 4. Estas preguntas tienen como propósito conocer, en base a los conocimientos y experiencia de los encuestados, la comprensión y la importancia que tienen para ellos cada uno de los atributos de calidad del QSGame-Model. Además, en este bloque de preguntas se pretende obtener realimentación de los encuestados sobre alguna observación adicional acerca de cada uno de los atributos.

Para diseñar las preguntas de la encuesta se tuvieron las siguientes consideracio─ Las preguntas se elaboraron teniendo en cuenta el objetivo de la encuesta. ─ La redacción de las preguntas se realizó de una forma que resultara fácil de comprender y precisa de responder por los encuestados. ─ Se incluyeron solamente las preguntas necesarias. ─ Se estandarizaron las respuestas con una escala ordinal: 1- Es muy importante; 2

Es algo importante; 3 – No es importante. ─ Se usó un lenguaje convencional en la redacción de las preguntas, i.e. terminología que resultara familiar a los encuestados. ─ Se evitó la inclusión de preguntas negativas.

Finalmente, el cuestionario quedó integrado por 10 preguntas relacionadas con aspectos demográficos, 35 preguntas relacionadas con los nuevos atributos de calidad agregados en el modelo propuesto y una pregunta abierta final. Esta pregunta abierta solicita a los encuestados indicar cualesquier otro aspecto de calidad relevante de los JS que no fue incluido, proporcionándonos así una realimentación del modelo.

El proceso seguido para la construcción y ejecución de la encuesta fue el siguiente: 1. El conjunto inicial de preguntas del cuestionario se creó tomando como base los atributos de calidad propuestos en el modelo de calidad QSGame-Model.

Estudio Piloto: Primera Ejecución de la Encuesta

A modo de estudio piloto, le pedimos que rellenaran la encuesta a tres profesores que actualmente están impartiendo un Curso de Experto en Desarrollo de Videojuegos en la Escuela Superior de Informática de la Universidad de Castilla La-Mancha (http://www.cursodesarrollovideojuegos.com). El principal objetivo de este estudio piloto es tener una realimentación inicial de expertos, en el desarrollo y enseñanza de JS, sobre el diseño de la encuesta y que sus respuestas nos sirvan para modificar el modelo.

Los tres encuestados son de sexo masculino, tienen un perfil de investigadores con un alto nivel de estudios (grado de doctor), con experiencia de 5 a más años en el área de las TIC´s, en el desarrollo de software, en el desarrollo de videojuegos y en el desarrollo de JS.

Con la realimentación proporcionada por los encuestados en este estudio piloto, además de algunas modificaciones menores realizadas sobre la redacción de algunas preguntas, se realizaron principalmente los siguientes cambios y observaciones: ─ Se modificaron las descripciones de 2 atributos de calidad: Reglas Claras y Control Real. La Tabla 1 muestra las descripciones originales y las descripciones modificadas de estos atributos. Con respecto al atributo Reglas Claras, los encuestados argumentaron que las reglas del juego no necesariamente deben establecerse todas al inicio del juego sino que, algunas se pueden ir conociendo durante el juego. La descripción del atributo Control Real resultó incomprensible para los 3 encuestados. Les resultaba confuso el significado del término “control real” en este contexto. ─ Se añadieron 4 atributos de calidad: Retos Compartidos, Recompensas Compartidas, Andamiaje Correcto e Idoneidad de Equipo. La Tabla 2 muestra los nombres y descripciones de los atributos añadidos. Los atributos Retos Compartidos, Recompensas Compartidas e Idoneidad de Equipo están relacionados con aspectos de socialización. La socialización se refiere al fomento del factor social, la experiencia en grupo o la interacción con otros jugadores que provoca que el juego sea más exitoso para el conjunto de personas que lo juegan y que puede contribuir a incrementar el grado de satisfacción de quien lo juegue [ 19 ]. Los dos primeros atributos relacionados con la socialización se refieren a la posibilidad de que los jugadores puedan mostrar a otros jugadores tanto los retos logrados como las recompensas obtenidas en el juego. El atributo Idoneidad de Equipo está relacionado con la posibilidad de que el jugador pueda realizar las funciones del juego de forma conjunta con otros jugadores. El atributo Andamiaje Correcto está relacionado con el desarrollo incremental del proceso de aprendizaje. Este proceso se debe basar en el incremento de la dificultad en los retos de un juego en la misma medida en la que el jugador alcanza niveles de mayor dificultad en el juego [ 19 ]. ─ Una observación que hicieron los expertos fue que el modelo no considera aspectos específicos de la jugabilidad como la diversión, el placer y la satisfacción. La jugabilidad se refiere al conjunto de propiedades que describen la experiencia del jugador en un juego y está relacionada con la diversión, el placer, y la satisfacción [ 19 ] como atributos del modelo de calidad en uso. Nuestro modelo considera atributos de producto que creemos que pueden ejercer una influencia en la calidad en uso para lograr una mejor experiencia del jugador en un juego o lograr una mejor jugabilidad experimentada por el jugador. ─ Al final de la encuesta, se añadió otra pregunta abierta para solicitarle a los encuestados sobre cualquier otra observación adicional que desearan hacer a la encuesta.

Nombre del atributo Reglas Claras

Control Real

Descripción del atributo (original / modificada)

Las reglas del juego deben establecerse claramente al inico del juego.

Las reglas del Juego serio deben establecerse claramente durante el juego.

Los controles utilizados en el Juego serio deben permitir al jugador controlar el juego de la forma mas real posible.

Los controles utilizados en el Juego serio deben asemejarse lo más posible a lo que representan en la realidad (por ejemplo si un control de un juego es un volante de coche, que sea lo más parecido a un volante de este tipo en la realidad).

Las funciones del Juego serio, deben permitir al jugador mostrar a

otros jugadores los retos que ha alcanzado.

Las funciones del Juego serio, deben permitir al jugador mostrar a otros jugadores las recompensas que ha obtenido.

Las funciones del Juego serio, deben proporcionar al jugador retos que se incrementen en dificultad a medida que el jugador avanza en el juego.

Las funciones del Juego serio, pueden ofrecer la opción de ser jugadas en equipos de jugadores.

Al finalizar el estudio piloto, la encuesta quedó integrada por 10 preguntas relacionadas con antecedentes y experiencia, 39 preguntas relacionadas con los atributos de calidad del modelo propuesto y dos pregunta abiertas. La Tabla 3 muestra un extracto de las preguntas de la encuesta.

Descripción de la pregunta en la encuesta

El Juego serio debe tener todas las funciones necesarias para alcanzar los objetivos establecidos en la especificación de requisitos.

En las funciones del Juego serio, por cada objetivo establecido se debe ofrecer un reto y por cada reto alcanzado se debe ofrecer una recompensa. Las funciones del Juego serio, deben permitir al jugador mostrar a otros jugadores los retos que ha alcanzado.

Las funciones del Juego serio, deben permitir al jugador mostrar a otros jugadores las recompensas que ha obtenido.

Las funciones del Juego serio deben proporcionar un resultado correcto y preciso que indique al jugador cuál es su progreso en el juego. 5

Conclusiones y Trabajo Futuro

Los resultados de una revisión de la literatura sobre la calidad de los JS que realizamos con anterioridad [ 11 ], revelaron que no existe un modelo de calidad de producto consensuado que se pueda aplicar a cualquier JS. Esto nos motivó a plantearnos como objetivo definir y validar un modelo de calidad de producto específico para los JS, que denominamos “QSGames-Model” [ 13 ]. Este modelo se basa principalmente en el estándar actual sobre la calidad del producto ISO/IEC 25010 [ 12 ] y también considera los elementos que caracterizan la jugabilidad [ 19 ] como atributos de producto y que creemos también podría aplicarse a los videojuegos en general. El objetivo principal que perseguimos es que este modelo de calidad pueda servir a los desarrolladores de JS a construir JS de calidad. Para que el QSGame-Model sea un modelo de calidad consensuado por expertos en el desarrollo y enseñanza de JS (o videojuegos), hemos diseñado una encuesta para preguntarles a estos expertos si los atributos de calidad propuestos les parecen adecuados y si su definición es comprensible.

En este trabajo hemos descrito el proceso que llevamos a cabo para el diseño y construcción de esta encuesta y además, presentamos los resultados de un estudio piloto, en el que tres profesores de un Curso de Experto en Desarrollo de Videojuegos (http://www.cursodesarrollovideojuegos.com), que se imparte en Escuela Superior de Informática de la Universidad de Castilla La-Mancha, rellenaron la encuesta. La realimentación recibida en este estudio piloto nos ayudó a identificar 4 nuevos atributos de calidad, relacionados 3 de ellos con aspectos de socialización y el otro con el desarrollo incremental del proceso de aprendizaje, además de algunas modificaciones menores realizadas sobre la redacción de algunas de las preguntas.

Nuestro trabajo futuro se centrará principalmente en el refinamiento y validación del QSGame-Model. Para ello, hemos planificado en primer lugar distribuir la encuesta a la mayor cantidad posible de expertos en el desarrollo y enseñanza de JS (o videojuegos). Una vez refinado el modelo, llevaremos a cabo experimentos para obtener evidencia empírica sobre la utilidad del QSGame-Model, es decir, obtener evidencia empírica que nos permita asegurar si la presencia del modelo hace posible construir JS de mejor calidad. De esta manera habremos obtenido un modelo de calidad para JS consensuado por expertos y además útil para los desarrolladores de JS.

Reconocimientos

Este trabajo ha sido financiado por los siguientes proyectos: GEODAS-BC (Ministerio de Economía y Competitividad y Fondo Europeo de Desarrollo Regional FEDER, TIN2012-37493-C03-01) e IMPACTUM (Consejería de Educación, Ciencia y Cultura de la Junta de Comunidades de Castilla La Mancha, y Fondo Europeo de Desarrollo Regional FEDER, PEII11-0330-4414.

También nos gustaría agradecer al Instituto Tecnológico de Ciudad Victoria y PRODEP por habernos concedido la beca que hizo posible realizar el trabajo de investigación presentado en este artículo.

References

1. Zyda , M. : From Visual Simulation to Virtual Reality to Games. Computer 38 ( 9 ), 25 - 32 ( 2005 )

2. Susi , T. , Johannesson , M. Backlund , P. : Serious Games - An Over-view. Technical Report HS- IKI -TR-07-001 . School of Humanities and Informatics University of Skövde Sweden ( 2007 )

3. Wouters , P. , Van der Spek , E., Van Oostendorp , H. : Current Practices in Serious Game Research: A Review from a Learning Outcomes Perspective, Games-Based Learning Advancements for Multi-Sensory Human Computer Interfaces: Techniques and Effective Practices . IGI Global , Hershey PA USA , 232 - 250 ( 2009 )

4. LUDUS. How can one Benefit from Serious Games , http://www.ludusproject.eu/sgbenefits.html

5. Michael , D. R. , Chen S. L. : Serious Games: Games That Educate, Train, and Inform. Thomson Course Technology PTR , Boston Ma ( 2006 )

6. Ambient Insight Research. The 2012-2017 Worldwide Game-based Learning and Simulation-Based Markets , http://www.ambientinsight.com/Resources/Documents/AmbientInsight_SeriousPlay2013_ WW_GameBasedLearning_Market.pdf

7. Kitchenham B. A. , Budgen D. , Brereton O. P. : Using mapping studies as the basis for further research - A participant observer case study . Information and Software Technology , 53 ( 6 ), 638 - 651 ( 2011 )

8. Kitchenham B. A. , Charters S.: Guidelines for Performing Systematic Literature Reviews in Software Engineering . Technical Report EBSE-2007-01 . Software Engineering Group of Keele University Durham UK ( 2007 )

9. Petersen K. , Vakkalanka S. , Kuzniarz , L. : Guidelines for conducting systematic mapping studies in software engineering: An update . Information and Software Technology , 64 , 1 - 18 ( 2015 )

10. Zhang H. , Ali Babar , M. Systematic reviews in software engineering: An empirical investigation . Information and Software Technology , 55 ( 7 ), 1341 - 1354 ( 2013 )

11. Vargas , J. A. , García-Mundo , L. , Genero , M. , Piattini , M. : A Systematic Mapping Study on Serious Game Quality . In 18th International Conference on Evaluation and Assessment in Software Engineering (EASE´14) , p. 15 . ACM ( 2014 )

12. ISO/IEC: ISO/IEC IS 25010: Systems and Software Engineering - Systems and Software Quality Requirements and Evaluation (SQuaRE) - System and Software Quality Models, ISO (International Organization for Standarization) ( 2011 )

13. Garcia-Mundo , L. , Genero , M. , Piatini , M. : Towards a Construction and Validation of a Serious Game Product Quality Model . Enviado al Seventh International Conference on Virtual Worlds and Games for Serious Applications ( 2015 )

14. Franch , X. , and Carvallo , J. P. : Using quality models in software package selection . IEEE Software 20(1) , 34 - 41 ( 2003 )

15. Radulovic , F. , García-Castro , R. , Gómez-Pérez , A. : SemQuaRE-An extension of the SQuaRE quality model for the evaluation of semantic technologies . Computer Standards & Interfaces , 38 , 101 - 112 ( 2015 )

16. Herrera , M. , Moraga , M. A. , Caballero , I. , Calero , C. : Quality in use model for web portals (QiUWeP) . In 10th International Conference on Web Engineering, ICWE 2010 , pp. 91 - 101 . Springer-Verlag ( 2010 )

17. Carvallo , J. , Franch , X. , Quer , C. : Defining a quality model for mail servers . In Proceedings of the 2nd International Conference on COTS-based Software Systems , (ICCBSS 2003 ), pp. 51 - 61 . Springer-Verlag Berlin Heidelberg ( 2003 )

18. ISO/IEC 9126-4: ISO/IEC-9126-4 Software Engineering - Product Quality - Quality in use metrics ( 2004 )

19. González , J. L. : Jugabilidad . Caracterización de la experiencia del jugador en videojuego . Tesis Doctoral , , Universidad de Granada ( 2010 )

20. Kitchenham , B. A. , Pfleeger , S. L. : Personal opinion surveys . In Guide to Advanced Empirical Software Engineering: Shull, F. , Singer , J. , Sjøberg , D.I.K . (eds.), pp. 63 - 92 , Springer London ( 2008 )

21. Genero , M. , Cruz-Lemus , J. A. , Piattini , M. : Métodos de Investigación en Ingeniería del Software . RaMa ( 2014 )

22. Survey Monkey. https://es.surveymonkey.com/