=Paper= {{Paper |id=Vol-2231/LALA_2018_paper_19 |storemode=property |title=Integración de herramientas libres en la educación IoT: caso de estudio de sistemas de respuesta personal en una clase de matemáticas básicas de universidad(Integration of open source tools in IoT education: case study of personal response systems in a basic mathematics course in university) |pdfUrl=https://ceur-ws.org/Vol-2231/LALA_2018_paper_19.pdf |volume=Vol-2231 |authors=Monica Flores,Andrea Garzon,Victor Arce,Douglas Plaza }} ==Integración de herramientas libres en la educación IoT: caso de estudio de sistemas de respuesta personal en una clase de matemáticas básicas de universidad(Integration of open source tools in IoT education: case study of personal response systems in a basic mathematics course in university)== https://ceur-ws.org/Vol-2231/LALA_2018_paper_19.pdf
  Integration of open source tools in IoT education: case
       study of personal response systems in a basic
             mathematics course in university
           Monica Flores1, Andrea Garzon2, Victor Arce3, Douglas Plaza4.
   1,2 Universidad de Especialidades Espíritu Santo, km 2.5 Vía Samborondón, Guayaquil,

                                          Ecuador.
  3,4 Escuela Superior Politécnica del Litoral, Km. 30.5 Vía Perimetral, Guayaquil, Ecuador.
                                  1 mfloresm@uees.edu.ec
                                  2 agarzona@uees.edu.ec
                                    3 varce@espol.edu.ec
                                4 douplaza@fiec.espol.edu.ec




        Abstract

        The objective of this research is to compare the knowledge and learning of students
        through traditional formative tests and with an IoT device. For that, the IoTlicker is
        developed, it is a device that uses an Arduino that allows the students to answer by a
        keypad to questions entered by the teacher shown on the LED screen and sends them
        via Wi-Fi to the database connected with a router. A platform is created with Google
        Dashboard in which the answers can be shown in real time in order to give the students
        an instant feedback that helps the teacher to know the results as soon as possible to
        improve the learning and knowledge. As a result, it is obtained that the IoTlicker helps
        math students improve their knowledge and learning, with an average of answers with
        traditional tests is 5.6% and with the IoTlicker it is 7.3%, which has a difference of
        1.7%.

        Keywords: Formative Tests, IoT, IoT device

1 Introducción
El uso de tecnologías interactivas en las clases ha ganado popularidad en la última
década en respuesta al incremento de la generación digital. A este respecto, los
Classroom Response System (CRS) son equipos electrónicos en base a sistemas
embebidos de hardware y software libre como propietario, capaces de conectarse a un
servidor web, presentando la información en la pantalla y enviando las respuestas del
usuario en tiempo real, actualmente están siendo utilizados en muchas aulas como
componentes de aprendizaje activo [1]. Existen algunas incógnitas sobre si este método
de aprendizaje es mejor que el tradicional y es por esto que estudios revelan que los
estudiantes retienen el material enseñado en la memoria hasta 2 días más en
comparación con la clase en vivo, lo que permite una realimentación del docente y
profundización del tema en una clase [2].

De manera general los CRSs son útiles para los estudiantes porque mejoran su
participación [1], desempeño [3,4,5], aprendizaje [6,7], satisfacción [8,9], motivación
[3], entendimiento [10] e interacción [11]. En un principio fueron usados para clases
con un gran número de estudiantes, pero ahora se ha demostrado que sus beneficios
también sirven para clases pequeñas [4].

Al usar los CRSs, los profesores necesitan invertir más tiempo en la creación de tests y
preguntas. Estas deben ser diseñadas específicamente para su uso con los CRS, para
que puedan demostrar que los estudiantes entienden la materia y su modo de pensar
[11]. Aun teniendo en cuenta esto, tanto los instructores como los estudiantes tienen
una actitud mayormente positiva frente a estos dispositivos [12]. En el área de
matemáticas específicamente según indican [13] los dispositivos de respuesta
electrónica ayudan a mejorar el rendimiento académico de los estudiantes, sin embargo
esto se produce cuando se realiza una distinción en los estilos de aprendizaje de las
matemáticas en el momento de tomar la prueba, ya que sin esta diferencia las preguntas
pueden producir incomprensión y una tasa baja de aprobación.

Por otro lado, considerar la construcción de un CRS propio con fines educativos a pesar
de los sistemas existentes en el mercado incluyendo las aplicaciones móviles, tiene
ciertas razones y es que se ha comprobado que los mismos tienen un 31% de problemas
en la conexión de internet en el momento de realizar la actividad dentro de clase y por
otro lado que el 42% del estudiantado pierde la concentración al manejar otras
aplicaciones dentro del equipo móvil [14].

Es por esto que el objetivo de esta investigación es demostrar que el dispositivo IoT es
un elemento de aporte en la evaluación formativa en una clase de Matemáticas Inicial
de una institución de educación superior. Para esto, se va a desarrollar una plataforma
utilizando un Software gratuito como lo es Google Dashboard que se conecte con el
dispositivo IoT de hardware libre utilizando un Arduino. Por medio de este, las
respuestas producidas puedan ser guardadas en la plataforma antes mencionada para
que sea una ayuda a los docentes y a los estudiantes en la educación formativa.
Adicionalmente, se debe crear una conexión vía Wi-Fi que permita que la base de datos
y el dispositivo se conecten entre sí para que de esta manera automáticamente las
preguntas ingresadas en la base de datos se muestren en el dispositivo.

2 Marco Teórico
2.1 Evaluación Formativa

La evaluación en una institución es una parte integral del proceso educativo, las más
evidentes son las evaluaciones sumativas, es decir van midiendo mediante controles y
exámenes lo que los alumnos han aprendido por medio de calificaciones [15]. Por otro
lado existe la formativa, esta se distingue de la sumativa por la forma en que se recoge
la información, en el proceso formativo se usa para ir modelando las mejoras en lugar
de calificar el rendimiento del estudiante. El enfoque de evaluación formativa es
considerado como parte del trabajo diario del aula y es utilizada para orientar este
proceso y tomar decisiones oportunas que den más y mejores resultados en cuanto al
aprendizaje de los estudiantes [16].

Existen tres principios que son fundamentales en el proceso de la evaluación formativa:
primero, la cooperación en la cual se requiere que exista una relación estudiante-
profesor para generar un ambiente colaborativo en el cual se creen espacios que
favorezcan al trabajo en equipo y dando tiempo para una discusión de ideas y posibles
mejoras [17]. Segundo, la motivación es esencial para favorecer cambios que
involucran a la forma de trabajo teniendo motivados al estudiante y al profesor, para
que de esta manera se ayude al docente a mejorar sus prácticas y al alumno a ser
persistente cuando quizás el resultado no sea favorable; pero que a su vez esto permita
que se den cambios y ajustes para seguir avanzado en conjunto. Por último, gradualidad
en la cual se busca tener resultados positivos con metas alcanzables que estén
balanceadas y acordes según los avances que se vayan obteniendo a través de un
proceso promoviendo cambios paulatinamente [18].

2.2 Google Dashboard

Google Dashboard es una herramienta gratuita de Google Data Studio, cuyo objetivo
principal es reunir la mayor cantidad de datos para analizarlos y visualizarlos en una
plataforma, además permite un acceso fácil y rápido a todas las fuentes de datos
necesitadas para la toma de decisiones. Google Dashboard simplifica el proceso debido
a que proporciona conexiones con bases de datos para unificar el contenido. Las fuentes
de datos actúan como conductores para conectar los informes con la plataforma fuente
a crear. Debido a este fácil uso y sus beneficios es utilizada como una herramienta en
la educación ya que los docentes pueden tener respuestas de manera inmediata, en
tiempo real y compartirla a estudiantes o profesores. Google Dashboard contiene un
editor visual para la creación de reportes, librerías para visualizar los datos de la manera
necesitada [19]. Es una herramienta gratuita que a su vez permite conexiones con otras
bases de datos debido a que el gran desafío de reportar datos y analizarlos es tener toda
la información junta. Por esto, Google Dashboard simplifica el proceso y provee
conexiones con diferentes tipos de bases de datos como MySQL, al tener conexión con
esta base de datos permite que por medio de librerías la información pueda pasarse de
la base de datos normal a la plataforma para poder crear reportes y visualizarlos en
tiempo real [20]. Sin embargo se necesita puntualizar que el usuario posee una licencia
limitada, no exclusiva, revocable y no es construida para someterse a otras licencias, el
individuo además puede acceder a los servicios de manera remota, visualizar y
almacenar los informes que se encuentran guardados [2].

2.3 IoTlicker

Existe un estudio previo en una institución superior localizada en Guayaquil - Ecuador
y que pertenece a este mismo grupo de investigación [21], con el fin de encontrar un
método de enseñanza y aprendizaje de los estudiantes adoptando estas nuevas
herramientas tecnológicas basadas en el IoT. Una versión posterior al CRS antes
mencionado, ahora llamada IoTlicker, tiene el objetivo de conseguir un mejor entorno
interactivo entre los estudiantes y profesores.


2.4 Base de Datos
La base de datos utilizada contiene dos tablas, las cuales son preguntas y respuestas en
la cual, la tabla de respuestas es donde se van almacenar las mismas enviadas desde la
botonera y por último la de preguntas es donde se guardarán las que deseen ser
registradas en la base de datos y para esto se hace un script que permite que el profesor
escriba la pregunta que desee por medio de un formulario que está conectado con la
interfaz web de la plataforma.

2.5 Plataforma
Se aplican técnicas de diseño en PHP con el software libre Sublime Text 3.1 en el cual
se crean las debidas conexiones con la base de datos, para esto se usa códigos de
bootstrap que es un framework de código abierto que permite dar diseño a sitios y
aplicaciones web. Se procede a diseñar el visor web por medio del cual el profesor va
a acceder al sistema para ingresar sus preguntas o revisar las respuestas obtenidas, se
realiza la conexión para la recepción de las respuestas y se procede a comprobar
mediante el mismo si el ingreso de preguntas es almacenado correctamente.
La plataforma tiene la finalidad de permitir la conexión entre diferentes dispositivos
IoT y almacenar respuestas en la base de datos y que estas sean mostradas por medio
de la interface que está conectada con Google Dashboard. Consta de dos partes, el
visualizador y el receptor. El receptor es un script que receptara una URL específica
desde la botonera en la cual recibirá los parámetros, es decir la respuesta y lo escribirá
en la base de datos. Por otro lado, el script del visualizador es en el cual se observan los
datos ingresados.

La plataforma permite que se conecten varios dispositivos IoT a la vez y los diferencia
por medio de un ID único que tiene cada dispositivo. En la Fig 1 mostrada a
continuación se puede observar la conexión entre el dispositivo, la base de datos y la
plataforma. El modelado se basa en que el dispositivo IoT se conecta a la base de datos
por medio de un router sin necesidad de Internet, para de esta manera recibir las
preguntas ingresadas por el docente mediante la plataforma que a la vez son guardadas
en la base de datos y envía las respuestas registradas en el repositorio y se conecta a la
plataforma de la misma manera; esta contiene el registro de las respuestas emitidas por
los estudiantes y son mostradas por medio de gráficos.




                       Fig 1. Modelado de la plataforma desarrollada.

3. Metodología
En este proyecto, la investigación tiene un enfoque cuantitativo debido a que se desea
interpretar datos incluyendo descripción, registro, análisis e interpretación de la
naturaleza actual, composición o procesos de los fenómenos. En tal sentido, el diseño
es de tipo transaccional, debido a que este nivel de investigación se ocupa de recolectar
datos en un solo momento y en un tiempo único en el cuál se realizarán pruebas del
dispositivo para comprobar la hipótesis planteada. Es una investigación explicativa
debido a que su finalidad es la de describir las variables y analizar su incidencia o
interacción en un momento dado, sin manipularlas y observar los resultados. Se recurrió
a la técnica de la encuesta que tiene como instrumento el cuestionario, a tal efecto, se
diseñó para la presente investigación un cuestionario conformado por 10 ítems con
preguntas de opción múltiple utilizando el dispositivo IoT para conocer el resultado
obtenido.

La población objeto de esta investigación estuvo constituida por alumnos de un curso
de Cálculo 2 que aborda temas de Cálculo Integral de una institución privada de
educación superior de la ciudad de Guayaquil, Ecuador. En cuanto a la muestra de los
estudiantes, se tomaron 10 estudiantes con un rango de edad de 18 a 24 años, de dos
cursos diferentes. El paralelo A tiene inscrito a 6 mujeres y 4 hombres y el paralelo B
tiene inscrito a 2 mujeres y 8 hombres, estas se desarrollaron durante la segunda y
tercera semana de marzo del presente año. Los días seleccionados fueron lunes y
miércoles para la realización de las pruebas tradicionales. Por otro lado, los días martes
y jueves para la realización de las pruebas con el IoTlicker.

Para la realización de las pruebas, se definieron 10 preguntas que fueron analizadas y
revisadas por dos expertos en el área de matemáticas. El cronograma para realizar las
pruebas fue el siguiente según la Fig 3.

                          Día 1 (Par. A)

                          • Se da una clase
                          •Toma de evaluación tradicional
                          •Realimentacion tradicional
                          Día 2 (Par. B)

                          •Se da una Clase
                          •Toma de evaluación con el CRS
                          •El profesor observa los resultados en el sistema
                          •Reoalimentacion
                          Día 3 (Par. A)

                          •Dada la realimentación en la clase pasada, se toma
                           la misma evaluacion tradicional alternando el orden
                           de las preguntas
                          Dia 4 (Par. B)

                          •Dada la realimentación de la clase pasada, se toma
                           la misma evaluacion con el CRS alternando el orden
                           de las preguntas

                      Fig 3. Diagrama listado de cronograma por días.

Para el paralelo B, una vez que los estudiantes terminaron de responder las preguntas
tanto en la prueba inicial como en la realimentación; con los registros obtenidos se
observó que existan 10 respuestas por cada estudiante, teniendo en cuenta de que las
respuestas son anónimas, luego de que se verificara que todo estaba correctamente
ingresado, se comprobó que la conexión de la base de datos con Google Dashboard
estuviera correcta y así los resultados obtenidos fueron vistos como forma de reporte,
por ejemplo al momento de revisar cada pregunta se pudo visualizar la información
como se observa en la Fig 4, que representa la pregunta 5. El docente se puede dar
cuenta de la cantidad los alumnos que contestaron cada opción, cuántos contestaron
correctamente en este caso la opción 3 y cuántos contestaron alguna otra opción que
puede traer conflicto al estudiante como la opción 1 y 5 (la mayoría de estudiantes
contestaron), para luego proceder a la realimentación.




                         Fig 4. Reporte del Google Dashboard por pregunta

A partir de los datos registrados se utilizará la hipótesis nula y el análisis del valor p
para observar si existe una diferencia entre los resultados de la primera prueba y la
segunda. La hipótesis nula afirma que no existe una diferencia entre los promedios que
se quieran comparar, expresada como 𝐻0 : 𝜇1 − 𝜇2 = 0. Si se llega a observar una
diferencia entre los promedios, se deberá realizar validaciones para verificar que la
diferencia existente esta fuera del margen de error, es decir, la diferencia tiene que ser
significante como para afirmar que la segunda hipótesis es válida.

4 Resultados
Con los resultados obtenidos de las pruebas se pudo observar lo siguiente: La respuesta
de los estudiantes en las pruebas tradicionales antes y después de la realimentación y la
respuesta de los estudiantes en las pruebas con el dispositivo IoTlicker antes y después
de la realimentación, cabe mencionar que la cantidad de preguntas no contestadas es
cero. Luego, se pudieron realizar las siguientes comparaciones:

En cuanto a la hipótesis nula 𝐻0 , compara que no exista ningún cambio en cuanto al
aprendizaje del estudiante luego de la realimentación dada en pruebas tradicionales o
en el IoTlicker. Por otro lado, la hipótesis alternativa 𝐻1 , indica que si existe una
diferencia significativa en cuanto al aprendizaje del estudiante luego de la
realimentación.

En la Tabla 1, se puede observar los resultados obtenidos usando el método de prueba
tradicional antes y después de la realimentación. Los resultados varían de acuerdo al
número de respuestas correctas que el estudiante obtuvo. El promedio del día 1 es de
5.1 y del día 3 luego de la realimentación es de 6.1 lo cual quiere decir que no hay una
diferencia significativa en cuanto al aprendizaje. La diferencia entre ambos promedios
es de 1.0, le damos un nivel de significancia del 5% y un grado de libertad de 9, con
esto obtenemos de la distribución normal un valor de Z de 8.34 que da como resultado
P=0, lo cual indica que se rechaza la hipótesis nula por lo que se obtiene como resultado
que sí existe una leve mejora en cuanto al aprendizaje de los estudiantes luego de la
realimentación.

                       Tabla 1. Resultados de pruebas tradicionales.

         Estudiante        Respuestas día 1               Respuestas Día 2
                        Correctas   Incorrectas        Correctas     Incorrectas
               1           4             6                6               4
               2           4             6                4               6
               3           4             6                7               3
               4           3             7                7               3
               5           5             5                6               4
               6           8             2                7               3
               7           7             3                6               4
               8           4             6                5               5
               9           6             4                7               3
              10           6             4                6               4



En la Tabla 2, se puede observar los resultados obtenidos usando el método de prueba
con el dispositivo IoTlicker antes y después de la realimentación. Los mismos, varían
de acuerdo al número de respuestas correctas que el estudiante obtuvo. El promedio de
resultados del día 2 es de 6.2 y del día 4 luego de la realimentación es de 8.9 lo cual
quiere decir que existe una diferencia significativa en cuanto al aprendizaje. La
diferencia entre ambos promedios es de 2.7, le damos un nivel de significancia del 5%
y un grado de libertad de 9, con esto obtenemos de la distribución normal un valor de
Z de 8.34 que da como resultado P=0, lo cual indica que se rechaza la hipótesis nula
por lo que se obtiene de que sí existe una mejora significativa en cuanto al aprendizaje
de los estudiantes luego de la realimentación.

                      Tabla 2. Resultados de pruebas con el IoTlicker

         Estudiante        Respuestas día 1               Respuestas Día 2
                        Correctas   Incorrectas        Correctas     Incorrectas
               1           5             5                 8              2
               2           5             5                 9              1
               3           3             7                 9              1
               4           5             5                 8              2
               5           8             2                10              0
               6           6             4                 9              1
               7           4             6                 7              3
               8           5             5                 9              1
               9           7             3                10              0
              10           9             1                10              0
Con los porcentajes mostrados en la Tabla 3, se puede observar los cambios en los
resultados incrementaron notablemente al realizar las pruebas con el dispositivo
IoTlicker, con estos datos se realizó la comparación de promedios para validar si se
acepta o rechaza la hipótesis nula.
       Tabla 3. Resumen comparativo de la respuesta de los estudiantes en las pruebas
                                   correspondientes
                        Estudiante               Tradicional   IoTlicker
                             1                      55            73
                             2                      40            80
                             3                      63            75
                             4                      60            73
                             5                      58            95
                             6                      73            83
                             7                      63            63
                             8                      48            80
                             9                      68            93
                            10                      60            98

               Nota: Los resultados de la tabla están expresados en porcentaje.

En la Tabla 4 se puede observar que el promedio de respuestas con las pruebas
tradicionales es del 5.6% y con el IoTlicker es del 7.3%; la diferencia entre ambos
promedios es 1.7% y el error estándar es de 3.75 puntos lo que da un valor de z de 16.92
que se sale de la distribución normal resultando p en 0. Para estos resultados se
estableció un nivel de significancia de 0.05 que es mayor a p dando como resultado el
rechazo de la hipótesis nula por lo que significa que si hay una mejora en conocimiento
en cuanto al estudiante con el uso del IoTlicker después de la realimentación brindada
por el docente.

         Tabla 4. Resultados obtenidos usando datos de la tabla 3 para la validación
               Dato                                                        Valor
                                            ̅𝟏 )
               Promedio con notificaciones (𝒙                              5.6
               Desviación estándar con notificaciones (𝝈𝟏 )                5.9
               Número de sujetos (𝒏𝟏 )                                     10
                                            ̅𝟐 )
               Promedio sin notificaciones (𝒙                              7.3
               Desviación estándar sin notificaciones (𝝈𝟐 )                8.2
               Número de sujetos (𝒏𝟐 )                                     10
               Resultados para validación de hipótesis nula
                                           ̅𝟏 − 𝒙
               Diferencia entre promedios (𝒙    ̅𝟐 )                       1.7

                                𝝈𝟐     𝝈𝟐𝟐                                 3.75
               Error estándar (√ 𝟏 +         )
                                𝒏𝟏     𝒏𝟐
                Valor z                                               16.92
                Valor p                                               0


5 Conclusión
La evaluación formativa en la educación ha desarrollado un rol importante, es por esto
que se han creados equipos IoT, ya que mejoran los niveles de la educación, incluyendo
al estudiante y al profesor. Estos utilizan los CRS debido a que contiene los
componentes principales de un sistema equilibrado y balanceado de evaluaciones que
entregan información y resultados en tiempo real, haciendo como principal objetivo
retroalimentar. De esta manera, el profesor puede monitorear el proceso de aprendizaje
e identificar a los temas a retomar. Estos dispositivos son libres y propietarios, permiten
a los profesores para obtener respuestas y a su vez retroalimentarlas a lo largo de la
clase debido a que fomentan la participación e interacción de los estudiantes; es por
esto que se obtiene más influencia en el desempeño y el aprendizaje del alumno ya que
le permite tener claridad en los errores de manera inmediata.

Debido a esta necesidad de dispositivos de software y hardware libre se desarrolló un
dispositivo llamado IoTlicker que permite que los estudiantes de una institución
educativa por medio de evaluaciones formativas mejoren su proceso de aprendizaje y
conocimiento, para el desarrollo de la última versión IoTlicker, primero se realizaron
las conexiones necesarias del Arduino y programación para su correcta ejecución, luego
se tuvo que construir la plataforma libre que permita la conexión vía Wi-Fi entre el
dispositivo y la plataforma creada que permita al docente ingresar preguntas en una
base de datos. Finalmente se procedió a realizar la conexión con Google Dashboard
para que los resultados de la base de datos puedan ser observados por el profesor en
forma de reportes para su fácil visualización.

Para los estudiantes fue llamativo el dispositivo debido a la funcionalidad que tienen y
más aún por su anonimidad. El anonimato y la confidencialidad del proceso fueron
beneficiosos para producir la realimentación necesaria el cual era un factor importante
al momento de realizar las pruebas. Se concluye que esta tecnología tiene un gran
potencial para aumentar la participación de los estudiantes en sus clases, como fue
comprobado en este estudio rechazando la hipótesis nula, lo cual significa que si existe
una mejora significativa en cuanto al aprendizaje del estudiante con el IoTlicker. Se
pudo observar en las actitudes (en el momento de la prueba) aspectos como la
motivación y generación de conocimiento con el dispositivo, en comparación a las
pruebas tradicionales.

5 Referencias
1.   Blasco-Arcas, L., Buil, I., Hernandez-Ortega, B., & Sese, F. J.: Using clickers in class. The
     role of interactivity, active collaborative learning and engagement in learning performance,
     Computers & Education, 62, 102-110 (2013).
2.   Google       Analitics.:     Condiciones       de     servicio  de     Google      Analytics.
     https://www.google.com/analytics/terms/es.html , último acceso 2018/02/15.
3.   Hall, R., Collier, H., Thomas, M., & Hilgers, M.: A student response system for increasing
      engagement, motivation, and learning in high enrollment lectures. Americas Conference on
      Information Systems, 621-626,             http://aisel.aisnet.org/amcis2005, último acceso
      2018/02/03.
4.    Roth, K. A.: Assessing Clicker Examples Versus Board Examples in Calculus. PRIMUS,
      22(5), 353-364. doi:10.1080/10511970.2011.623503 (2012).
5.    Lyubartseva, G.: Influence of audience response system technology on student performance
      in organic chemistry lecture class. Education, 133(4), 439-443 (2013).
6.    Liu, F., Gettig, J., & Fjortoft, N.: Impact of a student response system on short- and long-
      term learning in a drug literature evaluation course. American Journal of Pharmaceutical
      Education, 74(1), 1-5. doi:10.5688/aj740106 (2010).
7.    Simelane, S., & Skhosana, P.: Impact of clicker technology in a mathematics course.
      Knowledge Management & E-Learning: An International Journal, 4(3), 279-292 (2012).
8.    Crossgrove, K., & Curran, K.: Using clickers in nonmajors- and majors-level biology
      courses: Student opinion, learning, and long-term retention of course material. Cell Biology
      Education, 7(1), 146-154. doi:10.1187/cbe.07-08-0060 (2008).
9.    Rubin, J., & Rajakaruna, M.: Teaching and assessing higher order thinking in the
      mathematics classroom with clickers. Mathematics Education, 10(1), 37-51 (2014).
10.   Bousbahi, F.: Use of i-Clickers to enhance learning outcomes assessment in classroom: A
      case study in King Saud University. Proceedings of the 14th International Academic
      Conference, 92-98 (2014).
11.   Rana, N., Dwivedi, Y., & Al-Khowaiter, W.: A review of literature on the use of clickers in
      the business and management discipline. The International Journal of Management
      Education, 14(2), 74-91. doi:10.1016/j.ijme.2016.02.002 (2016).
12.   Starichenko, B., Egorov, A., & Yavich, R.: Feautures of Application of Classroom Response
      System at the Lectures in Russia and Israel. International Journal of Higher Education, 2(3).
      doi:10.5430/ijhe.v2n3p23 (2013).
13.   Simelane, S., & Mji, A.: Impact of Technology-engagement Teaching Strategy with the Aid
      of Clickers on Student's Learning Style. Procedia-Social and Behavioral Sciences, 136, 511-
      521 (2014).
14.   Stowell, J. R.: Use of clickers vs. mobile devices for classroom polling. Computers &
      Education, 82, 329-334 (2015).
15.   Deal, A.: A Teaching with Technology White Paper Classroom Response Systems.
      Teaching with Technology. http://www.cmu.edu/teaching/ último acceso 2018/01/03.
16.   Boyle, J. & Nicol, D.: Using classroom communication systems to support interaction and
      discussion in large class settings. Association of Learning Technology Journal, 11(3), 43-
      57 (2003).
17.   Malcolm Wilson, Evaluation of Classroom Response Systems / Voting Tools Falkirk
      Council Education Services, (2006).
18.   Vinacur, T.: La Evaluación Formativa. Buenos Aires: Ministerio de Educación. Gobierno
      de la Ciudad de Buenos Aires, (2009).
19.   Google          Data       Studio.:       What's         new        in     Data       Studio,
      https://support.google.com/datastudio/answer/6311467?utm_source=in-
      product&utm_medium=feature-panel&utm_campaign=whats-new                    último     acceso
      2018/02/15.
20.   Google Data Studio.: Put the power of your marketing data in everyone’s hands. Google
      Inc.     http://services.google.com/fh/files/misc/data_studio_productoverview_081817.pdf,
      último acceso 2018/03/4.
21.   Arce, V. Flores, M. González, J. & Plaza, V.: Diseño e Implementación de un Sistema de
      Respuesta Personal empleando Tecnología IoT. LACCEI. ISBN: 978-0-9993443-0-9. DOI:
      http://dx.doi.org/10.18687/LACCEI2017.1.1.87 Boca Ratón (2017).