Video service providers must continuously evaluate quality of experience for service offered to their user. Our article presents three evaluation models for quality of experience of IPTV service. We analyze the construction of the three models, and present the results of the executed performance / fidelity tests.
El crecimiento acelerado que ha presentado el servicio de IPTV (Televisión sobre Protocolo IP), sobre Internet ha obligado a los proveedores de servicio a implementar esquemas para monitorear la calidad de experiencia sobre el servicio ofrecido. Esta calidad de la experiencia, la Unión Internacional de Telecomunicaciones en su Recomendación P.10/100 la define como el grado de satisfacción o inconformidad del usuario por una aplicación o servicio” [ITU17].
Es así que para evaluar o medir la calidad de la experiencia percibida por el usuario se han propuesto tres métodos: (i) métodos subjetivos, (ii) métodos objetivos y (iii) métodos indirectos [Rah06].
Los métodos subjetivos están relacionados con la utilización de personas para evaluar la calidad del video en un ambiente controlado, mediante el uso de encuestas. Este método costoso, porque demanda tiempo y una logística adecuada para la realización de dichas pruebas.
Los métodos objetivos son algoritmos que utilizan una señal de referencia completa, parcial o sin utilizar señal de referencia para medir calidad del video. Muchos de estos algoritmos ya están implementados comercialmente pero requieren alto procesamiento o utilizan pocas variables de análisis para realizar la medición de calidad del video.
Copyright © by the paper’s authors. Copying permitted only for private and academic purposes.
Por último, están los métodos indirectos, que mediante un modelo matemático evalúan la calidad de experiencia asociada al video. Este modelo matemático es generado mediante la variación de parámetros de calidad de servicio y la utilización de un método subjetivo u objetivo para evaluar la calidad de experiencia asociada al video. Con este conjunto de datos se realiza un procedimiento matemático que permite obtener el modelo. A su vez, este tipo de enfoque permite realizar mediciones en vivo y computacionalmente no requieren un procesamiento elevado como los métodos objetivos.
De acuerdo a lo anterior, diferentes autores han propuesto modelos, basándose en métodos indirectos, esto con el fin de no depender de pruebas subjetivas o la utilización de métodos objetivos únicamente, para evaluar la calidad de experiencia asociada al video. En [Cue14] se presenta una revisión del estado del arte de modelos propuestos basados en métodos indirectos, presentando una comparación entre la cantidad de parámetros de calidad de servicio utilizados, como el método elegido para evaluar la calidad de la experiencia del video. Después de analizar las limitaciones que presenta cada modelo propuesto analizado en [Cue14], el objetivo de este artículo es presentar tres modelos para evaluar la calidad de experiencia para el servicio de IPTV, basándose en el enfoque de métodos indirectos. Los modelos aquí propuestos se obtuvieron al modificar tres parámetros de calidad de servicio (retardo, variación del retardo y pérdida de paquetes), la medición de la calidad del video se realizó utilizando el método objetivo VQM (Video Quality Metric).
El artículo está estructurado de la siguiente manera: en la sección 2 se el diseño del experimento para obtener los modelos propuestos, En la sección 3 se presenta el análisis de desempeño de los modelos propuestos al comparar los resultados obtenidos con pruebas subjetivas. Y al finalizar se presentan las conclusiones y las referencias.
El diseño del experimento involucró los parámetros de calidad de servicio (retardo, variación del retardo y pérdida de paquetes) y la medición de la calidad de la experiencia con el método objetivo VQM. Se eligió VQM debido a que es un modelo estandarizado que utiliza bajo ancho de banda y que extrae datos de los videos origen y destino. VQM fue adoptado por el Instituto Americano de Estándares (ANSI TI.801.032003) y fue incluido en la ITU-TJ.144 e ITU-R BT.1883 [Wang10]. En la tabla 1 se puede apreciar una captura de pantalla de los videos utilizados para generar los modelos. Los videos se transmitieron en una red emulada y la degradación de los videos se realizó con ayuda del Network Emulator [Lin].
Tabla 1. Capturas de Pantalla de los videos fuente.
Se utilizó es la metodología de superficies de respuesta (MSR) para el diseño experimental [Mon13], y para determinar el tipo y la cantidad de tratamientos o ejecuciones a realizar en el experimento, se eligió un diseño central compuesto (DCC) de tres factores. La MSR entrega un modelo de la forma canónica presentada en la ecuación (1), donde los parámetros de calidad de servicio se identifican de la siguiente manera: R=Retardo, VR = Variación del retardo y PP=Perdida de Paquetes. La medición de la calidad de la experiencia asociada al video, se identifica como QoE.
= + + + + + + + + + (1) En la Tabla 2 se presentan el valor de las constantes β asociadas a cada parámetro de calidad de servicio en la ecuación (1), los factores (parámetros de calidad de servicio) que estadísticamente influyen en cada modelo y el valor del R_cuadrado, que explica el porcentaje de variabilidad de los datos con los cuales se generó el modelo, que para los tres modelos generados (Entrevista, Cafetería, Baloncesto), fue cercano al 80%.
Tabla 2.Constantes β asociadas a cada modelo generado.
0,65 0,35x10-3 254 -5,8 -1x10-6 -8890 30,1 -0,069 0,0275
-698 β0 β1(R) β2(VR) β3 (PP) β4 (R2) β5 (VR2 ) β6 (PP2) β7 (R*VR) β8 (R*PP) β 9 (VR*PP) esFtcaaadidcníatsfotlmriuceyoasedmnqeeulonete RP*PP,P R,RP2P, PVRPR*V*PPRP2P,,
R_cuadrado 79,59% 84,23% 88,56% R: Retardo, VR: Variación del Retardo PP: Perdida de Paquetes Baloncesto
0,55 2,28x10-3 355 68,1 0,0 -10248 -121,9 0,0238 -0,0252 -1666
Cafetería
3,89 -3,19x10-3 85 18,1 6x10-6 -11937 -79,1 -0,082 0,012 2020 desempeño de los
Para verificar el desempeño de los modelos para evaluar la calidad de la experiencia, los resultados obtenidos por estos, deben ser correlacionados con resultados obtenidos mediante pruebas subjetivas. Para esto, el Grupo de Expertos de Calidad del Video (Video Quality Expert Group –VQEG) [Vqe03] ha planteado un plan de pruebas para validar el desempeño de los modelos propuestos por diferentes autores. Las pruebas se resumen en comparar los resultados de los modelos propuestos con resultados de pruebas subjetivas en los siguientes aspectos: (i) el coeficiente de correlación de Pearson (CCP), (ii) la raíz del error cuadrático medio (RECM). (iii) el coeficiente de correlación de Spearman (CCS) y (iv) el porcentaje de valores atípicos (PVA) [Chen15].
Para realizar estas pruebas de desempeño, se realizaron pruebas subjetivas a los videos con los cuales se generaron los modelos. Estas pruebas se realizaron a 68 observadores, de los cuales 57 fueron considerados válidos según el cumplimiento de las instrucciones impartidas durante el experimento, el correcto uso de los formatos establecidos y siguiendo los pasos de la norma ITU 500-11 [ITU02]. Las edades de los observadores
RECM PVA oscilaban entre 17 y 53 años. De los cuales, 52.63% de ellos fueron mujeres; el 59.65% de todos los observadores eran estudiantes activos de diversas carreras universitarias, mientras que el porcentaje restante eran trabajadores pertenecientes a la misma Universidad [Aco18].
Basándose en el plan de pruebas planteado por el Grupo de Expertos de Calidad del Video (Video Quality Expert Group –VQEG) los resultados de las pruebas de desempeño a los tres modelos se pueden apreciar en la Tabla 3.
Tabla 3. Resultados de desempeño para cada modelo propuesto.
Correlación de Spearman, RECM: Raíz del Error cuadrático Medio, PVA: Porcentaje de valores atípicos Para el modelo asociado al video Entrevista se puede observar que los valores de CCP y CCS son cercanos y presentan una correlación positiva moderada aproximada del 63%, el RECM es el más alto en comparación con los resultados de los otros dos modelos y está relacionado con PVA que es el 50%. Para el modelo asociado al video Cafetería las pruebas de CCP y CCS fueron las que arrojaron resultados más bajos en comparación a los otros dos modelos, aunque RECM fue bajo y PVA fue cero. El modelo asociado al video Baloncesto fue el que mejor resultado entregó en el CCP, alcanzando un 82,9%, mientras que el CCS fue de 59,1% indicando que los datos crecen moderadamente de manera monótona. El RECM fue el más bajo de los tres modelos y el PVA alcanzó el 13%.
Los modelos propuestos fueron diseñados basándose en la distorsión de videos transmitidos en un entorno de emulación y con la variación de tres parámetros de calidad de servicio de manera simultánea.
Nuestra propuesta presenta las siguientes ventajas en comparación con los modelos analizados en [2]: (i) Nuestros modelos son generados trabajando de manera simultánea con tres parámetros de calidad de servicio (retardo, variación del retardo y perdida de paquetes). (ii) Los parámetros de calidad de servicio se variaron en un entorno de emulación de red con la transmisión del video en tiempo real. (iii) Los videos usados para la generación de los videos fueron en alta definición (1920x1080).