=Paper=
{{Paper
|id=Vol-2178/SSN2018_paper_2
|storemode=property
|title=QoE/QoS Mapping Models to Measure Quality of Experience to IPTV Service
|pdfUrl=https://ceur-ws.org/Vol-2178/SSN2018_paper_2.pdf
|volume=Vol-2178
|authors=Juan Carlos Cuellar,David Acosta,Jose Luis Arciniegas
|dblpUrl=https://dblp.org/rec/conf/ssn/CuellarAA18
}}
==QoE/QoS Mapping Models to Measure Quality of Experience to IPTV Service==
https://ceur-ws.org/Vol-2178/SSN2018_paper_2.pdf
QoE/QoS Mapping Models to measure Quality of Experience to IPTV
Service
Juan Carlos Cuellar David Acosta Jose Luis Arciniegas
Universidad Icesi Universidad Icesi Universidad del Cauca
Cali, Colombia Cali, Colombia Popayán, Colombia
jcuellar@icesi.edu.co dacista@icesi.edu.co jlarci@unicauca.edu.co
Abstract Por último, están los métodos indirectos, que
mediante un modelo matemático evalúan la calidad de
Video service providers must experiencia asociada al video. Este modelo matemático
continuously evaluate quality of experience es generado mediante la variación de parámetros de
for service offered to their user. Our article calidad de servicio y la utilización de un método
presents three evaluation models for quality subjetivo u objetivo para evaluar la calidad de
of experience of IPTV service. We analyze experiencia asociada al video. Con este conjunto de
the construction of the three models, and datos se realiza un procedimiento matemático que
present the results of the executed permite obtener el modelo. A su vez, este tipo de
performance / fidelity tests. enfoque permite realizar mediciones en vivo y
computacionalmente no requieren un procesamiento
1. Introducción elevado como los métodos objetivos.
De acuerdo a lo anterior, diferentes autores han
El crecimiento acelerado que ha presentado el servicio propuesto modelos, basándose en métodos indirectos,
de IPTV (Televisión sobre Protocolo IP), sobre Internet esto con el fin de no depender de pruebas subjetivas o la
ha obligado a los proveedores de servicio a implementar utilización de métodos objetivos únicamente, para
esquemas para monitorear la calidad de experiencia evaluar la calidad de experiencia asociada al video. En
sobre el servicio ofrecido. Esta calidad de la experiencia, [Cue14] se presenta una revisión del estado del arte de
la Unión Internacional de Telecomunicaciones en su modelos propuestos basados en métodos indirectos,
Recomendación P.10/100 la define como el grado de presentando una comparación entre la cantidad de
satisfacción o inconformidad del usuario por una parámetros de calidad de servicio utilizados, como el
aplicación o servicio” [ITU17]. método elegido para evaluar la calidad de la experiencia
Es así que para evaluar o medir la calidad de la del video. Después de analizar las limitaciones que
experiencia percibida por el usuario se han propuesto presenta cada modelo propuesto analizado en [Cue14],
tres métodos: (i) métodos subjetivos, (ii) métodos el objetivo de este artículo es presentar tres modelos para
objetivos y (iii) métodos indirectos [Rah06]. evaluar la calidad de experiencia para el servicio de
Los métodos subjetivos están relacionados con la IPTV, basándose en el enfoque de métodos indirectos.
utilización de personas para evaluar la calidad del video Los modelos aquí propuestos se obtuvieron al modificar
en un ambiente controlado, mediante el uso de tres parámetros de calidad de servicio (retardo, variación
encuestas. Este método costoso, porque demanda del retardo y pérdida de paquetes), la medición de la
tiempo y una logística adecuada para la realización de calidad del video se realizó utilizando el método
dichas pruebas. objetivo VQM (Video Quality Metric).
Los métodos objetivos son algoritmos que utilizan El artículo está estructurado de la siguiente manera:
una señal de referencia completa, parcial o sin utilizar en la sección 2 se el diseño del experimento para obtener
señal de referencia para medir calidad del video. los modelos propuestos, En la sección 3 se presenta el
Muchos de estos algoritmos ya están implementados análisis de desempeño de los modelos propuestos al
comercialmente pero requieren alto procesamiento o comparar los resultados obtenidos con pruebas
utilizan pocas variables de análisis para realizar la subjetivas. Y al finalizar se presentan las conclusiones y
medición de calidad del video. las referencias.
2 Diseño del Experimento para obtener los
Copyright © by the paper’s authors. Copying permitted only for private
and academic purposes. modelos propuestos
In: Proceedings of the IV School of Systems and Networks (SSN 2018), El diseño del experimento involucró los parámetros de
Valdivia, Chile, October 29-31, 2018. Published at http://ceur-ws.org calidad de servicio (retardo, variación del retardo y
pérdida de paquetes) y la medición de la calidad de la y el valor del R_cuadrado, que explica el porcentaje de
experiencia con el método objetivo VQM. Se eligió variabilidad de los datos con los cuales se generó el
VQM debido a que es un modelo estandarizado que modelo, que para los tres modelos generados
utiliza bajo ancho de banda y que extrae datos de los (Entrevista, Cafetería, Baloncesto), fue cercano al 80%.
videos origen y destino. VQM fue adoptado por el Tabla 2.Constantes β asociadas a cada modelo
Instituto Americano de Estándares (ANSI TI.801.03- generado.
2003) y fue incluido en la ITU-TJ.144 e ITU-R BT.1883
[Wang10]. En la tabla 1 se puede apreciar una captura Modelo
Factor
Entrevista Cafetería Baloncesto
de pantalla de los videos utilizados para generar los 0,65 3,89 0,55
β0
modelos. Los videos se transmitieron en una red β1(R) 0,35x10-3 -3,19x10-3 2,28x10-3
emulada y la degradación de los videos se realizó con β2(VR) 254 85 355
ayuda del Network Emulator [Lin]. β3 (PP) -5,8 18,1 68,1
β4 (R2) -1x10-6 6x10-6 0,0
Tabla 1. Capturas de Pantalla de los videos fuente. β5 (VR2 ) -8890 -11937 -10248
Captura de pantalla Nombre del video β6 (PP2) 30,1 -79,1 -121,9
β7 (R*VR) -0,069 -0,082 0,0238
β8 (R*PP) 0,0275 0,012 -0,0252
Entrevista (E00) β 9 (VR*PP) -698 2020 -1666
Factores que PP VR2,
Movimiento Bajo influyen PP, R, PP,
R*PP,
estadísticamente R*PP R2
cada modelo VR*PP
R_cuadrado 79,59% 84,23% 88,56%
Cafetería (C00) R: Retardo, VR: Variación del Retardo PP: Perdida de Paquetes
Movimiento
Moderado
3 Comparación de desempeño de los
modelos propuestos
Baloncesto (B00) Para verificar el desempeño de los modelos para evaluar
Movimiento Alto la calidad de la experiencia, los resultados obtenidos por
estos, deben ser correlacionados con resultados
obtenidos mediante pruebas subjetivas. Para esto, el
Grupo de Expertos de Calidad del Video (Video Quality
Se utilizó es la metodología de superficies de respuesta Expert Group –VQEG) [Vqe03] ha planteado un plan
(MSR) para el diseño experimental [Mon13], y para de pruebas para validar el desempeño de los modelos
determinar el tipo y la cantidad de tratamientos o propuestos por diferentes autores. Las pruebas se
ejecuciones a realizar en el experimento, se eligió un resumen en comparar los resultados de los modelos
diseño central compuesto (DCC) de tres factores. La propuestos con resultados de pruebas subjetivas en los
MSR entrega un modelo de la forma canónica siguientes aspectos: (i) el coeficiente de correlación de
presentada en la ecuación (1), donde los parámetros de Pearson (CCP), (ii) la raíz del error cuadrático medio
calidad de servicio se identifican de la siguiente manera: (RECM). (iii) el coeficiente de correlación de Spearman
R=Retardo, VR = Variación del retardo y PP=Perdida de (CCS) y (iv) el porcentaje de valores atípicos (PVA)
Paquetes. La medición de la calidad de la experiencia [Chen15].
asociada al video, se identifica como QoE. Para realizar estas pruebas de desempeño, se realizaron
= + + + + pruebas subjetivas a los videos con los cuales se
+ + + (1) generaron los modelos. Estas pruebas se realizaron a 68
+ + observadores, de los cuales 57 fueron considerados
En la Tabla 2 se presentan el valor de las constantes β válidos según el cumplimiento de las instrucciones
asociadas a cada parámetro de calidad de servicio en la impartidas durante el experimento, el correcto uso de los
ecuación (1), los factores (parámetros de calidad de formatos establecidos y siguiendo los pasos de la norma
servicio) que estadísticamente influyen en cada modelo ITU 500-11 [ITU02]. Las edades de los observadores
oscilaban entre 17 y 53 años. De los cuales, 52.63% de (retardo, variación del retardo y perdida de paquetes).
ellos fueron mujeres; el 59.65% de todos los (ii) Los parámetros de calidad de servicio se variaron en
observadores eran estudiantes activos de diversas un entorno de emulación de red con la transmisión del
carreras universitarias, mientras que el porcentaje video en tiempo real. (iii) Los videos usados para la
restante eran trabajadores pertenecientes a la misma generación de los videos fueron en alta definición
Universidad [Aco18]. (1920x1080).
Basándose en el plan de pruebas planteado por el Grupo
de Expertos de Calidad del Video (Video Quality Expert References
Group –VQEG) los resultados de las pruebas de
desempeño a los tres modelos se pueden apreciar en la [ITU17] “ITU-T Recommendation P.10/G.100:
Tabla 3. Vocabulary for performance, quality of service
and quality of experience.”. 2017.
Tabla 3. Resultados de desempeño para cada modelo [Rah06] T. Rahrer, R. Fiandra, and S. Wright,
propuesto. “Technical Report. TR-126. Triple-play Services
Modelos Quality of Experience (QoE) Requirements.,”
Indicador de
desempeño
Entrevista Cafeteria Baloncesto DSL Forum, 13-Dec-2006.
CCP 0,624 0,513 0,829 [Cue14] J. C. Cuéllar, J. H. Ortiz, and J. L. Arciniegas,
CCS 0,630 0,420 0,591 “Clasificación y Análisis de Métodos para medir
RECM 0,607 0,24 0,341 Calidad de la Experiencia del Servicio de
PVA 0,5 0 0,13 Televisión sobre Protocolo IP (IPTV),” Inf.
CCP: Coeficiente de Correlación de Pearson, CCS: Coeficiente de Tecnológica, vol. 25, no. 5, pp. 121–128, 2014.
Correlación de Spearman, RECM: Raíz del Error cuadrático Medio, [Wang10] T. Wang, A. Pervez, and H. Zou, “VQM-
PVA: Porcentaje de valores atípicos
based QoS/QoE mapping for streaming video,”
in 2010 3rd IEEE International Conference on
Para el modelo asociado al video Entrevista se puede Broadband Network and Multimedia
observar que los valores de CCP y CCS son cercanos y Technology (IC-BNMT), 2010, pp. 807–812.
presentan una correlación positiva moderada [Lin] “The Linux Foundation.” [Online].
aproximada del 63%, el RECM es el más alto en https://wiki.linuxfoundation.org/networking/netem.
comparación con los resultados de los otros dos modelos [Mon13] Montgomery, Diseño y análisis de
y está relacionado con PVA que es el 50%. Para el experimentos, Edición: 2 Tra. México, D.F.:
modelo asociado al video Cafetería las pruebas de CCP Limusa, 2013.
y CCS fueron las que arrojaron resultados más bajos en [Vqe03] “Final report from the Video Quality Experts
comparación a los otros dos modelos, aunque RECM fue Group on the validation of objective models of
bajo y PVA fue cero. El modelo asociado al video video quality assessment, phase II (FR-TV2).
Baloncesto fue el que mejor resultado entregó en el VQEG.” Sep-2003.
CCP, alcanzando un 82,9%, mientras que el CCS fue de [Chen15] Y. Chen, K. Wu, and Q. Zhang, “From QoS to
59,1% indicando que los datos crecen moderadamente QoE: A Tutorial on Video Quality Assessment,”
de manera monótona. El RECM fue el más bajo de los IEEE Commun. Surv. Tutor., vol. 17, no. 2, pp.
tres modelos y el PVA alcanzó el 13%. 1126–1165, Secondquarter 2015.
[ITU02] International Telecommunication Union (ITU),
4 Conclusiones “ITU-R Recommendation BT.500-13,
Methodology for subjective assesment of the
Los modelos propuestos fueron diseñados basándose en quality of television pictures.,” Ginebra Suiza,
la distorsión de videos transmitidos en un entorno de 2002.
emulación y con la variación de tres parámetros de [Aco18] D. Acosta, J. C. Cuellar, and J. L. Arciniegas,
calidad de servicio de manera simultánea. “Guidelines to Implement Video Dataset to
Nuestra propuesta presenta las siguientes ventajas en Assess Video Quality,” IEEE Colomb. Conf.
comparación con los modelos analizados en [2]: (i) Commun. Comput. 2018, May 16th-18th.
Nuestros modelos son generados trabajando de manera Medellín, Colombia, ISBN: 978-1-5386-6820-7.
simultánea con tres parámetros de calidad de servicio