1、 Rec. UIT-R BT.1663 1 RECOMENDACIN UIT-R BT.1663 Mtodos de observacin especializada para evaluar la calidad de los sistemas destinados a la proyeccin digital de imgenes digitales en pantalla grande1en cines (Cuestin UIT-R 15/6) (2003) La Asamblea de Radiocomunicaciones de la UIT, considerando a) que
2、 la UIT, al igual que otros organismos internacionales de normalizacin, est estudiando un nuevo servicio denominado imgenes digitales en pantalla grande (LSDI, large screen digital imagery); b) que probablemente varias aplicaciones se identificarn para el servicio de LSDI; c) que ser necesario espec
3、ificar requisitos de calidad de funcionamiento y verificar la conveniencia de soluciones tcnicas consideradas para cada aplicacin, teniendo en cuenta los requisitos de calidad de funcionamiento de cada una de ellas; d) que estas comprobaciones involucrarn necesariamente tambin pruebas de evaluacin s
4、ubjetiva bajo condiciones cientficas rigurosas; e) que diversos mtodos de prueba subjetiva pueden ofrecer diversos grados de sensibilidad para la deteccin de determinados tipos de degradacin; f) que los mtodos de evaluacin subjetiva especificados en la Recomendacin UIT-R BT.500, basados en una obser
5、vacin no especializada, requieren tiempo y son de costos elevados, debido al gran nmero de observaciones que deben efectuarse para poder diferenciar los sistemas desde el punto de vista de la calidad de funcionamiento; g) que se propone ahora un nuevo mtodo de pruebas subjetivas, basado en el empleo
6、 de un pequeo nmero de observadores especializados, lo que proporcionar la capacidad comparable de diferenciar la calidad de funcionamiento de los diferentes sistemas mediante procedimientos ms rpidos y menos costosos, recomienda 1 la utilizacin del mtodo de prueba descrito en el Anexo 1, basado en
7、el empleo de observadores especializados, para la evaluacin subjetiva de las soluciones de LSDI, toda vez que limitaciones de tiempo o de presupuesto no permitan aplicar los mtodos de observacin no especializada que se especifican en la Recomendacin UIT-R BT.500 y cuando la sensibilidad del mtodo de
8、scrito en el Anexo 1 sea suficiente para diferenciar los sistemas evaluados, 1Las imgenes digitales en pantalla grande (LSDI) son una familia de sistemas de imgenes digitales aplicables a programas tales como representaciones dramticas y comedias, acontecimientos deportivos y culturales, conciertos,
9、 etc., para una presentacin en pantalla grande con calidad de alta resolucin en salas cinematogrficas, teatros, salas y otros locales adecuadamente equipados. 2 Rec. UIT-R BT.1663 recomienda adems 1 efectuar estudios como parte del proceso de prueba, para comprobar la sensibilidad del mtodo de prueb
10、a descrito en el Anexo 1; 2 realizar otros estudios, a los efectos de mejorar la presente Recomendacin, sobre el tratamiento de los resultados; 3 alentar a los administradores y a las organizaciones a poner a disposicin, para las Administraciones Miembros de la UIT y los Miembros de Sector, todo mat
11、erial e instrumentos de prueba (por ejemplo, programas informticos para generar presentaciones de imgenes antiguas o simtricas) que se estn elaborando, a fin de facilitar las futuras pruebas por otras organizaciones. Anexo 1 Observacin especializada para evaluar la calidad de los sistemas destinados
12、 a la proyeccin digital de pelculas en LSDI en salas de cine 1 Introduccin En los ltimos aos, la observacin especializada se ha empleado frecuentemente para efectuar rpidas comprobaciones de la calidad de funcionamiento de un proceso de vdeo genrico. El presente Anexo describe un mtodo de prueba por
13、 observacin especializada que permitir una coherencia de resultados obtenidos en diferentes laboratorios al recurrir a los servicios de un nmero limitado de observadores especializados. 2 Motivos del nuevo mtodo basado en la observacin especializada Conviene poner de relieve las ventajas que resulta
14、n de la aplicacin de la metodologa propuesta. En primer lugar, una prueba de evaluacin subjetiva formal suele requerir el empleo de por lo menos 15 observadores elegidos entre los no especializados, la realizacin de pruebas prolongadas y la bsqueda continua de nuevos observadores. Tal nmero de obser
15、vadores es necesario para lograr la sensibilidad necesaria de modo que los sistemas sometidos a prueba puedan diferenciarse y clasificarse, o juzgarse equivalentes de manera fiable. En segundo lugar, al recurrir a observadores no especializados, las formas tradicionales de prueba pueden no revelar d
16、iferencias que podran resaltar en una exposicin ms prolongada, incluso para ojos no expertos. En tercer lugar, las evaluaciones provisionales generalmente establecen medidas de calidad (o diferencias en la calidad), pero no identifican directamente los objetos u otras manifestaciones materiales a la
17、s que dichas medidas se refieren. La metodologa aqu propuesta trata de dar solucin a estos tres problemas. Rec. UIT-R BT.1663 3 3 Definicin de especialistas A los efectos de la presente Recomendacin, un observador especializado es una persona que conoce el material empleado para la evaluacin, sabe q
18、u mirar, eventualmente puede estar bien informado sobre los detalles del algoritmo utilizado para procesar el material vdeo que ha de evaluarse. En todos los casos, el observador especializado es una persona con larga experiencia en el terreno de la investigacin de la calidad, alguien profesionalmen
19、te vinculado al tema especfico de la prueba. Por ejemplo, cuando se organiza una serie de pruebas de observacin especializada de un material dado de LSDI, deberan elegirse expertos en la produccin o postproduccin de pelculas o en la produccin de contenido vdeo de alta calidad (por ejemplo, camargraf
20、os, retocadores de color, etc.); la seleccin ha de efectuarse teniendo en cuenta la posibilidad de establecer juicios subjetivos nicos sobre la calidad de imagen de LSDI y los artilugios de compresin. 4 Seleccin de evaluadores Toda prueba de observacin especializada es una serie de evaluaciones basa
21、das en las opiniones de evaluadores y en la que se emiten juicios sobre la calidad visual y/o la degradacin aparente. El grupo bsico de expertos est formado por cinco a seis personas. Este nmero reducido facilita la tarea de elegir los evaluadores y permite llegar a decisiones ms rpidas. En funcin d
22、e las necesidades del experimento, se admite la utilizacin de ms de un grupo bsico de expertos, reunidos en un conjunto combinado ms amplio (por ejemplo, provenientes de diferentes laboratorios). Se entiende que los especialistas tienen tendencia a mejorar la clasificacin cuando estn probando su pro
23、pia tecnologa, por lo que debera evitarse la inclusin de personas directamente involucradas en el desarrollo del sistema sometido a prueba. Todos los evaluadores deberan pasar por un examen de agudeza visual, normal o corregida (prueba de Snellen), as como de visin cromtica normal (prueba de Ishihar
24、a). 5 Material de prueba Los materiales por probar deben seleccionarse de tal manera que sirvan de muestra de toda la gama de valores de produccin y niveles de dificultad previstos en el contexto real en el cual los sistemas bajo prueba habrn de utilizarse. La seleccin debera favorecer los materiale
25、s ms exigentes, aunque sin excesos. Por lo general, deberan emplearse de 5 a 7 secuencias de prueba. El mtodo de seleccin de materiales puede variar tambin en funcin de la aplicacin para la cual el sistema bajo prueba se ha diseado. En tal sentido, no se dan ms indicaciones aqu sobre las reglas de s
26、eleccin del material de prueba, dejando la decisin al autor de la concepcin de la prueba, sobre la base de las consideraciones antes mencionadas. 6 Condiciones de observacin Las condiciones de observacin, que debern describirse exhaustivamente en el informe sobre la prueba, han de ajustarse al Cuadr
27、o 1 y mantenerse de manera constante durante la prueba. 4 Rec. UIT-R BT.1663 CUADRO 1 7 Metodologa 7.1 Series de evaluacin Cada serie de evaluacin (definida como el conjunto de sesiones de prueba de un grupo determinado de observadores) debera comprender dos fases (por ejemplo, Fase I y Fase II). 7.
28、1.1 Fase I La Fase I consiste en una prueba subjetiva formal realizada en un entorno controlado (vase el 6), gracias a la cual se obtendrn resultados vlidos, sensibles y repetibles. En esta fase, los especialistas clasifican cada uno el material presentado, empleando la escala de clasificacin que se
29、 describe ms adelante. Los miembros del equipo no deben debatir entre s lo que estn viendo ni controlar las presentaciones. En el curso de esta fase, los especialistas NO deberan conocer el sistema de codificacin sometido a prueba ni el orden de presentacin del material que se prueba. El material ba
30、jo prueba debera presentarse de manera aleatoria, para evitar toda parcialidad en el juicio. 7.1.1.1 Presentacin del material El mtodo de presentacin combina elementos de doble estmulo simultneo para evaluacin continua (SDSCE) (vase la Recomendacin UIT-R BT.500, 6.4) y el mtodo de escala de calidad
31、continua de doble estmulo (DSCQS) (vase la Recomendacin UIT-R BT.500, 5). Es posible referirse a l como mtodo de doble estmulo simultneo. Con arreglo al mtodo SDSCE, en cada prueba se presentar en una pantalla dividida el material correspondiente a dos imgenes. En la mayora de los casos, una de las
32、imgenes de origen ser la referencia (es decir, la imagen fuente) y la otra la imagen de prueba; en otros casos, las dos imgenes se habrn extrado de la imagen de referencia. La referencia estar constituida por el material de origen presentado de manera transparente (es decir, sin someterlo a otra com
33、presin que la correspondiente al medio de grabacin de la fuente). El material de prueba ser el material de fuente procesado a travs de uno de los sistemas bajo prueba. La velocidad binaria y/o el nivel de calidad correspondern a las especificaciones del guin de la prueba. A diferencia del mtodo SDSC
34、E, los observadores no conocern las condiciones representadas por ambos miembros del par de imgenes. Valores Condiciones de observacin Mnimo Mximo Dimensin de la pantalla (m) 6 16 Distancia de observacin (1)1,5 H 2 H Luminancia del proyector (pantalla central, blanco mximo) 10 ftL 14 ftL Luminancia
35、de la pantalla (fuera del proyector) 1/1 000 de la luminancia del proyector (1)Ha de emplearse la presentacin en mariposa cuando la distancia de observacin sea menor que 1,5 H. En caso de emplearse una presentacin por yuxtaposicin, la distancia de observacin debera acercarse ms al valor de 2 H. Rec.
36、 UIT-R BT.1663 5 La presentacin en pantalla dividida podr efectuarse mediante el mtodo tradicional de divisin de la pantalla sin efecto de simetra, o bien mediante la tcnica en mariposa, en la que la imagen de la derecha de la pantalla es su equivalente especular. Puesto que se presentarn imgenes co
37、mpletas a lo ancho, slo la mitad de cada una podr observarse a la vez. En cada presentacin, en cada lado de la pantalla se presentar la misma mitad de la imagen. Con arreglo al mtodo DSCQS, el par de imgenes se presenta dos veces sucesivamente, una vez para familiarizarse con la imagen y evaluarla,
38、y otra vez para confirmar la impresin y clasificar. Cada secuencia durar entre 15 y 30 s. Es posible rotular cada secuencia al comienzo de cada fragmento, para asistir a los evaluadores (vase la Fig. 1 como ejemplo de divisin de pantalla sin efecto especular). 1663-01Voto NBA1 s 1 s p.e. 20 s 1 s 1
39、s p.e. 20 s 4 sTiempo de votacinFIGURA 17.1.1.2 Escala de evaluacin El criterio de aceptacin en las aplicaciones de LSDI es que la imagen de prueba (es decir, comprimida) no pueda distinguirse de la referencia. Para evaluar los sistemas sometidos a prueba pueden emplearse varios mtodos corrientes de
40、 clasificacin. Uno de los mtodos que se propone consiste en las escalas de comparacin de estmulo, sugerido en la Recomendacin UIT-R BT.500, 6.2. Un ejemplo concreto de escala es la de IGUAL-DIFERENTE, de tipo no categrico (continuo) que se describe en el 6.2.4.2 de la Recomendacin UIT-R BT.500: 1663
41、-0250 cmIgual DiferenteFIGURA 27.1.1.3 Sesiones de evaluacin El proceso de evaluacin puede implicar ms de una sesin, en funcin del nmero de condiciones de prueba, y deber comprender dos tipos de pruebas: pruebas iniciales y pruebas de confirmacin. En una prueba inicial, una mitad de la pantalla mues
42、tra la referencia, mientras que la otra mitad muestra la prueba. En una prueba de confirmacin ambas mitades muestran la referencia. La prueba de confirmacin tiene por objeto medir la posibilidad de juicio parcial. 6 Rec. UIT-R BT.1663 Para cada sistema probado, se requieren en cada secuencia de prue
43、ba las siguientes pruebas iniciales: CUADRO 2 De preferencia, cada uno de los casos descritos debera repetirse por lo menos dos veces. Para cada sistema se requiere, en cada secuencia de prueba, las siguientes pruebas de confirmacin: CUADRO 3 Tambin aqu es preferible efectuar, para cada uno de los c
44、asos descritos, por los menos dos repeticiones. Las pruebas deberan consistir en sesiones de ms de una hora de duracin, con pausas de descanso de 15 min. Las pruebas iniciales y de confirmacin resultantes de la combinacin de secuencias de cdec y de prueba deberan dividirse en sesiones segn un criter
45、io de asignacin seudoaleatorio. Aunque sea ms complicado, vale la pena imponer algunas restricciones a este proceso. Por ejemplo, en caso de efectuarse cuatro sesiones, podra asignarse aleatoriamente cada una de las pruebas iniciales a un cdec dado y las secuencias de pruebas a una posicin determina
46、da aleatoriamente en una de estas sesiones. Este mtodo tiene la ventaja de asegurar una distribucin de las pruebas iniciales del sistema a lo largo de toda la serie de pruebas. 7.1.1.4 Procesamiento de los resultados de las pruebas Para una prueba inicial dada, el resultado de la prueba es la distan
47、cia entre el extremo IGUAL de la escala y la marca establecida por el observador, expresada en valores de 0 a 100 de la escala. Los resultados se analizarn como nota media de opinin (MOS), mtodo que se emplear para establecer una clasificacin de los sistemas probados. Segn el nmero de observaciones
48、efectuadas por sistema (observadores secuencias de prueba repeticiones), los datos pueden someterse a un anlisis de varianza (ANOVA)2. El resultado de pruebas de confirmacin puede utilizarse para derivar una diferencia de evaluacin bsica de azar. 2Un total de 10-20 observaciones en la condicin de orden inferior de inters es suficiente para aplicar tratamientos estadsticos inferenciales del tipo ANOVA. Flanco izquierdo de la pantalla Flanco derecho de la pantalla Referencia de la mitad de la izquierda Prueba de la mitad de la izquierda Referencia de la mitad de la derecha Prueba de
