1、 Rec. UIT-R BT.1663 1 RECOMMANDATION UIT-R BT.1663 Mthodes dvaluation, par visionnage dexperts de la qualit des systmes dimagerie numrique pour projection en salle sur grand cran1(Question UIT-R 15/6) (2003) LAssemble des radiocommunications de lUIT, considrant a) que lUIT, ainsi que dautres organis
2、mes de normalisation internationaux, tudient un nouveau service dnomm imagerie numrique sur grand cran (LSDI, large screen digital imagery); b) que lon trouvera probablement plusieurs applications la LSDI; c) quil sera ncessaire de spcifier des critres de qualit de fonctionnement et de vrifier que l
3、es solutions techniques considres pour chaque application sont compatibles avec les critres de qualit de fonctionnement correspondant lapplication considre; d) que ce type de vrification imposera ncessairement des valuations subjectives effectues dans des conditions scientifiques rigoureuses; e) que
4、 la capacit de dtection de tel ou tel type de dgradation peut diffrer dune mthode dessai subjectif lautre; f) que les mthodes dvaluation subjective spcifies dans la Recommandation UIT-R BT.500 font intervenir des observateurs non experts et sont coteuses en temps et en argent, compte tenu du grand n
5、ombre de notes dvaluation dont il faut disposer pour distinguer les niveaux relatifs de qualit de fonctionnement des diffrents systmes; g) quune nouvelle mthode dvaluation subjective faisant intervenir un petit nombre de visionneurs experts est dsormais propose, qui permettra de diffrencier la quali
6、t de fonctionnement des systmes tout en offrant des procdures plus rapides et moins onreuses, recommande 1 dutiliser la mthode dvaluation dcrite dans lAnnexe 1 de la prsente Recommandation, mthode faisant intervenir des visionneurs experts, pour lvaluation subjective des applications LSDI, lorsque,
7、pour des raisons de temps ou de budget, il nest pas possible de recourir aux mthodes dvaluation par des observateurs non experts spcifies dans la Recommandation UIT-R BT.500 et lorsque la sensibilit de la mthode expose dans ladite Annexe est suffisante pour diffrencier les systmes valus, 1Limagerie
8、numrique sur grand cran (LSDI) est une famille de systmes dimagerie numrique qui peuvent tre utiliss pour des programmes tels que sries tlvises, des pices de thtre, des manifestations sportives, des concerts, des vnements culturels, etc., de la production la prsentation sur grand cran avec une quali
9、t haute rsolution dans des salles de cinma, des salles de spectacle ou dautres lieux convenablement quips. 2 Rec. UIT-R BT.1663 recommande en outre 1 dans le cadre de la procdure dessai, de mener des tudes pour vrifier la sensibilit de la mthode dessai dcrite en Annexe 1; 2 afin damliorer la prsente
10、 Recommandation, de mener dautres tudes sur le traitement des rsultats; 3 dencourager les responsables des essais et les organisations qui procdent aux essais de mettre la disposition des administrations et des Membres de Secteur de lUIT tous les matriaux et outils dessais mis au point (tels que des
11、 logiciels pour prsenter des lments dimage cte cte ou en miroirs) pour faciliter lavenir les essais effectus par dautres organisations. Annexe 1 Evaluation, par visionnage dexperts, de la qualit des systmes dimagerie numrique pour projection LSDI en salle 1 Introduction Depuis quelques annes, on rec
12、ourt de plus en plus souvent un visionnage dexperts pour vrifier rapidement la qualit de fonctionnement dapplications vido gnriques. La prsente Annexe dcrit une mthode dessai qui fait intervenir des visionneurs experts et qui permettra dobtenir des rsultats cohrents dun laboratoire lautre, avec un p
13、etit nombre dobservateurs experts. 2 Pourquoi une nouvelle mthode faisant intervenir un visionnage dexperts Il est utile ce stade de souligner les avantages dcoulant de lapplication de la mthode propose. Tout dabord, un essai dvaluation subjective fait ncessairement intervenir le plus souvent au moi
14、ns 15 observateurs choisis parmi des personnes non expertes, ce qui allonge la dure des essais proprement dits et impose de rechercher constamment de nouveaux observateurs. Ce nombre lev de visionneurs est ncessaire pour obtenir la sensibilit requise afin de diffrencier et de classer les diffrents s
15、ystmes ou de les dclarer comme tant quivalents, avec le degr de confiance voulu. En deuxime lieu, les essais traditionnels, reposant sur des observateurs non experts, peuvent ne pas rvler des diffrences qui pourraient devenir manifestes, mme pour des personnes non expertes, au bout dun certain temps
16、 dobservation. Troisimement, les mthodes dvaluation traditionnelles consistent gnralement mesurer la qualit (ou les diffrences de qualit), mais non pas identifier directement les artefacts ou les autres phnomnes physiques qui sont la base des particularits releves. La mthode propose ci-aprs doit app
17、orter une solution ces trois problmes. Rec. UIT-R BT.1663 3 3 Dfinition de lexpression visionneur expert Dans la prsente Recommandation, un visionneur expert est par dfinition une personne qui connat les quipements utiliss dans lvaluation, qui sait ce quil faut rechercher et qui peut avoir une conna
18、issance approfondie de la structure dtaille de lalgorithme utilis pour traiter les programmes vido considrs. En tout tat de cause, un visionneur expert est une personne ayant une longue exprience des mthodes dvaluation de la qualit, tout en tant un professionnel du domaine spcifique. Par exemple, lo
19、rsque lon voudra valuer des programmes LSDI, on slectionnera comme visionneurs experts des spcialistes de la production ou de la postproduction de films cinmatographiques ou de programmes vido de haute qualit (directeurs de la photographie, spcialistes de ltalonnage colorimtrique, etc.), et lon tien
20、dra compte de la capacit des candidats formuler des jugements subjectifs prcis sur la qualit de limage et les artefacts de compression. 4 Slection des valutateurs Dans les valuations faisant intervenir des visionneurs experts, il sagit de demander des spcialistes dvaluer la qualit de limage visionne
21、 et/ou la visibilit des dgradations ventuelles. Un groupe de visionneurs experts est compos de cinq six personnes: avec un petit nombre dobservateurs, il est plus facile de procder la slection et de dcider rapidement. En fonction des besoins de lexprience, on pourra utiliser plusieurs groupes de vis
22、ionneurs, rassembls en un pool (reprsentant par exemple plusieurs laboratoires). Etant entendu que les visionneurs experts peuvent avoir tendance orienter leur jugement lorsquils valuent leurs propres technologies, on vitera dinclure dans les groupes des personnes ayant directement particip la mise
23、au point du systme tudi. Il conviendra de vrifier lacuit visuelle, normale ou aprs correction, de tous les observateurs (Test de Snellen) ainsi que leur vision des couleurs (Test dIshihara). 5 Squences dessai Les squences dessai seront choisies en fonction de la gamme des paramtres de production et
24、des niveaux de difficult caractristiques des conditions relles dans lesquelles le systme considr sera utilis. On choisira des squences relativement difficiles reproduire, mais sans excs. Dans lidal, on utilisera entre cinq et sept squences dessai. La mthode de slection des squences dessai pourra aus
25、si dpendre de lapplication en fonction de laquelle le systme considr a t mis au point. A cet gard, les lignes qui suivent ne comporteront aucune autre indication quant la procdure de choix des squences dessai: le responsable des essais choisira en fonction des lments prcits. 6 Conditions dobservatio
26、n Les conditions dobservation, qui seront dcrites en dtail dans le rapport dessai, respecteront les lments indiqus dans le Tableau 1 et seront constantes pendant toute la dure de lessai. 4 Rec. UIT-R BT.1663 TABLEAU 1 7 Mthodologie 7.1 Sessions dvaluation Une session dvaluation (cest-dire lensemble
27、des sances tenues par un groupe dobservateurs) comportera deux phases (Phase I et Phase II). 7.1.1 Phase I La Phase I sera un essai subjectif formel dans des conditions contrles (voir le 6), qui permettra dobtenir des rsultats valides, sensibles et rptitifs. Les visionneurs experts attribuent une no
28、te dobservation aux squences quils visionnent en utilisant lchelle dcrite ci-aprs. Les membres du groupe ne sont pas autoriss commenter entre eux ce quils voient, et ninterviennent pas dans la prsentation. Pendant cette phase, les experts NONT PAS connaissance du systme de codage valu ou de lordre d
29、e prsentation des squences. Les squences dessai sont prsentes en ordre alatoire: ainsi, les observateurs ne peuvent pas tre influencs dans leur jugement. 7.1.1.1 Prsentation des squences La mthode de prsentation combine des lments de la mthode dvaluation continue double stimulus simultan (SDSCE) dcr
30、ite dans la Recommandation UIT-R BT.500, 6.4) et des lments de la mthode de double stimulus chelle de qualit continue (DSCQS) dcrite dans la Recommandation UIT-R BT.500, 5). A des fins de rfrence, on pourra dnommer cette mthode mthode SDS (double stimulus simultan). Comme avec la mthode SDSCE, on pr
31、sentera chaque fois deux images sur un cran partag. Dans la plupart des cas, lune des sources sera la rfrence (image source), lautre tant la squence dessai; dans dautres cas, les deux images seront issues de la rfrence. La rfrence sera la source prsente de faon transparente (cest-dire sans compressi
32、on autre que la compression inhrente au support denregistrement). La squence dessai sera obtenue partir de la source, mais traite par lun des systmes valus. Le dbit et/ou le niveau de qualit correspondront aux valeurs spcifies pour lessai. Mais contrairement aux conditions dapplication de la mthode
33、SDSCE, les observateurs nauront pas connaissance de la nature des deux squences. Valeur(s) Condition dobservation Minimum Maximum Dimension de lcran (m) 6 16 Distance observateur-cran(1)1,5 H 2 H Luminance du projecteur (au centre de lcran, blanc max.) 10 ftL 14 ftL Luminance de lcran (projecteur te
34、int) 1/1 000 de la luminance du projecteur (1)On utilisera la prsentation symtrie verticale pour une distance observateur-cran voisine de 1,5 H. Lorsque la prsentation utilise sera de type cte cte, la distance observateur-cran devra tre de lordre de 2 H. Rec. UIT-R BT.1663 5 La prsentation en cran p
35、artag se fera soit de faon traditionnelle (sans effet miroir) soit en symtrie verticale, par retournement horizontal de limage occupant la partie droite de lcran. Les images de dpart tant des images plein cran, on ne pourra afficher que la moiti de chaque image, et lon veillera donc montrer la mme m
36、oiti sur chaque demi-cran chaque prsentation. Comme avec la mthode DSCQS, on prsentera chaque paire dimages deux fois de suite, la premire fois pour permettre aux visionneurs de lobserver et de lexaminer soigneusement, la seconde pour la confirmation et la notation. Chaque squence durera entre 15 et
37、 30 s. Les squences pourront tre prcdes dune tiquette, ce qui facilitera le travail des visionneurs (voir la Fig.1, reprsentant une paire dimages prsentes sans effet miroir). 1663-01Vote NBA1 s 1 s Par exemple 20 s 1 s 1 s Par exemple 20 s 4 sTemps de dcisionFIGURE 17.1.1.2 Echelle dvaluation Le cri
38、tre dacceptation dune application LSDI est que la squence dessai (image comprime) ne puisse pas tre distingue de la rfrence. Lvaluation des systmes lessai peut se faire au moyen des nombreuses mthodes dvaluation traditionnellement utilises. On propose par exemple les chelles de comparaison de stimul
39、us de la Recommandation UIT-R BT.500, 6.2. Comme exemple spcifique dchelle dvaluation, on propose lchelle continue (sans catgorie) IDENTIQUE/DIFFERENT dcrite au 6.2.4.2 de la Recommandation UIT-R BT.500. 1663-0250 cmIdentique DiffrentFIGURE 27.1.1.3 Session dvaluation La session, qui pourra comprend
40、re plusieurs sances selon le nombre de conditions dessai, portera sur deux types dobservations: observations de test et observations de vrification. Dans une observation de test, une moiti de lcran affiche la rfrence et lautre la squence dessai. Dans une observation de vrification, les deux moitis d
41、e lcran affichent la rfrence. La vrification permet de dterminer si le jugement de lobservateur est biais. 6 Rec. UIT-R BT.1663 Pour chaque systme lessai, les observations suivantes devront tre faites sur chaque squence: TABLEAU 2 De prfrence, chaque configuration sera prsente au moins deux fois. Po
42、ur chaque systme, et pour chaque squence dessai, les observations de vrification suivantes devront tre faites: TABLEAU 3 Ici encore, chaque configuration sera prsente au moins deux fois de prfrence. Les sances de la session dessai ne devront pas durer plus dune heure, et une pause de 15 min sera prv
43、ue entre deux sances conscutives. Les observations dessai et les observations de vrification faites sur les combinaisons sortie codec/squence dessai seront rparties entre les sances de faon pseudo-alatoire. Malgr le surcrot de complexit qui en rsultera, il sera prfrable de prvoir certaines restricti
44、ons dans la procdure. Par exemple, dans une session comportant quatre sances, on pourrait affecter de faon alatoire chacune des quatre observations dessai correspondant une combinaison signal codec/signal dessai une position choisie de faon alatoire dans lune des sances. Cette mthode prsente lavanta
45、ge de garantir une bonne rpartition, sur la totalit de la session, de toutes les observations dessai. 7.1.1.4 Traitement des notes dvaluation Pour une observation donne, la note est la distance entre la position IDENTIQUE de lchelle et la marque faite par lobservateur sur une chelle de 0-100. Les rs
46、ultats sont convertis en notes moyennes dopinion qui permettent de classer les systmes tests. Selon le nombre dobservations par systme (observateurs squences dessai rptitions), on pourra procder une analyse de variance (ANOVA)2. Les rsultats des observations de vrification pourront servir dterminer
47、un seuil de hasard. 2Un total de 10 20 observations concernant un lment de moindre importance suffit justifier un traitement statistique dductif, une analyse de variance par exemple. Partie gauche de laffichage Partie droite de laffichage Moiti gauche de la rfrence Moiti gauche de la squence dessai Moiti droite de la rfrence Moiti droite de la squence dessai Moiti gauche de la squence dessai Moiti gauche de la rfrence Moiti droi
