1、 Rec. UIT-R BT.1676 1 RECOMMANDATION UIT-R BT.1676 Mthode de spcification de la prcision des mthodes de mesure de la qualit vido et contre-talonnage associ (Question UIT-R 44/6) (2004) LAssemble des radiocommunications de lUIT, considrant a) que les applications de tlvision et de TVHD numriques util
2、isant des techniques de rduction du dbit binaire telles que les normes MPEG-2 DV ou autres sont prsent trs rpandues; b) que le Secteur des radiocommunications est charg de dfinir les caractristiques de qualit globale des chanes de radiodiffusion; c) quil est possible de montrer une corrlation entre
3、les dgradations dimages de tlvision et les caractristiques mesurables des signaux; d) que la qualit dimage globale est lie la combinaison de toutes les dgradations; e) que, dans le cas de la tlvision numrique, il est notamment ncessaire dvaluer la qualit des mthodes de rduction du dbit binaire en ce
4、 qui concerne les paramtres tant objectifs que subjectifs; f) que pour les systmes de tlvision, un certain nombre de paramtres de qualit dimage objectifs, ainsi que les mthodes de mesure et de contrle associes, ont t dvelopps pour les installations de studio et la radiodiffusion; g) que les mthodes
5、de mesure objective de la qualit dimage avec rfrence complte sont utiles pour valuer les installations de studio et les systmes de radiodiffusion; h) que des jeux de donnes de test, des notes subjectives et des valeurs objectives sont utiliss pour les tests de validation de mthodes de mesure objecti
6、ve de la qualit dimage; j) quun certain nombre de mthodes de mesure de la qualit vido (VQM, video quality metrics) avec rfrence complte ont t proposes, qui peuvent tre utilises pour fournir une valuation objective de la qualit dimage; k) quil existe dans la littrature technique un certain nombre de
7、mthodes dvaluation statistique bien connues qui peuvent tre utilises pour valider et comparer les mthodes VQM sur la base de jeux de donnes de test, de notes subjectives et de valeurs objectives; l) que, aprs acceptation titre normatif dans les Recommandations de lUIT dune ou plusieurs mthodes VQM,
8、il sera toujours ncessaire dvaluer la prcision mathmatique (le pouvoir de rsolution) de la mthode VQM utilise; m) que le contre-talonnage de mthodes de mesure objective de la qualit dimage avec rfrence intgrale sur la base des jeux de donnes disponibles est important pour lchange inter-national des
9、rsultats de mesure et de contrle, 2 Rec. UIT-R BT.1676 recommande 1 que les calculs spcifis dans lAnnexe 1 soient utiliss pour valuer la prcision des mthodes de mesure objective de la qualit dimage, ainsi que leur contre-talonnage, utilisant la mthode avec rfrence complte; 2 que les calculs spcifis
10、dans lAnnexe 1 puissent tre utiliss comme lune des nombreuses mthodes permettant de dterminer la prcision de lvaluation et de la validation de diverses mthodes de mesure objective de la qualit dimage utilisant la mthode avec rfrence complte. Annexe 1 Mthode de spcification de la prcision des mthodes
11、 VQM et contre-talonnage associ 1 Domaine dapplication Les VQM sont censes fournir des valeurs calcules fortement corrles aux valuations subjectives des observateurs. La prsente Recommandation contient: des mthodes dajustement des valeurs objectives VQM aux valeurs subjectives permettant de mieux dt
12、erminer la prcision des calculs VQM et de gnrer une chelle de valeurs objectives normalise qui peut tre utilise pour oprer une corrlation croise entre diff-rentes mthodes VQM; un algorithme (fond sur une analyse statistique des donnes subjectives) permettant de quantifier la prcision dune mthode VQM
13、; une mthode de calcul simplifie de la valeur quadratique moyenne de lerreur permettant de quantifier la prcision dune mthode VQM lorsque la variance des donnes subjectives est peu prs constante sur lchelle VQM; une mthode de reprsentation graphique des erreurs de classification permettant de dter-m
14、iner les frquences relatives dquivalences errones, de diffrentiations errones, de classifications errones et de dcisions correctes pour une mthode VQM donne. Les mthodes spcifies dans la prsente Recommandation sont fondes sur une valuation objective et sur une valuation subjective de la composante v
15、ido telle que celle-ci est dfinie dans la Recommandation UIT-R BT.601, en utilisant des mthodes telles que celles dcrites dans la Recommandation UIT-R BT.500 Mthodologie dvaluation subjective de la qualit des images de tlvision. Le jeu de donnes considrer pour une mthode VQM comprendra les valeurs o
16、bjectives et les notes subjectives moyennes correspondant diffrentes sources dimages animes (SRC) associes divers circuits fictifs de rfrence (HRC, hypothetical reference circuits). Un exemple de telles donnes figure dans le Document UIT-T COM 9-80-E Final report from the video quality experts group
17、 on the validation of objective models of video quality assessment. Les mthodes spcifies dans la prsente Recommandation sont directement applicables un jeu de donnes bien dfini. Pour les mesures qui nappartiennent pas spcifiquement au jeu de donnes considr, ces mthodes fournissent une estimation rai
18、sonnable de la prcision et du contre-talonnage pour les applications que lon peut considrer comme similaire ou de mme porte que celles associes au jeu de donnes prcit. Rec. UIT-R BT.1676 3 Les mthodes spcifies dans la prsente Recommandation peuvent tre associes dautres mthodes de calculs statistique
19、s aux fins dvaluation de lutilit dune mthode VQM. On trouvera dans lAppendice 1 des informations relatives lutilisation de ces mthodes. Un processus complet de vrification par des laboratoires indpendants comptents est requis avant de pouvoir envisager linclusion titre normatif dune mthode VQM dans
20、une Recommandation de lUIT-R. 2 Prcision dune mthode VQM Pour utiliser une mthode de VQM, on doit savoir si la diffrence de notation entre deux squences vido traites est importante dun point de vue statistique. Il est donc ncessaire de quantifier la prcision (ou le pouvoir de rsolution) dune mthode
21、VQM. Pour visualiser ce pouvoir de rso-lution, il est utile dans un premier temps de tracer une courbe de dispersion dont labscisse est une note VQM relative une source vido (SRC) particulire associe une certaine distorsion HRC et lordonne est une note subjective pour une observation particulire de
22、cette paire SRC/HRC. A chaque paire SRC/HRC ( laquelle est associe une certaine note VQM) correspond une distri-bution de notes subjectives moyennes, S, attribues par un certains nombre dobservateurs, distri-bution qui reprsente (approximativement) les probabilits relatives de S pour la paire SRC/HR
23、C considre. Le pouvoir de rsolution dune mthode VQM peut tre dfini comme la diffrence entre deux valeurs de mesures VQM pour laquelle les distributions correspondantes de notes subjectives prsentent des moyennes statistiquement diffrentes (en gnral pour un intervalle de confiance 95%). Aprs cette de
24、scription qualitative, nous prsentons dans la suite du prsent paragraphe deux mthodes de mesure du pouvoir de rsolution dont chacune est adapte un contexte particulier. Ces mthodes sont dcrites aux 2.3 et 2.4. On dcrit par ailleurs dans le 2.5 une mthode permettant dvaluer les frquences doccurrence
25、de diffrents types derreurs engendres par lappli-cation dune mthode VQM. Un code informatique source MATLAB (The Mathworks, Inc., Natick, MA) est donn dans lAppendice 2 titre dexemple de mise en uvre de toutes ces mthodes. 2.1 Nomenclature et chelles de coordonnes Appelons situation chaque associati
26、on source SRC/HRC dun jeu de donnes et soit N le nombre de situations du jeu de donnes. On notera Silla note subjective attribue une situation i par un observateur l et Oila note objective attribue la situation i. La valeur moyenne calcule par rapport une variable (lobservateur par exemple) sera sig
27、nale par un point plac lemplacement de cette variable. Ainsi, la note dopinion moyenne attribue une situation sera note .iS Les valeurs statistiques de notes subjectives associes chaque paire (i, j) dune situation doivent tre values pour dterminer la signification de la diffrence entre mesures VQM p
28、uis utilises pour parvenir dterminer un pouvoir de rsolution pour cette diffrence VQM, en fonction de la valeur VQM. Avant toute analyse statistique, les notes dopinion moyennes subjectives initiales iS sont projetes linairement sur lintervalle 0, 1, dfini comme tant lchelle commune de notation, 0 i
29、ndiquant une absence de dgradation et 1 une dgradation maximale. Si best est la note subjec-tive initiale en labsence de dgradation et worst la note subjective initiale pour une dgradation maximale, les notes normalises iSsont donnes par: bestwordbestSSii= Les notes VQM sont ensuite rapportes lchell
30、e commune de notation. Cette transformation est une consquence du processus dajustement de ces notes aux donnes subjectives, ce qui sera examin dans le prochain paragraphe. 4 Rec. UIT-R BT.1676 2.2 Ajustement des valeurs VQM aux donnes subjectives Le processus dajustement supprime les diffrences sys
31、tmatiques entre valeurs VQM et donnes subjectives (dcalage de courant continu par exemple) qui napportent aucune information utile en termes de discrimination qualitative. De plus, lapplication toutes les mthodes VQM dun processus dajustement pour que leurs valeurs appartiennent une seule chelle com
32、mune de notation constituera une mthode de contre-talonnage desdites mthodes. La mthode dajustement de donnes la plus simple est celle de la corrlation linaire et de la rgression. Elle nest peut-tre pas la meilleure dans le cas de notes subjectives de la qualit vido. Pour dautres jeux de donnes de q
33、ualit vido, lexprience montre un ajustement de plus en plus mauvais entre les valeurs VQM et les notes subjectives aux extrmits dintervalle. Ce problme peut tre partiellement rsolu en faisant intervenir dans lalgorithme dajustement des fonctions non linaires mais toujours monotones (conservant lordr
34、e des squences). Si un modle non linaire de bonne qualit est utilis, les erreurs entre notes subjectives et notes objectives seront plus petites et auront tendance converger vers zro. Un certain nombre de contraintes peuvent tre appliques aux mthodes non linaires pour que celles-ci transforment effe
35、ctivement lchelle des valeurs VQM initiales en lchelle commune de notation 0, 1. Outre lamlioration de lajustement des donnes aux valeurs VQM, lutilisation dune courbe dajustement offre un avantage supplmentaire par rapport la mise en uvre de lajustement linaire induit par lchelle de notation initia
36、le (cest-dire lchelle de notation VQM initiale): la distribution des erreurs objectives/erreurs subjectives autour de la courbe de modli-sation ajuste est moins dpendante des notes VQM. Bien sr, cette transformation non linaire peut ne pas supprimer toute dpendance des notes vis-vis des erreurs note
37、s objectives/notes subjec-tives. Pour saisir cette dpendance rsiduelle, il aurait t utile, idalement, denregistrer les erreurs notes objectives/notes subjectives en fonction des valeurs VQM. Les jeux de donnes types sont toutefois trop petits pour tre diviss en segments VQM dune faon statistiquement
38、 robuste. Cest pourquoi, comme on le prcisera au 2.3, on calcule une sorte de mesure moyenne sur linter-valle VQM. La Fig. 1 montre lamlioration de lajustement modle/donnes induite par la transformation des notes objectives laide de la fonction dajustement. On peut observer quoutre lamlioration de l
39、ajustement des donnes aux valeurs VQM, cette courbe offre un avantage supplmentaire par rapport lajustement linaire induit par lchelle de notation initiale: la distribution des erreurs modle/donnes subjectives autour de la courbe de modlisation ajuste est moins dpendante des notes VQM. On dsigne par
40、 Oiles notes objectives initiales (sur lchelle de notation initiale) et par iOles notes objectives sur lchelle commune de notation. Une fonction dajustement F (qui dpend de certains paramtres dajustement) associe ces deux ensembles. La fonction utilise pour ajuster les donnes VQM objectives (Oi) aux
41、 donnes subjectives normalises )(iS doit satisfaire aux trois caractris-tiques suivantes: un domaine de validit spcifi, qui devrait comprendre la plage des donnes VQM pour toutes les situations utilises pour dfinir la mesure de la prcision; un intervalle de validit spcifi, dfini comme lintervalle de
42、s notes sur lchelle commune (il sagit dun sous-intervalle de 0, 1) avec lequel la fonction met en correspondance le domaine de validit); un caractre monotone (fonction strictement croissante ou strictement dcroissante) sur le domaine de validit spcifi. Bien sr, la fonction dajustement serait de la p
43、lus grande utilit en tant quinstrument de contre-talonnage si elle tait monotone sur lintgralit du domaine thorique des notes VQM, si elle couvrait lintgralit de lchelle commune subjective entre 0 et 1 et si elle faisait correspondre la Rec. UIT-R BT.1676 5 note VQM attribue une squence vido parfait
44、e (pas de dgradation, do une distorsion nulle) la valeur zro. Toutefois, cet idal peut tre hors de porte pour certaines mthodes VQM et familles de fonctions utilises pour raliser lajustement. 1676-01FIGURE 1Amlioration de lajustement des donnes aux valeurs VQM grce la projectiondes valeurs VQM sur l
45、chelle commune de notationEchelle de notation initiale des valeurs VQMNotessubjectivessurlchellecommunedenotation (100)Points de donnesAjustement laide dune fonction logistiqueUne famille de fonctions dajustement envisageable est lensemble des polynmes de degr M. Une autre famille est lensemble des
46、fonctions logistiques de la forme: )(1/eiidOcbaO += o a, b, c, d et e sont les paramtres dajustement. Une troisime possibilit est offerte par la famille des fonctions logistiques de la forme: )(exp1)(/dOcabaOii+= o a, b, c, d sont les paramtres dajustement et c 0. Pour plus de commodits, nous parler
47、ons pour ces familles de fonctions logistiques respectivement des fonctions logistiques I et des fonctions logistiques II. Le code MATLAB de lAppendice 2 nutilise quune fonction dajustement poly-nomiale. On trouvera dans lAppendice 3 lexamen de mthodes dajustement de donnes faisant 6 Rec. UIT-R BT.1676 intervenir des fonctions logistiques. La slection dune famille de fonctions dajustement (y compris la dtermination a priori de certains des
