1、 Rec. UIT-R BT.1788 1 RECOMMANDATION UIT-R BT.1788 Mthode dvaluation subjective de la qualit vido dans les applications multimdias (Question UIT-R 102/6) (2007) Domaine de comptence Les systmes de radiodiffusion numrique vont permettre de fournir des applications de radiodiffusion multimdias et de d
2、onnes comportant des signaux vido, des signaux audio, des images fixes, du texte et des lments graphiques. La prsente Recommandation spcifie des mthodes non interactives dvaluation subjective de la qualit vido dans les applications multimdias. LAssemble des radiocommunications de lUIT, considrant a)
3、 que des systmes de radiodiffusion numrique sont mis en place dans bon nombre de pays; b) que des services de radiodiffusion multimdias et de donnes comportant des signaux vido, des signaux audio, des images fixes, du texte, des lments graphiques, etc., utilisant des systmes de radiodiffusion numriq
4、ue existent ou sont en projet; c) que les services multimdias seront fonds sur une infrastructure de radiodiffusion caractrise par lutilisation possible de rcepteurs fixes et de rcepteurs mobiles, de dbits dimages fixes et de dbits dimages variables, de diffrents formats dimage, de codecs vido volus
5、, par une ventuelle perte de paquets, etc.; d) quil sera ncessaire de spcifier la qualit de fonctionnement requise et de vrifier que les solutions techniques envisages pour chaque service sont adaptes la qualit de fonctionnement requise pour le service en question; e) que cette vrification reposera
6、essentiellement sur une valuation subjective de la qualit vido dans des conditions bien dfinies; f) que les mthodes dvaluation subjective spcifies dans la Recommandation UIT-R BT.500 peuvent tre utilises pour les applications multimdias; g) que des mthodes dvaluation subjective autres que celles spc
7、ifies dans la Recommandation UIT-R BT.500 peuvent aussi tre utilises; h) quil est important dadopter des mthodes normalises pour les changes dinformations entre divers laboratoires, recommande 1 que les mthodes gnrales dessai, savoir les chelles de notation et les conditions dobservation pour lvalua
8、tion de la qualit des images dcrites dans lAnnexe 1, soient utilises pour les expriences en laboratoire ainsi que pour les valuations en exploitation chaque fois que cela est possible en ce qui concerne les applications multimdias; 2 Rec. UIT-R BT.1788 2 que tous les rapports dessai donnent la descr
9、iption complte des configurations dessai, du matriel dessai, des observateurs et des mthodes; 3 que, pour faciliter les changes dinformations entre diffrents laboratoires, les donnes recueillies soient traites conformment aux techniques statistiques dcrites lAnnexe 2. NOTE 1 La Commission dtudes 6 d
10、es radiocommunications doit laborer une bibliothque de matriel vido approprie pour lvaluation subjective de la qualit vido dans les applications multimdias. Annexe 1 Description des mthodes dvaluation 1 Introduction De nombreux pays ont commenc mettre en place des systmes de radiodiffusion numrique
11、permettant doffrir des applications de radiodiffusion multimdias et de donnes comportant des signaux vido, des signaux audio, des images fixes, du texte et des lments graphiques. Des mthodes normalises dvaluation subjective sont ncessaires pour spcifier la qualit de fonctionnement requise et pour vr
12、ifier que les solutions techniques envisages pour chaque application conviennent. Des mthodes subjectives sont ncessaires car elles donnent des mesures qui permettent aux industriels danticiper plus directement les ractions des utilisateurs finals. Le systme de radiodiffusion ncessaire pour fournir
13、des applications multimdias est sensiblement diffrent de celui qui est actuellement utilis: accs aux informations par le biais de rcepteurs fixes et/ou mobiles; dbit dimages pouvant tre fixe ou variable; grande varit de tailles dimage possibles ( savoir, de SQCIF HDTV); signaux audio, texte et/ou si
14、gnaux sonores gnralement imbriqus dans limage vido; possibilit de traitement de limage vido au moyen de codecs vido volus; et forte dpendance de la distance dobservation prfre vis-vis de lapplication. Il convient dappliquer dans ce nouveau contexte les mthodes dvaluation subjective spcifies dans la
15、Recommandation UIT-R BT.500. En outre, de nouvelles mthodes pourraient tre envisages pour les systmes multimdias afin de rpondre aux besoins des utilisateurs en ce qui concerne les caractristiques du domaine multimdia. La prsente Recommandation dcrit des mthodes non interactives dvaluation subjectiv
16、e de la qualit vido dans les applications multimdias. Ces mthodes peuvent notamment tre utilises pour choisir des algorithmes, dterminer la catgorie dun systme audiovisuel en fonction de ses performances ou valuer le niveau de qualit vido pendant une connexion audiovisuelle. Les termes et dfinitions
17、 applicables dans la prsente Recommandation figurent dans lAppendice 3 lAnnexe 1. Rec. UIT-R BT.1788 3 2 Description gnrale 2.1 Conditions dobservation Les conditions dobservation recommandes sont donnes dans le Tableau 1. La taille et le type de laffichage utilis devraient tre choisis en fonction d
18、e lapplication considre. Comme plusieurs technologies daffichage doivent tre utilises dans les applications multimdias, il convient dindiquer toutes les informations utiles concernant laffichage (par exemple, fabricant, modle et spcifications) utilis pour lvaluation. Lorsque des systmes utilisant de
19、s PC sont utiliss pour prsenter les squences, il convient dindiquer aussi les caractristiques de ces systmes (par exemple, carte daffichage vido). Le Tableau 2 donne un exemple de paramtres de configuration du systme multimdia valuer. Si les images dessai sont obtenues partir dun dcodeur-lecteur com
20、bin particulier, il faut ter lenveloppe propritaire pour obtenir un affichage anonyme. Cette opration est ncessaire pour garantir que lvaluation de la qualit nest pas influence par la connaissance de lenvironnement dorigine. Lorsque les systmes valus dans un essai utilisent un format dimage rduit (p
21、ar exemple CIF, SIF ou QCIF, etc.), les squences devraient tre affiches dans une fentre de lcran. Larrire-plan de lcran devrait tre de couleur grise 50%. TABLEAU 1 Conditions dobservation recommandes utiliser pour lvaluation de la qualit dans les applications multimdias Paramtre Valeur Distance dobs
22、ervation(1)Valeur impose: 1-8 HPas de valeur impose: suivant la prfrence de lobservateur Luminance de crte de lcran 70-250 cd/m2Rapport de la luminance de lcran inactif la luminance de crte 0,05 Rapport de la luminance de lcran, quand on ne reproduit que le niveau du noir dans une salle compltement
23、obscure, celle qui correspond au blanc maximal 0,1 Rapport de la luminance de larrire-plan, derrire le moniteur, la luminance de crte de limage(2) 0,2 Chromaticit de larrire-plan(3)D65Eclairement dambiance de la salle(2) 20 lux (1)La distance dobservation dpend gnralement de lapplication. (2)La vale
24、ur indique permet une dtectabilit maximale des distorsions; pour certaines applications, des valeurs suprieures sont autorises ou sont dtermines par lapplication. (3)Pour les moniteurs de PC, la chromaticit de larrire-plan devrait tre la plus proche possible de la chromaticit du point blanc de laffi
25、chage. 4 Rec. UIT-R BT.1788 TABLEAU 2 Configuration du systme multimdia valuer Paramtre Spcification Type daffichage Taille de laffichage Carte daffichage vido Fabricant Modle Informations concernant limage 2.2 Signaux source Le signal source fournit directement limage de rfrence et les signaux dent
26、re pour le systme valuer. La qualit des squences source devrait tre aussi leve que possible. Le signal vido devrait en principe tre enregistr dans des fichiers multimdias utilisant yuv (formats 4:2:2, 4:4:4) ou RGB (24 ou 32 bits). Lorsque lexprimentateur souhaite comparer les rsultats obtenus par d
27、iffrents laboratoires, il est ncessaire dutiliser un ensemble commun de squences source afin dliminer une autre source de variation. 2.3 Choix du matriel dessai Le nombre et le type des scnes dessai sont trs importants pour linterprtation des rsultats de lvaluation subjective. Pour certains processu
28、s, les dgradations observes sur la plupart des squences peuvent tre plus ou moins identiques. Dans ces conditions, les rsultats obtenus partir dun petit nombre de squences (par exemple, deux) devraient rester significatifs. Toutefois, limpact des nouveaux systmes dpend souvent pour beaucoup de la sc
29、ne et du contenu de la squence. En pareil cas, le nombre et le type des scnes dessai devraient tre choisis de manire pouvoir procder une gnralisation raisonnable pour les programmes normaux. En outre, il convient de choisir un matriel critique mais sans excs pour le systme valuer. Par sans excs on e
30、ntend que la scne pourra trs bien faire partie de programmes de tlvision normaux. Les caractristiques spatiales et temporelles perues pour une scne pourraient donner une indication utile de la complexit de cette scne. Des mesures des caractristiques spatiales et temporelles perues sont prsentes plus
31、 en dtail lAppendice 1 lAnnexe 1. 2.4 Gamme de conditions et ancrage Etant donn que la plupart des mthodes dvaluation sont sensibles aux variations de la gamme et de la distribution des conditions observes, les sances dvaluation subjective doivent inclure les gammes compltes de variation des facteur
32、s. On peut atteindre toutefois plus ou moins le mme objectif avec une gamme plus restreinte en prsentant galement certaines conditions qui se situeront aux extrmits des chelles. Elles peuvent tre reprsentes comme exemples et identifies comme tant les plus extrmes (ancrage direct) ou rparties tout au
33、 long de la sance et non identifies comme tant les plus extrmes (ancrage indirect). Il convient, si possible, dutiliser une large gamme de qualit. 2.5 Observateurs Il convient de slectionner au moins 15 observateurs qui ne seront ni des spcialistes, en ce sens quils ne soccupent pas directement, dan
34、s le cadre de leur travail habituel, des questions lies la Rec. UIT-R BT.1788 5 qualit des images, ni des observateurs expriments. Avant chaque sance, les observateurs seront slectionns laide de mires de Snellen ou de Landolt pour leur acuit visuelle normale ou rendue normale par correction et leur
35、vision normale des couleurs, cela laide de mires choisies cet effet (dIshihara, par exemple). Le nombre dobservateurs dpend de la sensibilit et de la fiabilit de la procdure dessai retenue ainsi que de lampleur escompte de leffet valu. Les exprimentateurs devraient donner le plus de dtails possibles
36、 sur les caractristiques des groupes dvaluation quils ont retenus afin dtudier plus avant ce facteur. Ils pourraient donner des prcisions sur lactivit professionnelle (par exemple, fonctionnaire dun organisme de radiodiffusion, tudiant dune universit, personnel de bureau), le sexe et lge. 2.6 Instru
37、ctions pour les valuations La mthode dvaluation, les types de dgradation ou de facteur de qualit auxquels il faut sattendre, lchelle dvaluation, le squencement, etc., seront prsents avec soin aux observateurs. Les squences dentranement qui montrent la gamme et le type de dgradation valuer doivent pr
38、senter dautres scnes que celles qui sont utilises dans les essais mais avoir une sensibilit comparable. 2.7 Modle exprimental Le soin est laiss lexprimentateur de choisir un modle exprimental en fonction dobjectifs spcifiques en termes de cot et de prcision. Il est prfrable dinclure au moins deux re
39、productions (cest-dire rptitions de conditions identiques) dans lexprience. Les reproductions permettent de calculer la fiabilit individuelle et, si ncessaire, dignorer des rsultats non fiables issus de certains observateurs. Elles permettent aussi de compenser dans une certaine mesure les effets da
40、pprentissage dans le cadre dun essai donn. On obtiendra une autre amlioration du traitement des effets dapprentissage en prvoyant quelques prsentations fictives au dbut de chaque sance dessai. Il conviendra de choisir des conditions reprsentatives des prsentations qui seront utilises plus tard penda
41、nt la sance. Les prsentations prliminaires ne sont pas prendre en compte dans lanalyse statistique des rsultats dessai. Une sance, cest-dire une srie de prsentations, ne devrait pas durer plus dune demi-heure. Lorsque plusieurs scnes ou algorithmes sont valus, ils devraient tre prsents dans un ordre
42、 alatoire. Cet ordre alatoire pourrait tre modifi pour faire en sorte que les mmes scnes ou les mmes algorithmes ne soient pas prsents des moments proches (cest-dire conscutivement). 3 Mthodes dvaluation La qualit vido des systmes multimdias peut tre examine au moyen des mthodes dcrites dans la Reco
43、mmandation UIT-R BT.500. Les mthodes retenues sont numres au 3.1. Le 3.2 dcrit une mthode additionnelle appele mthode dvaluation subjective de la qualit vido multimdia SAMVIQ, qui tire parti des caractristiques du domaine multimdia et qui peut tre utilise pour valuer les performances des systmes mul
44、timdias. 3.1 Mthodes dcrites dans la Recommandation UIT-R BT.500 Il convient dutiliser les mthodes suivantes dcrites dans la Recommandation UIT-R BT.500 pour valuer la qualit vido des systmes multimdias: Mthode double stimulus utilisant une chelle de dgradation (DSIS), dcrite au 4 lAnnexe 1 de la Re
45、commandation UIT-R BT.500. 6 Rec. UIT-R BT.1788 Mthode double stimulus utilisant une chelle de qualit continue (DSCQS), dcrite au 5 lAnnexe 1 de la Recommandation UIT-R BT.500. Mthodes un seul stimulus (SS), dcrites au 6.1 lAnnexe 1 de la Recommandation UIT-R BT.500. Mthodes de comparaison de stimul
46、us (SC), dcrites au 6.2 lAnnexe 1 de la Recommandation UIT-R BT.500. Mthode dvaluation continue de la qualit avec stimulus unique (SSCQE), dcrite au 6.3 lAnnexe 1 de la Recommandation UIT-R BT.500. 3.2 Evaluation subjective de la qualit vido multimdia (SAMVIQ) Dans cette mthode, lobservateur a accs
47、plusieurs versions dune mme squence. Lorsquil a valu toutes les versions, il peut ensuite accder au contenu de la squence suivante. Lobservateur peut choisir alatoirement chacune des diffrentes versions par le biais dune interface graphique informatique. Il a la possibilit darrter chaque version dune squence, de la revoir et den modifier la note. Cette mthode comporte une squence de rfrence (cest-di
