1、 UNION INTERNATIONALE DES TLCOMMUNICATIONS UIT-T P.835SECTEUR DE LA NORMALISATION DES TLCOMMUNICATIONS DE LUIT (11/2003) SRIE P: QUALIT DE TRANSMISSION TLPHONIQUE, INSTALLATIONS TLPHONIQUES ET RSEAUX LOCAUX Mthodes dvaluation objective et subjective de la qualit Mthodologie dvaluation subjective des
2、 systmes de communication vocale avec algorithmes de suppression du bruit Recommandation UIT-T P.835 RECOMMANDATIONS UIT-T DE LA SRIE P QUALIT DE TRANSMISSION TLPHONIQUE, INSTALLATIONS TLPHONIQUES ET RSEAUX LOCAUX Vocabulaire et effets des paramtres de transmission sur lopinion des usagers Srie P.10
3、 Lignes et postes dabonns Srie P.30 P.300 Normes de transmission Srie P.40 Appareils de mesures objectives Srie P.50 P.500 Mesures lectroacoustiques objectives Srie P.60 Mesures de la sonie vocale Srie P.70 Mthodes dvaluation objective et subjective de la qualit Srie P.80 P.800 Qualit audiovisuelle
4、dans les services multimdias Srie P.900 Pour plus de dtails, voir la Liste des Recommandations de lUIT-T. Rec. UIT-T P.835 (11/2003) i Recommandation UIT-T P.835 Mthodologie dvaluation subjective des systmes de communication vocale avec algorithmes de suppression du bruit Rsum La prsente Recommandat
5、ion dcrit une mthodologie dvaluation subjective de la qualit de la parole en prsence de bruit et qui permet tout particulirement lvaluation des algorithmes de suppression de bruit. Cette mthodologie utilise des chelles de notation distinctes pour la qualit du signal vocal seul, du bruit de fond seul
6、 et de la qualit globale. Source La Recommandation P.835 de lUIT-T a t approuve le 13 novembre 2003 par la Commission dtudes 12 (2001-2004) de lUIT-T selon la procdure dfinie dans la Recommandation UIT-T A.8. Mots cls Algorithme de suppression du bruit, valuation subjective, valuation de la qualit v
7、ocale, prtraitement de bruit, signal vocal cod en prsence de bruit de fond. ii Rec. UIT-T P.835 (11/2003) AVANT-PROPOS LUIT (Union internationale des tlcommunications) est une institution spcialise des Nations Unies dans le domaine des tlcommunications. LUIT-T (Secteur de la normalisation des tlcomm
8、unications) est un organe permanent de lUIT. Il est charg de ltude des questions techniques, dexploitation et de tarification, et met ce sujet des Recommandations en vue de la normalisation des tlcommunications lchelle mondiale. LAssemble mondiale de normalisation des tlcommunications (AMNT), qui se
9、 runit tous les quatre ans, dtermine les thmes dtude traiter par les Commissions dtudes de lUIT-T, lesquelles laborent en retour des Recommandations sur ces thmes. Lapprobation des Recommandations par les Membres de lUIT-T seffectue selon la procdure dfinie dans la Rsolution 1 de lAMNT. Dans certain
10、s secteurs des technologies de linformation qui correspondent la sphre de comptence de lUIT-T, les normes ncessaires se prparent en collaboration avec lISO et la CEI. NOTE Dans la prsente Recommandation, lexpression “Administration“ est utilise pour dsigner de faon abrge aussi bien une administratio
11、n de tlcommunications quune exploitation reconnue. Le respect de cette Recommandation se fait titre volontaire. Cependant, il se peut que la Recommandation contienne certaines dispositions obligatoires (pour assurer, par exemple, linteroprabilit et lapplicabilit) et considre que la Recommandation es
12、t respecte lorsque toutes ces dispositions sont observes. Le futur dobligation et les autres moyens dexpression de lobligation comme le verbe “devoir“ ainsi que leurs formes ngatives servent noncer des prescriptions. Lutilisation de ces formes ne signifie pas quil est obligatoire de respecter la Rec
13、ommandation. DROITS DE PROPRIT INTELLECTUELLE LUIT attire lattention sur la possibilit que lapplication ou la mise en uvre de la prsente Recommandation puisse donner lieu lutilisation dun droit de proprit intellectuelle. LUIT ne prend pas position en ce qui concerne lexistence, la validit ou lapplic
14、abilit des droits de proprit intellectuelle, quils soient revendiqus par un Membre de lUIT ou par une tierce partie trangre la procdure dlaboration des Recommandations. A la date dapprobation de la prsente Recommandation, lUIT navait pas t avise de lexistence dune proprit intellectuelle protge par d
15、es brevets acqurir pour mettre en uvre la prsente Recommandation. Toutefois, comme il ne sagit peut-tre pas de renseignements les plus rcents, il est vivement recommand aux responsables de la mise en uvre de consulter la base de donnes des brevets du TSB. UIT 2004 Tous droits rservs. Aucune partie d
16、e cette publication ne peut tre reproduite, par quelque procd que ce soit, sans laccord crit pralable de lUIT. Rec. UIT-T P.835 (11/2003) iii TABLE DES MATIRES Page 1 Domaine dapplication 1 2 Rfrences normatives 1 3 Dfinitions 2 4 Abrviations 2 5 Conditions exprimentales . 2 5.1 Elments vocaux. 2 5.
17、2 Sance dcoute. 5 5.3 Analyse des donnes. 6 5.4 Prsentation et interprtation des rsultats . 7 Appendice I Procdure utiliser pour le mlange des chantillons vocaux et des chantillons de bruit 7 I.1 Gnralits 7 I.2 Paramtres 7 I.3 Fichiers voix et bruit de fond 8 I.4 Filtres dentre vocaux et de bruit. 8
18、 I.5 Rglage du niveau vocal P.56 8 I.6 Rglage du niveau de bruit de base 8 Appendice II Exemple dinstructions destines aux participants 9 Rec. UIT-T P.835 (11/2003) 1 Recommandation UIT-T P.835 Mthodologie dvaluation subjective des systmes de communication vocale avec algorithmes de suppression du b
19、ruit 1 Domaine dapplication En gnral, les algorithmes de suppression du bruit (NSA, noise suppression algorithm) sont utiliss sur des signaux vocaux affects par du bruit, bruit quils essaient de diminuer sans altrer la composante vocale ou le signal utile. Cet objectif peut souvent tre atteint pour
20、des niveaux relativement bas de suppression de bruit. Toutefois, pour des niveaux de suppression de bruit plus levs, lalgorithme provoque souvent une altration du signal vocal et cette altration est dautant plus grande que le niveau du bruit supprim est lev. Le sujet peut alors avoir une difficult a
21、ttribuer une note la qualit globale des signaux car la rduction du bruit de fond peut avoir entran une dgradation du signal vocal. Dans une mthode dvaluation chelle unique, telle lvaluation par catgories absolues (ACR), chaque sujet pondre le signal et les composantes de bruit de fond lorsquil attri
22、bue des notes la qualit globale de la parole. Ce processus de pondration introduit une variance supplmentaire de lerreur dans lvaluation par les sujets de la qualit globale, variance qui diminue la fiabilit de cette valuation. La mthodologie utilise dans la prsente Recommandation diminue la difficul
23、t dapprciation en demandant au sujet dcouter et de donner une note distincte au signal vocal, au bruit de fond et au signal vocal en prsence dun bruit de fond. Cette mthode sest rvle tre fiable et valable pour lvaluation des algorithmes NSA, mais elle ne doit pas tre limite au test des algorithmes.
24、En effet, cette mthodologie peut tre utilise pour un cas plus gnral dvaluation des conditions vocales la voix tant accompagne dun bruit de fond. Elle sapplique particulirement au cas o lon na aucune information sur la prsence dans le systme dun prprocesseur de bruit. 2 Rfrences normatives La prsente
25、 Recommandation se rfre certaines dispositions des Recommandations UIT-T et textes suivants qui, de ce fait, en sont partie intgrante. Les versions indiques taient en vigueur au moment de la publication de la prsente Recommandation. Toute Recommandation ou tout texte tant sujet rvision, les utilisat
26、eurs de la prsente Recommandation sont invits se reporter, si possible, aux versions les plus rcentes des rfrences normatives suivantes. La liste des Recommandations de lUIT-T en vigueur est rgulirement publie. La rfrence un document figurant dans la prsente Recommandation ne donne pas ce document e
27、n tant que tel le statut dune Recommandation. Recommandation UIT-T G.191 (2000), Outils logiciels pour la normalisation du codage des signaux vocaux et audiofrquences. Recommandation UIT-T P.56 (1993), Mesure objective du niveau vocal actif. Recommandation UIT-T P.800 (1996), Mthodes dvaluation subj
28、ective de la qualit de transmission. Recommandation UIT-T P.810 (1996), Appareil de rfrence bruit modul (MNRU). Recommandation UIT-T P.830 (1996), Evaluation subjective de la qualit des codecs numriques bande tlphonique et large bande. 2 Rec. UIT-T P.835 (11/2003) 3 Dfinitions La prsente Recommandat
29、ion dfinit le terme suivant: 3.1 dBov: dB relatif la surcharge. 4 Abrviations La prsente Recommandation utilise les abrviations suivantes: ACR valuation par catgories absolues (absolute category rating) ANOVA analyse de la variance (analysis of variance) N/A numrique-analogique MANOVA analyse multip
30、le de la variance (multiple analysis of variance) MOS note moyenne dopinion (mean opinion score) NSA algorithme de suppression du bruit (noise suppression algorithm) RMS cart quadratique moyen (root mean square) SNR rapport signal/bruit (signal-to-noise ratio) SPL niveau de pression acoustique (soun
31、d pressure level) 5 Conditions exprimentales 5.1 Elments vocaux 5.1.1 Elments vocaux sources Les lments vocaux sources doivent tre des phrases significatives reprsentatives de la langue choisie pour les tests et qui comportent plusieurs chantillons vocaux de locuteurs masculins et fminins. 5.1.2 Tra
32、itement Les procdures normalises de laboratoire doivent tre suivies afin de garantir que les chantillons vocaux et le bruit trait sont convenablement mlangs et filtrs (voir la bibliothque doutils logiciels de la Rec. UIT-T G.191 et lAppendice I). 5.1.3 Conditions de rfrence Les conditions de rfrence
33、 doivent tre choisies de manire couvrir toute la fourchette de notes dvaluation du signal et du bruit de fond sparment. Par exemple, la voix dans un bruit de fond doit varier selon deux dimensions, le rapport signal bruit (SNR, signal-to-noise ratio) pour lvaluation du bruit de fond et lappareil de
34、rfrence pour le bruit modul (MNRU, modulated noise reference unit) pour le signal. La Figure 1 illustre lindpendance relative de la note attribue au signal et la corrlation de la note attribue au signal global avec la note attribue au bruit de fond lorsquon agit sur lappareil MNRU tout en conservant
35、 le rapport signal/bruit constant. La Figure 2 illustre lindpendance relative de la note attribue au bruit de fond et la corrlation de la note attribue au signal global avec la note attribue au signal lorsque lon fait varier le rapport signal/bruit sans agir sur lappareil MNRU. La Figure 3 montre qu
36、e lintroduction de ces conditions de rfrence combines fournit un contexte complet dans cet espace perceptuel bidimensionnel (signal/fond). Rec. UIT-T P.835 (11/2003) 3 P.835_F01(171830)SNR = 40 dB, MNRU variable12345816243240MNRU (dBQ)Notesignalbruit de fondsignal globalFigure 1/P.835 Condition de r
37、frence: SNR constant, MNRU variable P.835_F02(171830)MNRU = 40 dB, SNR variable12345010203040SNR (dB)Notesignalbruit de fondsignal globalFigure 2/P.835 Condition de rfrence: MNRU constant, SNR variable 4 Rec. UIT-T P.835 (11/2003) P.835_F03(171830)SNR et MNRU variables1234510/16SNR (dB) / MNRU (dBQ)
38、Notesignalbruit de fondsignal global20/24 30/32 40/40Figure 3/P.835 Condition de rfrence: SNR et MNRU variables 5.1.4 Prsentation des chantillons vocaux Chaque coute porte sur un chantillon de trois phrases ou sous-chantillons structurs selon le format gnral illustr par lexemple de la Figure 4. Chaq
39、ue sous-chantillon est suivi dune priode de silence pour lattribution dune note. Dans cet exemple, un sous-chantillon dure approximativement 4 secondes dont 1 seconde de bruit de fond seulement, 2 secondes de bruit plus voix et 1 seconde de bruit de fond et un intervalle de silence appropri pour lat
40、tribution dune note. Dans la pratique, la dure des sous-chantillons devraient tre suffisante pour permettre au sujet de faire des valuations fiables. Pour les deux premiers chantillons, les personnes qui coutent donnent une note sur le signal ou le bruit de fond qui dpend de lordre des chelles dvalu
41、ation spcifi pour lcoute en question. En ce qui concerne le signal, les sujets sont chargs dcouter seulement le signal vocal et de donner une note la voix sur une chelle de distorsion cinq notes comme indiqu la Figure 5. Pour ce qui est du bruit de fond, les sujets sont chargs dcouter seulement le b
42、ruit de fond et de donner une note au bruit de fond sur une chelle sur le caractre gnant cinq notes comme indiqu la Figure 6. Pour le troisime sous-chantillon de chaque essai, les sujets sont chargs dcouter le signal vocal plus le bruit de fond et de donner une note sur une chelle de qualit globale
43、cinq notes comme indiqu la Figure 7, la note moyenne dopinion (MOS, mean opinion score) utilise avec lvaluation ACR. Pour limiter les effets de lordre de prsentation sur la notation, lordre de prsentation doit tre quilibr tout au long de lexprience, cest-dire tre “signal, bruit de fond, effet global
44、“, pour la moiti des essais et “bruit de fond, signal, effet global“ pour lautre moiti. De plus, lordre de lchelle dvaluation doit tre rquilibr parmi le panel dauditeurs. P.835_F04(171830)Phrase 1Evaluationdu signalPhrase 2Evaluationdu bruitde fondPhrase 3Qualitglobale-Sous-chantillon 1- Intervalle
45、de notation -Sous-chantillon 2- Intervalle de notation -Sous-chantillon 3- Intervalle de notationFigure 4/P.835 Exemple de structure temporelle des lments vocaux dans un essai P.835 Rec. UIT-T P.835 (11/2003) 5 NOTE 1 Lexprience a montr que la dure dune squence pouvait tre de 4 ou 8 secondes, sans e
46、ffet sur les rsultats. Lutilisation de squences plus courtes rduit la dure globale du test. NOTE 2 Les expriences ont montr que les phrases 1, 2 et 3 dans la Figure 4 pouvaient tre les mmes dans une squence complte ou tre diffrentes. Ce facteur ninflue pas sur les rsultats. 5.2 Sance dcoute 5.2.1 Au
47、diteurs Trente-deux auditeurs non expriments doivent participer aux tests. Tous les auditeurs doivent avoir pour langue maternelle la langue utilise pour le test et aucun dentre eux ne devrait avoir particip une exprience subjective dans les trois mois qui prcdent. 5.2.2 Prsentation audio La prsentation audio doit tre conforme aux directives donnes dans la Rec. UIT-T P.800. Ces directives portent notamment sur le systme dcoute, les niveaux dcoute, la dure des tests et lenvironnement dcoute. 5.2.3 Instruc
