1、 UNION INTERNATIONALE DES TLCOMMUNICATIONS UIT-T P.851SECTEUR DE LA NORMALISATION DES TLCOMMUNICATIONS DE LUIT (11/2003) SRIE P: QUALIT DE TRANSMISSION TLPHONIQUE, INSTALLATIONS TLPHONIQUES ET RSEAUX LOCAUX Mthodes dvaluation objective et subjective de la qualit Evaluation subjective de la qualit de
2、s services tlphoniques bass sur des dialogueurs automatiques Recommandation UIT-T P.851 RECOMMANDATIONS UIT-T DE LA SRIE P QUALIT DE TRANSMISSION TLPHONIQUE, INSTALLATIONS TLPHONIQUES ET RSEAUX LOCAUX Vocabulaire et effets des paramtres de transmission sur lopinion des usagers Srie P.10 Lignes et po
3、stes dabonns Srie P.30 P.300 Normes de transmission Srie P.40 Appareils de mesures objectives Srie P.50 P.500 Mesures lectroacoustiques objectives Srie P.60 Mesures de la sonie vocale Srie P.70 Mthodes dvaluation objective et subjective de la qualit Srie P.80 P.800 Qualit audiovisuelle dans les serv
4、ices multimdias Srie P.900 Pour plus de dtails, voir la Liste des Recommandations de lUIT-T. Rec. UIT-T P.851 (11/2003) i Recommandation UIT-T P.851 Evaluation subjective de la qualit des services tlphoniques bass sur des dialogueurs automatiques Rsum La prsente Recommandation dcrit des mthodes et d
5、es procdures permettant deffectuer des expriences en vue dune valuation subjective des services tlphoniques bass sur des dialogueurs automatiques. Les systmes en question permettent une interaction naturelle par le biais du dialogue parl et possdent des capacits de reconnaissance et dinterprtation d
6、e la parole, de gestion de dialogue et dmission de parole. La configuration et la ralisation des essais dinteraction appropris sont dcrits, et des questionnaires quantifiant les aspects pertinents de la qualit sont indiqus. Source La Recommandation P.851 de lUIT-T a t approuve le 13 novembre 2003 pa
7、r la Commission dtudes 12 (2001-2004) de lUIT-T selon la procdure dfinie dans la Recommandation UIT-T A.8. Mots-cls Comprhension de la parole, dialogueurs automatiques, valuation subjective, gnration de parole, gestion de dialogue, paramtre dinteraction, reconnaissance vocale. ii Rec. UIT-T P.851 (1
8、1/2003) AVANT-PROPOS LUIT (Union internationale des tlcommunications) est une institution spcialise des Nations Unies dans le domaine des tlcommunications. LUIT-T (Secteur de la normalisation des tlcommunications) est un organe permanent de lUIT. Il est charg de ltude des questions techniques, dexpl
9、oitation et de tarification, et met ce sujet des Recommandations en vue de la normalisation des tlcommunications lchelle mondiale. LAssemble mondiale de normalisation des tlcommunications (AMNT), qui se runit tous les quatre ans, dtermine les thmes dtude traiter par les Commissions dtudes de lUIT-T,
10、 lesquelles laborent en retour des Recommandations sur ces thmes. Lapprobation des Recommandations par les Membres de lUIT-T seffectue selon la procdure dfinie dans la Rsolution 1 de lAMNT. Dans certains secteurs des technologies de linformation qui correspondent la sphre de comptence de lUIT-T, les
11、 normes ncessaires se prparent en collaboration avec lISO et la CEI. NOTE Dans la prsente Recommandation, lexpression “Administration“ est utilise pour dsigner de faon abrge aussi bien une administration de tlcommunications quune exploitation reconnue. Le respect de cette Recommandation se fait titr
12、e volontaire. Cependant, il se peut que la Recommandation contienne certaines dispositions obligatoires (pour assurer, par exemple, linteroprabilit et lapplicabilit) et considre que la Recommandation est respecte lorsque toutes ces dispositions sont observes. Le futur dobligation et les autres moyen
13、s dexpression de lobligation comme le verbe “devoir“ ainsi que leurs formes ngatives servent noncer des prescriptions. Lutilisation de ces formes ne signifie pas quil est obligatoire de respecter la Recommandation. DROITS DE PROPRIT INTELLECTUELLE LUIT attire lattention sur la possibilit que lapplic
14、ation ou la mise en uvre de la prsente Recommandation puisse donner lieu lutilisation dun droit de proprit intellectuelle. LUIT ne prend pas position en ce qui concerne lexistence, la validit ou lapplicabilit des droits de proprit intellectuelle, quils soient revendiqus par un Membre de lUIT ou par
15、une tierce partie trangre la procdure dlaboration des Recommandations. A la date dapprobation de la prsente Recommandation, lUIT navait pas t avise de lexistence dune proprit intellectuelle protge par des brevets acqurir pour mettre en uvre la prsente Recommandation. Toutefois, comme il ne sagit peu
16、t-tre pas de renseignements les plus rcents, il est vivement recommand aux responsables de la mise en uvre de consulter la base de donnes des brevets du TSB. UIT 2004 Tous droits rservs. Aucune partie de cette publication ne peut tre reproduite, par quelque procd que ce soit, sans laccord crit prala
17、ble de lUIT. Rec. UIT-T P.851 (11/2003) iii TABLE DES MATIRES Page 1 Domaine dapplication 1 2 Rfrences normatives 1 3 Abrviations 2 4 Introduction 2 4.1 Tches et modules dun dialogueur automatique 2 4.2 Interaction tlphonique avec un dialogueur automatique. 3 4.3 Aspects de la qualit et facteurs dte
18、rminants 4 4.4 Mthodes dvaluation subjective. 8 5 Caractrisation du dialogueur automatique 9 5.1 Facteurs agent. 9 5.2 Facteurs tche . 12 5.3 Facteurs utilisateur 12 5.4 Facteurs environnementaux 13 5.5 Facteurs contextuels . 13 6 Configuration de lexprience. 13 6.1 Configuration du systme et simula
19、tion de type “magicien dOz“. 14 6.2 Scnarios dessai . 15 6.3 Sujets participant aux expriences 16 7 Questionnaires 17 7.1 Questions relatives au profil de lutilisateur . 18 7.2 Questions relatives linteraction individuelle. 20 7.3 Questions relatives limpression globale de lutilisateur concernant le
20、 systme . 22 8 Evaluation de lutilisabilit . 24 9 Analyse et interprtation des renseignements collects 26 Appendice I Exemples de scnarios 26 BIBLIOGRAPHIE. 28 Rec. UIT-T P.851 (11/2003) 1 Recommandation UIT-T P.851 Evaluation subjective de la qualit des services tlphoniques bass sur des dialogueurs
21、 automatiques 1 Domaine dapplication La prsente Recommandation dcrit des mthodes dvaluation subjective donnant des informations sur la qualit des services tlphoniques bass sur des dialogueurs automatiques, telle quelle est exprimente par les utilisateurs de ces services. Les dialogueurs automatiques
22、 dont il est question dans la Recommandation permettent une interaction en langage parl effectue tour de rle avec un utilisateur humain par le biais du rseau tlphonique et ils possdent des capacits de reconnaissance vocale, de comprhension de la parole, de gestion de dialogue, de gnration de rponse
23、et dmission de parole. Ils peuvent donner accs des renseignements stocks dans une base de donnes ou permettre la ralisation de diffrents types de transactions. Les mthodes dvaluation dcrites ici visent diffrents aspects de la qualit du point de vue de lutilisateur, le dialogueur automatique tant con
24、sidr comme une bote noire. Des aspects importants de la qualit sont lutilisabilit du service, lefficience de la communication, lefficience de la tche et du service, la satisfaction de lutilisateur, la qualit perue au niveau de lmission et de la rception de la parole, la cooprativit du systme, la sym
25、trie de linteraction et le caractre harmonieux de linteraction, tel quil est peru. Les mthodes sont fondes sur des expriences menes en laboratoire au cours desquelles des sujets interagissent avec le dialogueur automatique afin de raliser une tche raliste prdfinie. Lopinion des sujets concernant les
26、 aspects perceptifs de la qualit peut tre value librement ou selon des directives au moyen de questionnaires qui leur sont remis aprs lexprience, ou laide dautres mthodes dvaluation de lutilisabilit. La prsente Recommandation dcrit la configuration et le droulement des expriences dinteraction, les a
27、spects pertinents de la qualit perus par lutilisateur, ainsi que les mthodes qui fourniront des informations sur ces aspects de la qualit. On trouvera dans les Recommandations UIT-T P.800 et P.85, ainsi que dans le Manuel de tlphonomtrie, dautres directives sur les mthodes dvaluation subjective en g
28、nral et sur lvaluation des dispositifs dmission de parole. 2 Rfrences normatives La prsente Recommandation se rfre certaines dispositions des Recommandations UIT-T et textes suivants qui, de ce fait, en sont partie intgrante. Les versions indiques taient en vigueur au moment de la publication de la
29、prsente Recommandation. Toute Recommandation ou tout texte tant sujet rvision, les utilisateurs de la prsente Recommandation sont invits se reporter, si possible, aux versions les plus rcentes des rfrences normatives suivantes. La liste des Recommandations de lUIT-T en vigueur est rgulirement publie
30、. La rfrence un document figurant dans la prsente Recommandation ne donne pas ce document, en tant que tel, le statut dune Recommandation. Recommandation UIT-T E.800 (1994), Termes et dfinitions relatifs la qualit de service et la qualit de fonctionnement du rseau, y compris la sret de fonctionnemen
31、t. Recommandation UIT-T G.107 (2003), Le modle E: modle de calcul utilis pour la planification de la transmission. Recommandation UIT-T G.1000 (2001), Qualit de service des communications: cadre et dfinitions. Recommandation UIT-T P.85 (1994), Mthode dvaluation subjective de la qualit de parole des
32、serveurs vocaux. 2 Rec. UIT-T P.851 (11/2003) Recommandation UIT-T P.800 (1996), Mthodes dvaluation subjective de la qualit de transmission. UIT-T, Manuel de tlphonomtrie (1992). 3 Abrviations La prsente Recommandation utilise les abrviations suivantes: ACR valuation par catgories absolues (absolute
33、 category rating) ANOVA analyse de variance (analysis of variance) ASR reconnaissance automatique de la parole (automatic speech recognition) CCR valuation par catgories de comparaison (comparison category rating) DARPA Defense Advanced Research Projects Agency DCR valuation par catgories de dgradat
34、ion (degradation category rating) DTMF multifrquence bitonalit (dual tone multiple frequency) HMM modle de Markov cach (hidden Markov model) HSD diffrence honntement significative (honestly significant difference) MLP perceptron multicouche (multi-layer-perceptron) MOS note moyenne dapprciation (mea
35、n opinion score) PARADISE paradigme dvaluation de dialogueur (paradigm for dialogue system evaluation) QS qualit de service SDS dialogueur automatique (spoken dialogue system) WoZ magicien dOz (wizard-of-Oz) 4 Introduction Les dialogueurs automatiques (SDS), cest-dire les systmes informatiques avec
36、lesquels des utilisateurs humains interagissent tour de rle au moyen du langage parl peuvent faire partie des rseaux tlphoniques modernes. Ils donnent accs des bases de donnes et des transactions par lintermdiaire du tlphone, par exemple pour obtenir des renseignements sur les horaires des trains ou
37、 des avions, les cours de la Bourse, ou des renseignements touristiques, ou encore pour effectuer des oprations bancaires, des rservations dhtels, etc. A loppos de simples systmes DTMF, les dialogueurs automatiques possdent des fonctions de reconnaissance automatique et de comprhension de la parole
38、(cest-dire des fonctions syntaxiques/smantiques/pragmatiques et donc dinterprtation), ainsi quun module de gestion de dialogue qui assure un droulement harmonieux et naturel de linteraction parle entre lutilisateur et le systme. En consquence, linteraction prend un caractre plus humain et le service
39、 fourni par ces systmes peut attirer une gamme plus large dutilisateurs potentiels. Trs souvent, les systmes de type DTMF et de type dialogue parl sont intgrs et une partie des aspects de la qualit seront identiques pour les deux types de systmes. Il arrive parfois que les systmes fonds sur le dialo
40、gue parl ont recours des structures et des protocoles dinterface utiliss dans des environnements dapplications Web et sont constitus dune faon similaire aux interfaces Web; ainsi, ces interfaces peuvent servir de rfrence pour obtenir les mmes fonctions. 4.1 Tches et modules dun dialogueur automatiqu
41、e Dun point de vue technique, la meilleure faon de reprsenter les modules dun dialogueur automatique mis en uvre sur le rseau tlphonique est de le faire selon une structure squentielle. Rec. UIT-T P.851 (11/2003) 3 On trouvera un exemple de cette structure la Figure 1. Elle comprend six principaux m
42、odules auxquels lutilisateur accde via une interface de serveur tlphonique. Le signal vocal mis par lutilisateur est dabord trait par le dispositif de reconnaissance vocale. Pendant le processus de reconnaissance, le signal est transform en une chane de mots ou en un graphe dhypothse qui est ensuite
43、 soumis une analyse smantique. Le rsultat est une trame smantique reprsentant ce qui a t “compris“ partir des paroles prononces par lutilisateur. Le gestionnaire de dialogue a pour tche dinterprter la trame smantique dans le contexte du dialogue et de la tche, et de garder une trace de lhistorique d
44、u dialogue. Lorsque toutes les informations pertinentes ont t recueillies auprs de lutilisateur, une interrogation peut tre lance auprs de lapplication sous-jacente (dans cet exemple une base de donnes). Les renseignements manant du programme dapplication et des autres objectifs communicatifs du ges
45、tionnaire de dialogue doivent tre transforms en une rponse destine lutilisateur. Cest la tche du module de gnration de rponse. Celui-ci gnre une rponse textuelle, qui est ensuite transforme par le synthtiseur vocal en un signal vocal qui est transmis lutilisateur humain. Parfois, la gnration de rpon
46、se et la synthse vocale sont mises en uvre dans un seul module (sans passer la reprsentation textuelle) et des messages prenregistrs sont utiliss au lieu de la parole synthtise. P.851_F01ModlesacoustiquesLexiqueModles delangagesGrammaireHistoriquedu dialogueBase dedonnesDictionnairedes unitsRglesSig
47、nalvocalSignalvocalDispositif de recon-naissance vocaleSynthtiseurvocalTexteChane demotsTramesmantiqueAnalyseursmantiqueGnrateur derponseGestionnairede dialogueTramesmantiqueAccs la basede donnesRenseignements de labase de donnesServeurtlphoniqueFigure 1/P.851 Structure squentielle dun dialogueur automatique de type tlphonique 27, 33 La structure de principe prcite peut tre implmente de plusieurs faons diffrentes. On trouvera des exemples en 4. Une structure courante est “larchitectur
