1、 UNIN INTERNACIONAL DE TELECOMUNICACIONES UIT-T P.851SECTOR DE NORMALIZACIN DE LAS TELECOMUNICACIONES DE LA UIT (11/2003) SERIE P: CALIDAD DE TRANSMISIN TELEFNICA, INSTALACIONES TELEFNICAS Y REDES LOCALES Mtodos de evaluacin objetiva y subjetiva de la calidad Evaluacin de la calidad subjetiva de los
2、 servicios telefnicos basados en sistemas conversacionales Recomendacin UIT-T P.851 RECOMENDACIONES UIT-T DE LA SERIE P CALIDAD DE TRANSMISIN TELEFNICA, INSTALACIONES TELEFNICAS Y REDES LOCALES Vocabulario y efectos de los parmetros de transmisin sobre la opinin de los clientes Serie P.10 Lneas y ap
3、aratos de abonado Serie P.30 P.300 Patrones de transmisin Serie P.40 Aparatos para mediciones objetivas Serie P.50 P.500 Medidas electroacsticas objetivas Serie P.60 Medidas relativas a la sonoridad vocal Serie P.70 Mtodos de evaluacin objetiva y subjetiva de la calidad Serie P.80 P.800 Calidad audi
4、ovisual en servicios multimedios Serie P.900 Para ms informacin, vase la Lista de Recomendaciones del UIT-T. Rec. UIT-T P.851 (11/2003) i Recomendacin UIT-T P.851 Evaluacin de la calidad subjetiva de los servicios telefnicos basados en sistemas conversacionales Resumen En esta Recomendacin se descri
5、ben mtodos y procedimientos para llevar a cabo experimentos de evaluacin subjetiva de servicios telefnicos que emplean sistemas conversacionales. Los sistemas correspondientes permiten una interaccin natural empleando lenguaje oral y disponen de capacidades de reconocimiento e interpretacin vocal, g
6、estin del dilogo y emisin vocal. Se describe la configuracin y la realizacin de los experimentos de interaccin adecuados, y se proponen cuestionarios para cuantificar los parmetros de calidad pertinentes que percibe el usuario. Orgenes La Recomendacin UIT-T P.851 fue aprobada el 13 de noviembre de 2
7、003 por la Comisin de Estudio 12 (2001-2004) del UIT-T por el procedimiento de la Recomendacin UIT-T A.8. Palabras clave Comprensin vocal, evaluacin subjetiva, generacin vocal, gestin de dilogo, parmetro de interaccin, reconocimiento vocal, sistema conversacional. ii Rec. UIT-T P.851 (11/2003) PREFA
8、CIO La UIT (Unin Internacional de Telecomunicaciones) es el organismo especializado de las Naciones Unidas en el campo de las telecomunicaciones. El UIT-T (Sector de Normalizacin de las Telecomunicaciones de la UIT) es un rgano permanente de la UIT. Este rgano estudia los aspectos tcnicos, de explot
9、acin y tarifarios y publica Recomendaciones sobre los mismos, con miras a la normalizacin de las telecomunica-ciones en el plano mundial. La Asamblea Mundial de Normalizacin de las Telecomunicaciones (AMNT), que se celebra cada cuatro aos, establece los temas que han de estudiar las Comisiones de Es
10、tudio del UIT-T, que a su vez producen Recomendaciones sobre dichos temas. La aprobacin de Recomendaciones por los Miembros del UIT-T es el objeto del procedimiento establecido en la Resolucin 1 de la AMNT. En ciertos sectores de la tecnologa de la informacin que corresponden a la esfera de competen
11、cia del UIT-T, se preparan las normas necesarias en colaboracin con la ISO y la CEI. NOTA En esta Recomendacin, la expresin “Administracin“ se utiliza para designar, en forma abreviada, tanto una administracin de telecomunicaciones como una empresa de explotacin reconocida de telecomunicaciones. La
12、observancia de esta Recomendacin es voluntaria. Ahora bien, la Recomendacin puede contener ciertas disposiciones obligatorias (para asegurar, por ejemplo, la aplicabilidad o la interoperabilidad), por lo que la observancia se consigue con el cumplimiento exacto y puntual de todas las disposiciones o
13、bligatorias. La obligatoriedad de un elemento preceptivo o requisito se expresa mediante las frases “tener que, haber de, hay que + infinitivo“ o el verbo principal en tiempo futuro simple de mandato, en modo afirmativo o negativo. El hecho de que se utilice esta formulacin no entraa que la observan
14、cia se imponga a ninguna de las partes. PROPIEDAD INTELECTUAL La UIT seala a la atencin la posibilidad de que la utilizacin o aplicacin de la presente Recomendacin suponga el empleo de un derecho de propiedad intelectual reivindicado. La UIT no adopta ninguna posicin en cuanto a la demostracin, vali
15、dez o aplicabilidad de los derechos de propiedad intelectual reivindicados, ya sea por los miembros de la UIT o por terceros ajenos al proceso de elaboracin de Recomendaciones. En la fecha de aprobacin de la presente Recomendacin, la UIT no ha recibido notificacin de propiedad intelectual, protegida
16、 por patente, que puede ser necesaria para aplicar esta Recomendacin. Sin embargo, debe sealarse a los usuarios que puede que esta informacin no se encuentre totalmente actualizada al respecto, por lo que se les insta encarecidamente a consultar la base de datos sobre patentes de la TSB. UIT 2004 Re
17、servados todos los derechos. Ninguna parte de esta publicacin puede reproducirse por ningn procedimiento sin previa autorizacin escrita por parte de la UIT. Rec. UIT-T P.851 (11/2003) iii NDICE Pgina 1 Alcance . 1 2 Referencias . 1 3 Abreviaturas 2 4 Introduccin 2 4.1 Funciones y componentes de un s
18、istema conversacional. 3 4.2 Interaccin telefnica con un sistema conversacional 3 4.3 Aspectos de calidad y factores que pueden influir . 4 4.4 Mtodos de evaluacin subjetiva 8 5 Caracterizacin del sistema conversacional . 9 5.1 Factores de agente 9 5.2 Factores de tarea. 12 5.3 Factores de usuario.
19、12 5.4 Factores de entorno. 13 5.5 Factores de contexto. 13 6 Organizacin del experimento 13 6.1 Organizacin del sistema y simulacin de Mago de Oz. 14 6.2 Casos de prueba 15 6.3 Agentes de prueba 16 7 Cuestionarios 17 7.1 Preguntas relativas a los antecedentes del usuario . 19 7.2 Preguntas relativa
20、s a la interaccin individual . 20 7.3 Preguntas relativas a la impresin general del usuario con relacin al sistema 23 8 Evaluacin de la capacidad de uso . 25 9 Anlisis e interpretacin de la informacin recopilada 26 Apndice I Ejemplos de hiptesis. 27 BIBLIOGRAFA . 29 Rec. UIT-T P.851 (11/2003) 1 Reco
21、mendacin UIT-T P.851 Evaluacin de la calidad subjetiva de los servicios telefnicos basados en sistemas conversacionales 1 Alcance En la presente Recomendacin se describen mtodos de evaluacin subjetiva que proporcionan informacin relativa a la calidad de los servicios telefnicos basados en sistemas c
22、onversacionales, segn las experiencias obtenidas por los usuarios de esos servicios. Los sistemas conversacionales que se abordan en esta Recomendacin permiten la interaccin mediante el lenguaje oral con un usuario fsico por la red telefnica basndose en el modo de turno por turno, y disponen de capa
23、cidades de reconocimiento y comprensin vocal, gestin del dilogo, generacin de respuesta y emisin vocal. Estos sistemas pueden permitir el acceso a informacin almacenada en una base de datos, o facilitar la realizacin de distintos tipos de transacciones. Los mtodos de evaluacin que se describen en es
24、ta Recomendacin abordan distintos aspectos de calidad desde la perspectiva del usuario, y consideran el sistema conversacional como una caja negra. Los aspectos importantes de calidad son las posibilidades de uso del servicio, la eficacia de la comunicacin, la eficacia de la tarea y del servicio, la
25、 satisfaccin del usuario, la calidad de la entrada y la salida vocal que se percibe, la capacidad de cooperacin del sistema, la simetra de la interaccin y la regularidad de la interaccin que se percibe. Los mtodos se fundamentan en experimentos de laboratorio mediante agentes que interactan con el s
26、istema conversacional para llevar a cabo una tarea predefinida y realista. La opinin de los agentes con relacin a los parmetros de calidad que se perciben puede evaluarse de una manera dirigida o no, mediante cuestionarios que se les proporcionan despus del experimento, o con la ayuda de otros mtodo
27、s de evaluacin de las posibilidades de uso. En esta Recomendacin se describen la configuracin y realizacin de los experimentos de interaccin, los parmetros de calidad pertinentes percibidos por el usuario y los mtodos que permitirn proporcionar la informacin relativa a estos parmetros de calidad. En
28、 las Recomendaciones UIT-T P.800 y P.85, as como en el Manual sobre telefonometra, pueden obtenerse directrices adicionales relativas a los mtodos de evaluacin subjetiva en general y con relacin a la evaluacin de los dispositivos con emisin vocal. 2 Referencias Las siguientes Recomendaciones del UIT
29、-T y otras referencias contienen disposiciones que, mediante su referencia en este texto, constituyen disposiciones de la presente Recomendacin. Al efectuar esta publicacin, estaban en vigor las ediciones indicadas. Todas las Recomendaciones y otras referencias son objeto de revisiones por lo que se
30、 preconiza que los usuarios de esta Recomendacin investiguen la posibilidad de aplicar las ediciones ms recientes de las Recomendaciones y otras referencias citadas a continuacin. Se publica peridicamente una lista de las Recomendaciones UIT-T actualmente vigentes. En esta Recomendacin, la referenci
31、a a un documento, en tanto que autnomo, no le otorga el rango de una Recomendacin. Recomendacin UIT-T E.800 (1994), Trminos y definiciones relativos a la calidad de servicio y a la calidad de funcionamiento de la red, incluida la seguridad de funcionamiento. Recomendacin UIT-T G.107 (2003), El model
32、o E, un modelo informtico para utilizacin en planificacin de la transmisin. Recomendacin UIT-T G.1000 (2001), Calidad de servicio de las comunicaciones: Marco y definiciones. 2 Rec. UIT-T P.851 (11/2003) Recomendacin UIT-T P.85 (1994), Mtodo para la evaluacin subjetiva de la calidad vocal de los dis
33、positivos generadores de voz. Recomendacin UIT-T P.800 (1996), Mtodos de determinacin subjetiva de la calidad de transmisin. Manual sobre telefonometra del UIT-T (1992). 3 Abreviaturas En esta Recomendacin se utilizan las siguientes siglas. ACR Evaluacin por categoras absolutas (absolute category ra
34、ting) ANOVA Anlisis de la varianza (analysis of variance) ASR Reconocimiento automtico de la voz (automatic speech recognition) CCR Evaluacin por categoras de comparacin (comparison category rating) DARPA Agencia de proyectos de investigacin avanzada para defensa (defense advanced research projects
35、agency) DCR Evaluacin por categoras de degradacin (degradation category rating) DTMF Multifrecuencia bitono (dual tone multiple frequency) HMM Modelo oculto de Markov (hidden Markov model) HSD Diferencia enteramente significativa (honestly significant difference) MLP Perceptron multicapas (multi-lay
36、er perceptron) MOS Nota media de opinin (mean opinion score) PARADISE Paradigma de evaluacin del sistema de dilogo (paradigm for dialogue system evaluation) QoS Calidad de servicio (quality of service) SDS Sistema conversacional (spoken dialogue system) WoZ Mago de Oz (wizard-of-Oz) 4 Introduccin Es
37、 posible que los sistemas conversacionales (SDS), es decir los sistemas informticos mediante los cuales los usuarios fsicos interactan con lenguaje oral, turno por turno, lleguen a ser parte integral de las redes telefnicas modernas. Estos sistemas permiten el acceso a bases de datos y transacciones
38、 a travs del aparato telefnico, por ejemplo, para obtener informacin de horarios de trenes o aviones, movimientos de bolsa, informacin turstica, realizacin de operaciones de cuenta bancaria, reservaciones de hotel, y otras. En comparacin con los sistemas DTMF simples, los sistemas conversacionales d
39、isponen de capacidades de reconocimiento vocal automtico y de comprensin vocal (es decir, sintctica/semntica/pragmtica y por consiguiente interpretativa), y de un mdulo de gestin de dilogo que garantiza el funcionamiento regular y natural de la interaccin oral entre el usuario y el sistema. Como res
40、ultado, la interaccin se vuelve ms parecida a la humana, y el servicio que proporcionan esos sistemas podr interesar a una amplia gama de usuarios potenciales. Frecuentemente, los tipos de sistemas basados en DTMF y en la conversacin se realizan de un modo integrado, y una parte de los aspectos de c
41、alidad correspondientes ser idntica para ambos tipos. Algunas veces, los tipos de sistemas basados en conversacin utilizan estructuras y protocolos de interfaz que se emplean en entornos de aplicacin web, y se construyen Rec. UIT-T P.851 (11/2003) 3 de una manera similar a las interfaces web; por co
42、nsiguiente, estas interfaces pueden constituir una referencia para obtener la misma funcionalidad. 4.1 Funciones y componentes de un sistema conversacional Desde un punto de vista tcnico, se pueden visualizar mejor los componentes de un sistema conversacional que funciona por la red telefnica, a par
43、tir de una estructura secuencial. En la figura 1 se ilustra un ejemplo de ese tipo de estructura que consta de seis componentes principales a los que puede acceder el usuario a travs de la interfaz del servidor telefnico. En primer lugar, la unidad de reconocimiento vocal procesa la seal vocal del u
44、suario. Durante el proceso de reconocimiento, la seal se transforma en una cadena de palabras o en una grfica de posibilidades de palabras que se analiza a continuacin desde un punto de vista semntico. La salida da por resultado una trama semntica que representa lo que se ha “comprendido“ a partir d
45、e las unidades de habla del usuario. El gestor del dilogo debe interpretar la trama semntica en el contexto del dilogo y de la tarea, y mantener el seguimiento de la historia del dilogo. Cuando se ha recopilado toda la informacin pertinente del usuario, podr iniciarse una consulta a la aplicacin sub
46、yacente (que en este ejemplo es una base de datos). La informacin que se origina a partir del programa de aplicacin, as como otros objetivos de comunicacin del gestor del dilogo, se transforman en una respuesta al usuario. sta es la tarea del mdulo de generacin de respuesta el cual da una respuesta
47、en forma de texto, que a su vez el sintetizador vocal la transforma en una seal vocal que se transmite al usuario fsico. En algunas ocasiones, la generacin de respuesta y la sntesis vocal se realizan en un mdulo simple (sin pasar por la representacin textual), y se utilizan mensajes grabados en luga
48、r de voz sintetizada. Figura 1/P.851 Estructura secuencial de un sistema conversacional basado en la telefona 27, 33 Esta estructura bsica podr realizarse de distintas maneras. En 4 podrn encontrarse algunos ejemplos. Una manera comn es la denominada “arquitectura centralizada“ 37, 45 que se utiliz en el proyecto Communicator de DARPA. Otras estructuras se apoyan en mdulos de funcionamiento asncrono para la interpretacin, comportamiento (razonamiento y actuacin) y generacin, vase 1. 4.2 Interaccin telefnica con un sistema conversacional La interaccin con el sistema conversacional se
