ITU-T SERIES P SUPP 26-2017 Scenarios for the subjective evaluation of audio and audiovisual multiparty telemeeting quality (Study Group 12).pdf

1、 I n t e r n a t i o n a l T e l e c o m m u n i c a t i o n U n i o n ITU-T Series P TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU Supplement 26 (09/2017) SERIES P: TELEPHONE TRANSMISSION QUALITY, TELEPHONE INSTALLATIONS, LOCAL LINE NETWORKS Scenarios for the subjective evaluation of audio and au

2、diovisual multiparty telemeeting quality ITU-T P-series Recommendations Supplement 26 ITU-T P-SERIES RECOMMENDATIONS TELEPHONE TRANSMISSION QUALITY, TELEPHONE INSTALLATIONS, LOCAL LINE NETWORKS Vocabulary and effects of transmission parameters on customer opinion of transmission quality Series P.10

3、Voice terminal characteristics Series P.30 P.300 Reference systems Series P.40 Objective measuring apparatus Series P.50 P.500 Objective electro-acoustical measurements Series P.60 Measurements related to speech loudness Series P.70 Methods for objective and subjective assessment of speech quality S

4、eries P.80 Methods for objective and subjective assessment of speech and video quality Series P.800 Audiovisual quality in multimedia services Series P.900 Transmission performance and QoS aspects of IP end-points Series P.1000 Communications involving vehicles Series P.1100 Models and tools for qua

5、lity assessment of streamed media Series P.1200 Telemeeting assessment Series P.1300 Statistical analysis, evaluation and reporting guidelines of quality measurements Series P.1400 Methods for objective and subjective assessment of quality of services other than speech and video Series P.1500 For fu

6、rther details, please refer to the list of ITU-T Recommendations. P series Supplement 26 (09/2017) i Supplement 26 to ITU-T P-series Recommendations Scenarios for the subjective evaluation of audio and audiovisual multiparty telemeeting quality Summary Supplement 26 to ITU-T P-series of Recommendati

7、ons concerns subjective quality assessment of telemeeting systems that provide audio-only or audio-visual communication for multiple parties. The term multiple parties refers to more than two meeting participants who can be located at two, or more than two locations. Evaluation of these systems can

8、focus on audio-only, video-only or audio-visual quality aspects and non-interactive or conversational quality can be assessed. This Supplement provides example test scenarios that can be used to conduct conversation tests for multiparty audio-only telemeetings. History Edition Recommendation Approva

9、l Study Group Unique ID* 1.0 ITU-T P Suppl. 26 2012-06-07 12 11.1002/1000/11720 2.0 ITU-T P Suppl. 26 2017-09-28 12 11.1002/1000/13392 Keywords Audio-only, conversation test scenarios, multiparty. * To access the Recommendation, type the URL http:/handle.itu.int/ in the address field of your web bro

10、wser, followed by the Recommendations unique ID. For example, http:/handle.itu.int/11.1002/1000/11830-en. ii P series Supplement 26 (09/2017) FOREWORD The International Telecommunication Union (ITU) is the United Nations specialized agency in the field of telecommunications, information and communic

11、ation technologies (ICTs). The ITU Telecommunication Standardization Sector (ITU-T) is a permanent organ of ITU. ITU-T is responsible for studying technical, operating and tariff questions and issuing Recommendations on them with a view to standardizing telecommunications on a worldwide basis. The W

12、orld Telecommunication Standardization Assembly (WTSA), which meets every four years, establishes the topics for study by the ITU-T study groups which, in turn, produce Recommendations on these topics. The approval of ITU-T Recommendations is covered by the procedure laid down in WTSA Resolution 1.

13、In some areas of information technology which fall within ITU-Ts purview, the necessary standards are prepared on a collaborative basis with ISO and IEC. NOTE In this publication, the expression “Administration“ is used for conciseness to indicate both a telecommunication administration and a recogn

14、ized operating agency. Compliance with this publication is voluntary. However, the publication may contain certain mandatory provisions (to ensure, e.g., interoperability or applicability) and compliance with the publication is achieved when all of these mandatory provisions are met. The words “shal

15、l“ or some other obligatory language such as “must“ and the negative equivalents are used to express requirements. The use of such words does not suggest that compliance with the publication is required of any party. INTELLECTUAL PROPERTY RIGHTSITU draws attention to the possibility that the practic

16、e or implementation of this publication may involve the use of a claimed Intellectual Property Right. ITU takes no position concerning the evidence, validity or applicability of claimed Intellectual Property Rights, whether asserted by ITU members or others outside of the publication development pro

17、cess. As of the date of approval of this publication, ITU had not received notice of intellectual property, protected by patents, which may be required to implement this publication. However, implementers are cautioned that this may not represent the latest information and are therefore strongly urg

18、ed to consult the TSB patent database at http:/www.itu.int/ITU-T/ipr/. ITU 2017 All rights reserved. No part of this publication may be reproduced, by any means whatsoever, without the prior written permission of ITU. P series Supplement 26 (09/2017) iii Table of Contents Page 1 Scope . 1 2 Referenc

19、es . 1 3 Definitions 1 3.1 Terms defined elsewhere 1 3.2 Terms defined in this Recommendation . 1 4 Abbreviations and acronyms 1 5 Conventions 2 6 Three-party conversation test scenarios 2 7 German examples of three-party conversation test scenarios . 3 7.1 Symbole 3 7.2 Trainings-Szenario . 4 7.3 T

20、est-Szenarien 8 8 English examples of three-party conversation test scenarios . 48 8.1 Symbols 48 8.2 Training Scenario . 49 9 French examples of three-party conversation test scenarios 93 9.1 Symboles 93 9.2 Scnario dentrainement 94 9.3 Scnarios de test . 98 Bibliography. 138 P series Supplement 26

21、 (09/2017) 1 Supplement 26 to ITU-T P-series Recommendations Scenarios for the subjective evaluation of audio and audiovisual multiparty telemeeting quality 1 Scope This Supplement concerns subjective quality assessment of telemeeting systems that provide communication between multiple parties at di

22、stant locations. As multiparty telemeetings can differ in a large number of aspects, the assessment of such systems requires proper selection and control of the considered aspects and a precise description when reporting results. Recommendation ITU-T P.1301 provides guidelines to select and, if nece

23、ssary, adapt existing methods for subjective evaluation of multiparty telemeetings. Concerning the evaluation of conversational quality of multiparty telemeetings, ITU-T P.1301 also provides descriptions of conversation tasks. This Supplement complements these with example scenarios for conversation

24、 test scenarios for three parties. 2 References ITU-T P.1301 Recommendation ITU-T P.1301 (2017), Subjective quality evaluation of audio and audiovisual multiparty telemeetings. 3 Definitions 3.1 Terms defined elsewhere None. 3.2 Terms defined in this Recommendation None. 4 Abbreviations and acronyms

25、 None. 5 Conventions None. 6 Three-party conversation test scenarios The following conversation test method was developed for assessing audio conferencing quality with three participants. Details of the test scenario development can be found in b-RAAKE2008. A validation carried out in b-RAAKE2010 sh

26、owed that subject groups have a higher impact on the conversation duration than the scenarios. The intended dialogue flow of the scenarios is schematically depicted in Figure 1. The scenario instruction sheets given to participants have been developed to support a close-to-natural emerging of the di

27、alogue flow. 2 P series Supplement 26 (09/2017) Figure 1 Targeted conversation structure This Supplement contains the scenario instruction sheets, which were originally developed in German and translated into English and French translations including adaptations of names and cultural references (for

28、 the U.S. and France). Adaptation of these scenarios to further cultural contexts requires not only literal translation but also adaptation of names, cultural references (e.g., locations, telephone numbers) or even the scenario theme as such, to ensure that test subjects experience these scenarios a

29、s naturally as possible in their cultural environment. P series Supplement 26 (09/2017) 3 7 German examples of three-party conversation test scenarios This clause contains the scenario instruction sheets, which were originally developed in German. 7.1 Symbole Als Anrufer haben Sie folgendes Symbol:

30、Dieses Symbol zeigt an, dass Sie der Anrufer sind. Bitte warten Sie bis der Versuchsleiter Ihnen mitteilt, dass das Gesprch beginnt. Wenn Sie angerufen werden, haben Sie folgendes Symbol: Dieses Symbol zeigt an, dass Sie angerufen werden. Warten Sie auf das Tonsignal und beginnen Sie dann bitte mit

31、dem Gesprch. Alle drei Gesprchspartner haben folgende Symbole: Dieses Symbol markiert den Gesprchsanfang (Begrung) und das Gesprchsende (Verabschiedung). Neben dem Begrungssymbol finden Sie Ihren fiktiven Namen. Neben diesem Symbol steht der Grund Ihres Anrufes bzw. eine Frage, die Sie bitte stellen

32、 (z. B. Sie mchten einen Termin vereinbaren). Neben diesem Symbol steht eine Einschrnkung, die Sie machen mchten. (z. B. andere nicht verschiebbare Terminen). Neben diesem Symbol finden Sie Informationen, aus denen Sie die Angaben heraussuchen sollen, die Ihre Gesprchspartner bentigen (z. B. wann de

33、r Besprechungsraum frei ist). Dieses Symbol zeigt an, dass Sie hier eine Einigung finden sollen (z.B. zu welcher Uhrzeit findet die Besprechung statt). Neben diesem Symbol finden Sie eine Tabelle oder eine Liste mit Informationen. Bitte tragen Sie in die leeren Felder die Informationen ein, die Sie

34、von Ihren Gesprchspartnern bekommen. Bitte geben Sie die Informationen, die sie besitzen, an Ihre Gesprchspartner weiter. Dieses Symbol zeigt an, dass ein Gesprchspartner eine Frage stellt fr die weder Sie noch ein anderer Teilnehmer eine Antwort hat. Bitte diskutieren Sie die Frage kurz und finden

35、Sie eine akzeptable Lsung fr alle Beteiligten. 4 P series Supplement 26 (09/2017) 7.2 Trainings-Szenario bersichtsseite Planung eines Meetings Teilnehmer: Anrufer: Meyerhof Firma: Brauerei Starkbier, Unternehmenskommunikation Gesprchspartner 2: Burger Firma: TV-SenderFuball Kanal, Marketing Gesprchs

36、partner 3: Schreiber Firma: Knabbers Snacks & Nsse, Public Relations Grund des Anrufs: Besprechungstermin festlegen fr ein Sponsoring-Angebot zwischen dem Fernsehsender Fuball Kanal und den Firmen Brauerei Starkbier sowie Knabbers Snacks & Nsse Tagesordnungspunkte der Telefonkonferenz: Thema 1: Term

37、invereinbarung fr das Meeting: Uhrzeit festlegen Thema 2: Austausch der E-Mail-Adressen zum Versand einer Agenda vorab Sonstiges: Werbefilm-Regisseur P series Supplement 26 (09/2017) 5 Gesprchsleitfaden: Planung eines Meetings Anrufer Name: Meyerhof Firma: Brauerei Starkbier, Unternehmenskommunikati

38、on Sie whlen die Nummer von Burger aus der Marketingabteilung des Fernsehsenders Fuball Kanal: Begrung Thema 1: Sie haben sich bereits geeinigt auf: 1-stndiges Meeting nchsten Montag Treffpunkt: Besprechungsraum beim Fernsehsender Fuball Kanal Thema: Sponsoring-Angebot besprechen Noch offen: Um wie

39、viel Uhr? Ihr Terminkalender am Montag 9.00 10.00 Uhr 10.00 11.00 Uhr 11.00 12.00 Uhr 12.00 13.00 Uhr 13.00 14.00 Uhr 14.00 15.00 Uhr 15.00 16.00 Uhr nicht verschiebbares Seminar 16.00 17.00 Uhr Einigung auf _ Uhr Thema 2: Austausch der E-Mail-Adressen: Name Abteilung E-Mail-Adresse Meyerhof Unterne

40、hmenskommunikation h.meyerhofstarkbier.de Sonstiges: Diskussion Verabschiedung 6 P series Supplement 26 (09/2017) Gesprchsleitfaden: Planung eines Meetings Gesprchspartner 3 Name: Schreiber Firma: Knabbers Snacks & Nsse, Public Relations Meyerhof und Burger holen Sie als dritte Person ins Gesprch: B

41、egrung Thema 1: Sie haben noch folgende Termine frei: Ihr Terminkalender am Montag 9.00 10.00 Uhr Jour fixe 10.00 11.00 Uhr 11.00 12.00 Uhr 12.00 13.00 Uhr Mittagessen mit 13.00 14.00 Uhr einem Kunden 14.00 15.00 Uhr 15.00 16.00 Uhr 16.00 17.00 Uhr Einigung auf: _ Uhr Thema 2: Austausch der E-Mail-A

42、dressen: Name Abteilung E-Mail-Adresse Schreiber Public Relations Sonstiges: Werbefilm-Regisseur fr Sponsoring-Trailer einladen? Diskussion Verabschiedung P series Supplement 26 (09/2017) 7 Gesprchsleitfaden: Planung eines Meetings Gesprchspartner 2 Name: Burger Firma: TV-SenderFuball Kanal, Market

43、ing Begrung Bitte holen Sie Schreiber von der Public Relations-Abteilung der Firma Knabbers Snacks & Nsse ins Gesprch. Thema 1: Meeting findet bei Ihnen im Besprechungsraum statt: Belegungsplan fr den Besprechungsraum am Montag 9.00 10.00 Uhr belegt 10.00 11.00 Uhr belegt 11.00 12.00 Uhr belegt 12.0

44、0 13.00 Uhr belegt 13.00 14.00 Uhr 14.00 15.00 Uhr 15.00 16.00 Uhr 16.00 17.00 Uhr belegt 17.00 18.00 Uhr belegt Einigung auf: _ Uhr Thema 2: Austausch der E-Mail-Adressen, um vorab eine Agenda zu schicken? Austausch der E-Mail-Adressen: Name Abteilung E-Mail-Adresse Burger Marketing t.burgerfussbal

45、l-kanal.de Sonstiges: Diskussion Verabschiedung 8 P series Supplement 26 (09/2017) 7.3 Test-Szenarien Szenario 1: Zeitrahmen fr einen Messeauftritt Teilnehmer: Anrufer: Schubert Firma: Medienhaus, Marketing Gesprchspartner 2: Pfeiffer Firma: Medienhaus, Unternehmens-kommunikation Gesprchspartner 3:

46、Manger Firma: Ingenieurbro Starlight Grund des Anrufs: Zeitrahmen fr den Aufbau des Messestands, die technische Ausstattung bzw. Beleuchtung und die Generalprobe der Firma Medienhaus bei der Internationalen Funkausstellung (IFA) in Berlin Tagesordnungspunkte der Telefonkonferenz: Thema 1: Wann werde

47、n Beleuchtung und Lasergerte montiert? Thema 2: Fr kurzfristige Probleme: Kontaktdaten wichtiger Partner-Firmen austauschen Sonstiges: Nebelmaschine P series Supplement 26 (09/2017) 9 Szenario 1: Zeitrahmen fr einen Messeauftritt Anrufer Name: Schubert Firma: Medienhaus, Marketing Sie whlen die Numm

48、er von Pfeiffer von der Abteilung Unternehmens-kommunikation aus Ihrem Konzern: Begrung Thema 1: Messeauftritt von Medienhaus bei der Internationalen Funkausstellung in Berlin: Wann Aufbau der Beleuchtung und der Lasergerte? Zeitvorgabe der Messegesellschaft: IFA Berlin: Zeitplan fr Aussteller Ab 15. Aug. 2007 Standaufbau in den Hallen des Berliner Messezentrums mglich Einigung auf Zeitraum _ Thema 2: Kontaktdaten aller wichtigen Partner-Firmen: Firma Ansprechpartner Telefonnummer E-Mail-Adresse Messe Berlin Her