ITU-T F 901 FRENCH-1993 USABILITY EVALUATION OF TELECOMMUNICATION SERVICES《电信业务可用性的评价 1号研究组》.pdf

1、UNION INTERNATIONALE DES TLCOMMUNICATIONS5)4 4 2) rechercher les mthodes permettant dvaluer ces grandeurs dans le cadre spcifique au systme;3) fixer des critres de facilit dutilisation explicites et quantifiables (valeurs de rfrence);4) concevoir des tches exprimentales pour valuer jusqu quel point

2、le systme a satisfait aux critres defacilit dutilisation;5) faire excuter les tches par un chantillon de personnes (sujets exprimentaux). Ces sujets pourront tretests un par un ou collectivement, selon le protocole exprimental. Les sujets devront recevoir unedocumentation dinformation selon les beso

3、ins des tches;6) faire une analyse statistique des donnes;7) modifier les parties du systme qui nont pas satisfait aux critres de facilit dutilisation en se fondant surlobservation informelle des points et des moments o les sujets ont but sur des difficults cognitives;_1)Analyse de protocole: mthode

4、 dvaluation standard en psychologie cognitive.2 Recommandation F.901 (03/93)8) reprendre lessai au 5) ci-dessus, avec des sujets diffrents faisant partie de la mme catgorie, avec lesmmes tches mais dans le systme modifi;9) au terme de la nouvelle exprience, analyser les rsultats:i) par eux-mmes, com

5、me prcdemment, en appliquant les mmes critres danalyse, etii) par comparaison des rsultats des deux expriences;10) rpter les oprations 7) 9) jusqu ce que le systme satisfasse sans ambigut aux critres de facilitdutilisation.3.1 Mthodes et mesuresLa facilit dutilisation tant un concept pluridisciplina

6、ire, il nexiste pas de mthode unique universellement correctepour valuer ce concept. Le choix des mthodes dacquisition des donnes les plus appropries parmi les nombreusesmthodes disponibles (enregistrement chronologique de donnes, observation, questionnaires, interviews, etc.), dpenddu systme consid

7、r et des grandeurs de facilit dutilisation juges importantes pour ce systme.Dans le cas dun terminal de tlcommunication par exemple, lefficacit semble tre laspect le plus important de lafacilit dutilisation. Les gens doivent pouvoir approcher le terminal de tlcommunication, utiliser le service et le

8、 payersans complications. Dans le cas dun terminal public de tlcommunication, la facilit dapprentissage ne devrait pasconstituer un critre dapprciation, car on peut admettre que les gens nutiliseront pas un appareil dont ils nont pas lamatrise.Il est recommand de faire des mesures de performance et

9、de comportement, car ces deux concepts portent sur desaspects diffrents de la facilit dutilisation.Les mesures de performance, appeles parfois mesures objectives, concernent le temps dexcution, le taux derreur et lenombre dchecs avant laccomplissement dune tche. Les mesures de comportement (ou mesur

10、es subjectives) portentsur les opinions des utilisateurs.Il convient de sassurer quil ny a pas de dgradation due des facteurs humains externes (clairage trop faible parexemple).3.2 CritresLes critres de facilit dutilisation sont des valeurs de rfrence quantifies, fixes en exploitation pour chaquecom

11、posante de la facilit dutilisation. Les donnes recueillies sont compares aux critres pour voir si ces critres ontt atteints.3.3 TchesLes tches exprimentales doivent tre identifies par lanalyse des tches, avec laboration de scnarios appropris. Lesscnarios devront porter sur les fonctions les plus imp

12、ortantes du systme; ils devront tre reprsentatifs des tches queles utilisateurs effectueront en situation relle.3.4 UsagersLes sujets soumis lexprience doivent tre reprsentatifs des usagers potentiels et tre en nombre suffisant pourgarantir la fiabilit statistique des rsultats.3.5 Analyse des donnes

13、2)Les donnes exprimentales sont traites afin de mesurer le degr de satisfaction aux critres de facilit dutilisation. Lesproblmes seront identifis et des solutions proposes.4 ExempleLAnnexe A montre une application de la procdure gnrale un cas particulier._2)Dans certains cas, il nest pas ncessaire d

14、avoir un chantillon statistiquement significatif pour mettre en vidence un problme deconception.Recommandation F.901 (03/93) 3Annexe A( la Recommandation F.901)Evaluation de la facilit dutilisation des terminauxde visiophonie dans le RNIS(Cette annexe fait partie intgrante de la prsente Recommandati

15、on)On trouvera ci-aprs, titre dexemple, une mthode dvaluation de la facilit dutilisation des procdures daccs auservice visiophonique sur le RNIS, tablie suivant la mthodologie expose dans le texte principal de la prsenteRecommandation.Cet exemple contient des valeurs numriques et des procdures spcif

16、iques donnes titre dillustration. En situationrelle, ces valeurs, procdures et autres dtails particuliers devront bien sr tre ajusts la situation tudie.A.1 Linterface dusagerLes visiophones RNIS, appels ici terminaux, comprennent un poste tlphonique RNIS de base et un cran vidocouleur (gnralement de

17、 9 12 pouces).Le poste tlphonique se compose dun clavier numrique, de plusieurs touches supplmentaires et dun cran servant laffichage des informations (tat de la ligne, numro compos au clavier, taxation, etc.) et des invites.La numrotation peut se faire en chevauchement ou en bloc. Le procd par chev

18、auchement comporte les tapessuivantes: dcrochage, attente de la tonalit dinvitation, numrotation, passage du mode audio au mode audiovisuel decommunication. Le procd en bloc comporte la numrotation, le dcrochage et le passage de la communication audio la communication audiovisuelle.En plus de la num

19、rotation, les fonctions suivantes sont fournies: configuration du terminal, renumrotation,complments de service, suspension/reprise, affichage du numro compos, coupure du son, mains libres, pause vido,image locale, commande de changement de mode. On accde ces fonctions en manoeuvrant des touches spc

20、ialisesplaces prs du clavier numrique.La fonction dimage locale peut tre obtenue sur un moniteur distinct.Le mode demploi peut tre fourni par crit ou verbalement par linstallateur du matriel.A.2 UsagersLes visiophones ont t conus lintention du grand public.A.3 Conditions ambiantesLes visiophones des

21、tins lusage domestique ou aux bureaux sont conus pour les conditions dobservation suivantes: clairage ambiant: 400 lux; distance de vue: 60 120 cm.A.4 TchesLusager peut effectuer les oprations suivantes sur le visiophone: tablir des communications visiophoniques par laprocdure en bloc ou en chevauch

22、ement; afficher les numros composs dans la procdure en bloc, changer demode (passage de audio audiovisuel et inversement); afficher sa propre image (sauf si cette image est projete enpermanence sur un cran spar); bloquer la transmission de limage sortante; librer les communicationsvisiophoniques.4 R

23、ecommandation F.901 (03/93)A.5 Mesures de la facilit dutilisationPour valuer la facilit dutilisation du visiophone, il faut mesurer tant les performances de lusager que soncomportement. A cette fin, on recueille les donnes suivantes: nombre dchecs avant excution de la tche, tauxderreur, temps pour e

24、xcuter les tches et satisfaction procure par les procdures dusager.A.6 Conception des essaisDes essais en laboratoire sont ncessaires pour vrifier si linterface usager du visiophone satisfait aux critres de facilitdutilisation.On trouvera ci-aprs un exemple sur la manire dorganiser une exprience pou

25、r tester les caractristiques les plusimportantes de la visiophonie.A.6.1 SujetsLexprience fait intervenir un chantillon alatoire dau moins trente usagers reprsentatifs tirs au sort (les rsultatssont dautant plus fiables statistiquement que le nombre de sujets est lev).A.6.2 Conditions ambiantesLe te

26、rminal de visiophonie est plac dans un local sous un clairement de 400 lux. La distance de vue est de 60 cm.A.6.3 TchesDans chaque session exprimentale, un sujet effectue les tches suivantes: Tche n 1: tablissement dune communication visiophonique par chevauchement. Le numro composer comporte 10 chi

27、ffres. Cette tche est rpte 5 fois. Tche n 2: tablissement dune communication visiophonique par la procdure en bloc. Le numro composer comporte 10 chiffres. Cette tche est rpte 7 fois. Tche n 3: correction dun chiffre au milieu dun numro de tlphone 10 chiffres compos selon laprocdure en bloc. Cette t

28、che est rpte 5 fois.Afin dvaluer leffet de lapprentissage, on demandera gnralement un sujet deffectuer plusieurs sessions chelonnessur une certaine priode.Les conditions exprimentales sont imposes chaque sujet, dans un ordre (alatoire) diffrent.A.6.4 Critres de facilit dutilisationCes critres sont l

29、es suivants:A.6.4.1 Tche n 11) 90% des sujets doivent pouvoir tablir les cinq communications visiophoniques dune sessionexprimentale par la procdure en chevauchement sans commettre derreurs3)et sans chec au cours destrois dernires tentatives;2) le temps moyen dexcution de la dernire tentative (russi

30、e) ne doit pas dpasser 60 secondes;3) le MOS4)de satisfaction doit tre suprieur trois et la distribution ne doit pas tre significativementbimodale._3)Les erreurs sont des carts par rapport la procdure correcte (les erreurs de numrotation sont exclues).4)Note moyenne dopinion MOS (mean opinion score)

31、, mesure sur une chelle dvaluation 5 notes:Non satisfait Satisfait|-|-|-|-|1 2 3 4 5Recommandation F.901 (03/93) 5A.6.4.2 Tche n 21) 90% des sujets doivent pouvoir tablir les sept communications visiophoniques dune sessionexprimentale par la procdure en bloc sans commettre derreurs et sans chec au c

32、ours des troisdernires tentatives;2) le temps moyen dexcution de la dernire tentative (russie) ne doit pas dpasser 60 secondes;3) le MOS de satisfaction doit tre suprieur trois et la distribution ne doit pas tre significativementbimodale.A.6.4.3 Tche n 31) 90% des sujets doivent pouvoir effectuer av

33、ec succs les cinq tentatives de correction de chiffre erron aucours de la session exprimentale sans commettre derreurs et sans chec au cours des trois dernirestentatives;2) le temps moyen pour corriger le chiffre erron ne doit pas dpasser 30 secondes;3) le MOS de satisfaction doit tre suprieur trois

34、 et la distribution ne doit pas tre significativementbimodale.A.6.5 Protocole exprimentalTous les usagers reoivent des instructions crites sur la faon dutiliser les appareils, ainsi quune description des tches effectuer. Une formation peut tre assure si le prestataire de service le prvoit dans son e

35、xpos liminaire. Ensuite, lessujets effectuent le nombre de fois prvu les tches qui leur sont confies.A chaque tentative, on consigne la prcision (nombre derreurs ou dchecs) et la rapidit (temps dexcution). Il nest pasfix de dure limite pour lexcution de la tche. Sils ne russissent pas mener une tche

36、 son terme, les sujets passent la tentative suivante.Lexprimentateur peut rpondre des questions ventuelles concernant lexprience, mais pas des questions ayant traitaux tches et lutilisation du terminal.Au terme de chaque tche, il est demand aux sujets de donner une valuation de leur satisfaction sur une chelle denotation 5 points.