1、ICS 35.080 L77 人民11: ./、国国GB/T 18905. 6-2002月SO/IEC14598-6: 2001 软件工程产品评价第6部分:评价模块的文档编制Software engineering-Product evaluation Part 6: Documentation of evaluation modules OSO/IEC 14598-6: 200 1, IDT) 2002-12-04发布2003-05-01实施478 中华国家质人民共和国监督检验检瘦总局发布GB/T 18905. 6-2002/ISO/IEC 14598-6:2001 目。百量EE司GB/T
2、18905-2002(软件工程产品评价分为六个部分:一一第l部分概述，一第2部分:策划和管理;第3部分:开发者用的过程;第4部分:需方用的过程;第5部分评价省用的过程;第6部分z评价模块的文梢编制。本部分为GB/T18905-2002的第6部分，等同采用ISO/IEC14598-6:2001(软件工程产品评价第6部分评价筷块的文档)(英文版)。本部分附录C中C.5. 1的表中第3级(良)布印刷勘误，故将原文的JO.80 0j攻为JO.80 o. 90J。本部分的附录A、附录B、附录C、附录D是资料性附录。牛4部分由中华人民共和国信息产业部提出。本部分由中国电子技术标准化研究所归口。本部分由中国
3、电子技术标准化研究所负责起草。本部分主要起草人:罗锋盈、陈莹、土凌、冯惠。479 GB/T 18905. 6-2002/ISO/IEC 14598-6: 200 1 引言软件产品评价依赖于一组评价技术和提供软件质量特性信息的度量。许多度量及相关的方法使用测量结果来实施特定的软件产品评价。ISO/IEC9126-2和ISO/IEC9126-3提供了与子特性对应的度量实例。这些度量难以在一个组织中一致地使用。旦官可能对特定应用开发新度量是必需的。因此，组织中的支持机构(见GB/T18905.2)为了在组织内正确和致地使用度量，有必要对各个度量都分别加以规定。对度量、相关方法及使用指南的文档编制格式
4、宜标准化。评价模块的内容提供这种要求的解决方案。评价模块规定了应用于评价质量特性并标识其要求的证据的评价方法。它也定义了技术应用中的基本评价规程和测量结果的报告格式。编制评价模块文档的一致性方法有以下优点:一-在描述评价模块的理论基础中，提供了基准通用。一-一为编制评价模块文档或开发评价模块，确定了最低需求。-一在收集归并大量参与的评价模块时，提供了必需工具。评价模块提供了一种灵活的和结构化的方法，使度量适用于评价中间产品或最终产品。使用本部分产生的评价模块，有助于确保软件产品评价可重复性、可再现性和客观性。评价模块文档编制的格式需考虑下列因素适用于软件产品的评价环境。一一该格式支持根据技术发
5、展水平来开发新度量的要求。一-该格式提供度量及应用的精确定义。它提供了评价人员进行评价所需的信息。附录A提供了新评价模块开发过程的指南。附录B、附录C和附录D是评价模块的实例。480 软件工程第6部分:评价GB/T 18905. 6-2002/ISO/IEC 14598-6,2001 产品评价块的文档编制1 范围本部分定义了用于描述评价模块的文档编制的结构和内容。评价模块旨在ISO!IEC9126和本系列标准的环境中使用E本部分旨在供测试实验雪、研究机构等评价技术领域的专家在制定新的评价模块时使用。2 一致性如果评价模块的文档满足第6章(评价模块的文档格式)的要求，则认为它符合本部分回3 规范
6、性引用文件下列文件中的条款通过本部分的引用而成为本部分的条款。凡是注目期的引用文件，其随后所有的修改单(不包括勘误的内容)或修订版均不适用于本部分，然而，鼓励根据本部分达成协议的各方研究是否可使用这些文件的最新版本。凡是不注目期的号|用文件，其最新版本适用于本部分。GB!T 8566 , 2001 信息技术软件生存周期过程(idtISO!IEC 12207 , 1995) GB/T 18905. 1. . 2002软件工程产品评价第I部分z概述(lSO/lEC14598-1 , 1999 , IDT) GB!T 18905.2-2002软件工程产品评价第2部分:策划和管理lOE-2差注必须依据
7、应用阶段或软件领域来剪裁阁值。B.5.2 报告作为应用评价模块的结果报告下列信息2) 源代码的标识;2) 故障密度值:FDV:相应等级(优秀、良好、合格、差人B.6 应用规程B. 6. 1 所用技术术语的定义RGM 可靠性增长模型。可靠性增长模型用于估计出错的代码行数。B.6.2 需要的资源使用评价模块时，下列资源必须是可用的:需要的软件工具1) LOC计数工具;487 GB/T 18905. 6-2002/ISO/IEC 14598-6 :2001 2) 修改行计数工具;3) 可靠性数据收集工具和分析工具(吁选)硬软件平台无特别需求。测试装备或其他设备无特别需求，但建议使用可靠性数据采集和分
8、析工具。技能和资格需要有使用RGM方面的知识。应用方面的人力大部分工作与失效的测试和记录有关。若采用可靠性和数据采集工具，则RGM的应用和FDV计算只需要有限的工作。其他特殊资源元特殊需求。B.6.3 评价指令 ) 样本的选择选择样本源代码。采样率宜超过一半目2) 原始数据的生成失效数据从测试报告中提取。若测试报告不可用，则进行测试。为了采用可靠性增长模型RGM，需要最小的测试时间为xxx。对于每一个失效，记录其出现的位置和时间。用修改时间计数修改的ELOC和每个样本的总的NCLOCo3) 算法通过使用可靠性增长模11RGM，估计潜在的故障LOC数。故障代码行的估计数通过应用RGM模型求出。E
9、ELOC二RGM-( (失敛，时间) ) 计算故障密度值3FDV= (EELOC-ELOC)/NCLOC 注2必须在这儿详细解释如何使用RGM模型或工具，或者，必须提供对用于估计的软件工具和于册所傲的引用。4) 工作和最终文档的保留需求每周做一次测试，在测试阶段做趋势分析。动作z若故障密度的计算值大于一些规定值(等级=差)，则再次进行源代码评审、重测试和调试，并且再次计算故障密度。B.6.4 文档编制(内部)下列信息在内部文档中记录:) 源代码样本的标识和版本;2) 测试文档的标识和版本;3) 用于估计EELOC的失效集$4) 应用日期和负责人。488 GB/T 18905. 6-2002/1
10、S0/1EC 14598-6! 200 1 附录C(资料性附录)评价模块的实例-一功能性信息技术软件产品评价评价模块=功能性C.O 引言评价模块用于确定一个软件系统或部件的功能性，该功能性是指软件部件在规定的条件下满足明确的和隐含功能的程度。如果有一个妥善归档的软件或系统需求的定义，并且明确的要求描述得1.正确进行评价是可能的。在任何情况下，评价都要考虑如何编制文档。ISO/IEC 9126按照下面段落中描述的子特性定义了功能性。而通过对更多子项的测量说明每个子特性是可测量的。这里描述的每个子特性的基本项将是该子特性值定义的大致等级。此评价公式当前并不存在，并且显露标准的采用将有信心在其应用环
11、境中达成共同协议。与评价模块相关的质量模型对与每个子特性有关的元素项考虑了多种度量。并在检查表中描述了每个待测元素项的度量，对每个问题都提供了可能有的答案(y/n/dl:y表示是，n表示否， d表示应不适用而被废除。答案y/n涉及度量值与期望值的比较E如果测得值等于或优于期望值，则回答为是飞，气，否则为否功能性特性通过下列规则进行评价=C. 1 范围C. 1. 1 特性Vc=2:Vs正司/nsIVsc; I =2:m，!(-ndl Vc为特性的测量值;Vsc，为1子特性的测量值pnsc为子特性数目;m，当第i个回答是肯定时为1.否则为0;n为测量的总数;nd为废除的问题数。功能性度量指出软件部
12、件是否满足规定的需求。软件部件也应满足隐含的用户要求;换句话说，软件部件隐含的类型需求在评价之列。功能性的度量包括表示5个子特性指标:一一适合性;二准确性;互操作性;二依从性;安全性E适合性度重测量的是，在对所要求的功能进行测试以及用户操作期间满足功能的比率$换句话说，489 GB/T 18905. 6-2002IISO/IEC 14598-6: 200 1 找出执行任务的不符合文档中的需求的功能。准确性度量测量的是精确度:一-i.算出错的范罔;一执行任务的实际结果与期望结果之差;一一实际操作规穗与文档化规程(例如，手册间的不一致。豆操作性度量测量的是软件部件同其他系统、其他软件产品和其他设备
13、的通信级别一一数据传输能力g-命令交换能力回依从性度量测量的是软件部件对照环境的规章或规则的标准化级别。安全性度量测量的是针对非法访问与非法操作的防范性能级别。C. 1. 2 评价级别在GB/T18905. 5的附录B(资料性附录)巾描述了评价级别的选择准则。在本模块巾，针对不同的方面(如安全性、经济性，)，特性测量的临界性会影响评价准确性的定义，执行的测量数量的定义，_&拟采用的技术。确定评价级别的问题是t若功能性不能满足需求，会存在什么问题?下表指出每个级别的级别和条件，考虑如下方面=-二一安全性;十-经济性;一一保密性;-一环境。级别的i主择方式是通过选用比分析每个方面得到的级别更高的级
14、别。级jJlJ 安全性经济性保密性环境i在许多人伤亡财政危机(公司不能对战略性数据和业不叮恢复的环境A 生再)务的保护损害一寸一i威胁人的生命巨大经济损失(公司对关键性数据和业B |可恢复的环境损害被兼并)务的保护C 对财产有破坏，有少重大经济损失(公司针对出错风险的il局部污染数人受伤害受影响)保护l 对财产奋小的损害，J) 轻微经济损失1没有具体的风险对人没有危险一一一C. 1.3 技术下面的表格说明f评价功能性所采用的评价技术，从选定级别所在行开始，宦至末行为止;也就是说，若选定的评价级别是13，则从B级到D级的技术均适用于此评价。评价功能性的技术A级形式化证明目前在A级尚不存在评价功能
15、性的相应技术日级部件测试(白盒测试)C级评审、代码检查l】级功能性测试(黑盒测试)下面是表中所示技术的初步描述。形式化证明490 GB/T 18905.6-2002/ISO/IEC 14598-6 ,2001 最一般的程序证明的方法是归纳断言。目的是开发评价所用的有关软件部件的一组定理。该方法先写出有关软件部件的输入条件和正确结果的断言。独立证明是必须的吨以显示程序总会终止。其他的证明方法有谓词变换，子目标归纳，计算归纳，结构化归纳，中断断言等。将来该评价模块会扩大到覆盖该评价级别，但是目前，尚不能在该级别测量功能性。部件测试每个软件部件都针对需求加以测试。同时，对完整地集成软件部件加以测试。
16、自盒测试该技术允许检验软件部件的内部结构:测试者从对程序逻辑的检验中导出测试数据。自盒测试是关于测试用例执行或覆盖程序逻辑(源代码)的程度。有效的覆盖准则是语句覆盖g即要求程序中的语句要至少被执行次。更严格的逻辑覆盖准则是路径覆盖、分支覆盖、条件覆盖、分支/条件覆盖和多条件覆盖。评审有关软件部件.所有的相关文梢的叫视检查/分析的过程。代码审查指阅读或可视性检查软件部件。目标是发现差错，而不是寻找差错的解决方法。伺是此技术不能发现高级差错，如设计中的差错。代码审查被看作是基于计算机审查如代码静态分析的辅助审查。检查表评审活动基于U定义的检查表，该检查表允许有少数主观的活动被重复u检查表中的问题必
17、须尽可能简单;问题目标必须是基本信息。检查表的作用是基于应用经验进行修订、集成和删减。代码的静态分析通过分析源代码可减少软件中差错的存在(或可能)。静态分析的种类理是控制流，其中源代码被细分成段，并且检查各段间的关系，以验证不存在不能执行的段，或者不存在不能到达停止状态的路径。分析的另一种类型涉及调用图，或软件系统的结构，描述所有软件单元的嵌入情况。功能测试这是试图发现软件产品与它的外部规格说明之间的差距的过程。分析规格说明并导出-系列测试用例。妥善定义测试用例并采用特定的技术和方法(等价类划分、边界值、分析、因果图、差错猜测方法等)都是很重要的。黑盒测试把软件视为黑盒子，即不用关心程序的内部
18、行为和结构。测试者仅对找到程序不根据其规格说明运转所处的环境感兴趣。如果不存在充分的细致测试，则有必要定义充分的测试用例。c, .4 适用性本评价模块的范围是确定软件产品评价的功能性测量。本评价模块在两类条件出现时适用有关评价过程需求的条件=当该特性在评价时评价过程的具体需求得到满足时适用。有关对评价的文档输入的条件:适用于评价过程的文挡编制输入的可用性。评价过程的需求:功能性的软件需求适合性应把所有功能需求编成文档;应在文档中描述产品的硬件结构，应在文档中描述产品的软件结构;应定义所有输入、处理和输出z191 GB/T 18905. 6-2002/ISO/IEC 14598-6 :2001
19、应明确标识交给实验室进行评价的软件部件为评价中的软件部件:应标识所有软硬件的测试语求;一应把执行的测试结果编成文档:一一应充分规定测试的规格说明;对于功能性需求.所有设t部件应是可追踪的:一一应描述每次测试的软硬件环境;一-准确性z程序和数据本身和在文档中都没有矛盾z在软件文档中提及的所有功能应可完整而正确地执行。安全性应定义安全性需求:应确定所有的安全性威胁、安全性目标和安全性实施功能;一-安全性实施功能应达到安全性目标。注2上述安全性需求需要与评价中的软件产品的特定需求结合起来。对评价的文档输入z适用于对评价过程的文挡输入的可用性下表描述了对每个评价级别的评价过程所需的文档或部件。同时，该
20、表也指出了在通用软件生存周期内，评价模块何时可用。在表中，所有对某一等级所规定的内容对其他较低等级也有效。需要的软件部件.文档适用的软件生存周期阶段评价的需求等级A软件需求评审报告、软件需求验在所有软件生存周期阶段不适用证报告、需求测量报告、软件设汁评审报告、软件设计验证报告、设计测量报告、用户文档评申报告、软件规格说明方法和工真的说明、设计方法和工具的说i明、编程语言和编译程序的说明 等级B程序评审报告、程序验证报告、在整个软件生存周期阶段在测试活动(7)中与开发者的程序评审报告、程序测量报告、l合作.在机器码执行时目标环程序测试i十划、程序测试报告、境的可用性.在评价环境和单兀测试计划、单
21、兀测试报告、目标环蜻之间信息改变后的系统需求分析、系统规格说明和可用性设计、系统测试计划、配置管理l I划、配置管理报告、质量保证计划、质量保证报告等级C源代码、编程语言和编译程序的软件开发阶段之后C语言(6 )编写的源代码，评审说明、软件需求规格说明(川、软过程中和汗发者的合作件设计说明、系统评审报告、系统验证报告、系统测试计划、系统测试报告等级D可执行的产品(1 )、产品说明产品交付之前(2)、用户于册(川、系统子册、测|试用例(4)(1) 指在评价环境中运行产品，或有权使用可能运行产品的目标环境。492 G/T 18905. 6-2002/ISO/IEC 14598-6 ,2001 (
22、2) 产品说明是用户期塑从产品中了解的信息汇总。可采用产品覆盖图表、用户需求或其他信息形式。(3) .用户手册是如何利用软件产品的种信息汇总。它也口I采用交豆信息的形式，有或没有书面支持。(4) .测试用例包括测试数据和测试结果。评价过程将利用这些信息但并不限于这些信息。(们软件需求规格说明指基本需求的汇总z功能需求、软件性能设i的约束及其外部接口。(6) 对源代码语言的限制是出于对具体语言的语法分析(或预编译程序或解释程序)的有效性。它是一种临时限制，当实验宰能处理一些相关的语法分析时扩大到其他i语吾言(7) 此处的开发者.是生产软件守产品的组织气。对表中所列文档的详细说明，请参阅GB/T1
23、8905.50 C.2 参考文献 C.3 术语和定义 C.4 输入和度量C. 4. 1 对评价的输入下面给出每个评价等级的最小输人文档。有关文档内容的更详细的信息，参见GB/T18905. 5，软件工程产品评价第5部分:评价者用的过程(於)。文档标题为指示性的;它们可能随开发环境中内部/标准文挡而更改。需要在(祷)中描述的内容宜采用类似的文梢加以集成与描述。这是种有用的交互引用指明进行评价时在何处需要这些信息。评价等级A的输入软件需求评审报告、软件需求验证报告需求测量报告、软件设计评审报告、软件设计验证报告、设汁测量报告、用户文档评审报告、软件规格说明方法和工具的说明、设计方法和I具的说明、编
24、程语言和编译程序的说明。程序评审报告、程序验证报告、程序评审报告、程序测量报告、程序测试计刷、程序测试报告、单元测试计划.单元测试报告、系统需求分析、系统规格说明和设计、系统测试计划、配置管理计划、配置管理报告、质量保证计划、质量保证报告。源代码、编程语言和编译程序的说明、软件需求规格说明、软件设计说明、系统评审报告、系统验证报告、系统测试计划、系统测试报告。可执行的产品、产品说明、用户手册、系统手册、测试用例。评价等级B的输入程序评审报告、程序验证报告、程序评审报告、程序测量报告、程序测试计划、程序测试报告、单元测试计划、单元测试报告、系统需求分析、系统规格说明和设计、系统测试计划、配置管理
25、计划、配制管理报告、质量保证计划、质量保证报告。源代码、编程语言和编译程序的说明、软件需求规格说明、软件设计说明、软件评审报告、系统验证报告、系统测试汁划、系统测试报告。可执行的产品、产品说明、用户于册、系统于册、测试用例。评价等级C的输入源代码、编程语言和编译程序的说明、软件需求规格说明、软件设计说明、系统评审报告、系统验证报告、系统测试计划、系统测试报告。493 GB/T 18905. 6-2DD2/ISO/IEC 14598-6: 200 1 J执行的产品、产品说明、用户手册、系统手册、测试用例。评价等级D的输入可执行的产品、产品说明、用户手册、系统手册、测试用例。C. 4. 2 数据元
26、素从输入文档中提取的信息有两种类型s有关评价过程的信息，例如，需求列表;有助于理解系统的信息。第一类信息是评价过程的数据;该类数据在下要IJ每个利用的度量中加以描述。第二类信息与评价无关;它由开发者提交给评价者的各种非正式文档构成;它是评价文档的一部分(例如，传真、邮件。这些文档应由开发者随其他文挡(即，测量活动的工作报告)一并维护。4.2条数据在本评价模块的通用等级中定义。对于较底等级的评价模块.就是说，度量(故障密度)的评价槟块，宜在本段描述得更详细和更精确。C. 4. 3 度量和测量下面将功能性分解为子特性，并指出了评价每个子特性所用的度量e依从性度量(项目)软件开发标准的符合率tf确采
27、用相关软件开发标准规则的数目与项目开发标准的规则总数之比口(项目)文档标准的符合率正确采用相关项目文挡标准规则的数目与项目文档标准的规则总数之比。数据格式的标准化率己标准化数据格式数与未标准化的数据格式数之比。字符的标准化率己标准化的图形字符和控制字符数目与未标准化的两种相应字符数目之比。适合性度量功能可用率用户有效处置的功能与规定的功能总数之比。功能规格说明的更改率投入运行(运行测试后必须被更改(更改包括增加、修改和删除)的功能数目与规定的功能总数之比。注:规定的功能是已经定义的需求规格说明中的功能，或由可操作软件提供的功能，或在用户于册中所描述的用户可用的功能。输入输出定义的精确率明确并且
28、正确定义的输入输出数据的数目与输入输出数据总数之比。项目文格化比率随产品可用的项目文档数目与所需项目文档总数之比。产品文档化比率随产品可用的产品文档数目与所需产品文档总数之比。准确性度量有效数字率对要求特殊精度的数据项，己实现的有效数位与所需有效数位之比。编码量比率494 GB/T 18905. 6-2002/ISO/IEC 14598-6: 200 1 实际的编码量与所需编码量之比。正确率已达到所需精度的数据与期望数据之比。1i.操作性度量可通信率与网络通信标准匹配的网络通信设备的匹配率。系统与所有交军操作的系统的一般技术词汇的使用率。数据格式的匹配率与涉及的其他交互操作的系统匹配的数据格式
29、的民配率。字符匹配率与其他交互操作的系统匹配的图形字符和控制字符的匹配率。安全性度量软件访问控制率对软件未经授权的访问数与尝试总数之比。数据访问控制旦在对数据未经授权的访问或更改与尝试数之比。数据加密率己加密数据数H与未加密数据数目之比。访问率已有访问史的机密性信息记录与所有的机密信息记录之比。访问历史包含的信息是何人、何时及访问过哪些机密性信息记录。数据损坏运行期间数据损坏的频率。测出的异常操作率测到的非法操作数与输入的非法操作数之比。C.5 结果的解释C. 5. 1 测量的映射功能性的每个子特性的评价尺度与肯定回答预检问题的画分比相关(见号|言人每个子特性的期望值和相关的等级值见下表。每个
30、子特性的等级值是对功能性特性评价公式的输入。依从性适合性准确性:!L操作性安全性期望值肯定回答多于25%肯定回答多于70%肯定回答多于70%肯定回答多T70%|肯定回答多于70%额定值依从性的评价值适合性的评价值准确性的评价值互操作性的评价值安全性的评价值|!(差0.0.25J 0.0.70J 0.0.70J 0.0.70J 0. .口.70J 卜-2(合格)JO. 25. .口.50_ J. 70. o. 80J JO. 70. O. 80J 丁O.70. O. 80 J 0.70. O. 80J 3(良好)JO. 50. .口.75 J JO. 80. O. 90J JO. 80. 0.9
31、0= JO.80. 0.90 0. 80. O. 90汀卜一4(优秀JO.75.1J JO.90.1J 日.90. 1J JO. 90. lJ JO. 90. 1 J 495 GB/T 18905. 6-2002/ISO/IEC 14598-6:2001 根据予特性的等级值，功能性的公式如F。功能性的值为:V( = 2:Vsc I / n.c 。其中n.c等于5。C. 5. 2 报告评价结果应编制成评价报告，其结构和内容应符合GB/T18905. 5(附录A)c 下面总结了所要求的评价报告范本的各章条内容。第1章标识评价报告的这一章包含有关所执行评价的标识信息。评价者的标识-评价者组织的名称g
32、一评价者组织的地址:执行评价的地点(若与上述地址不同); 一一负责评价的人员的姓名。评价报告的标识报告的唯-标识(例如，序号): 报告的页数。请求者的标识请求者组织的名称:一一请求者组织的地址:软件产品供方的名称(若与t述名称不同h软件产品供方的地址(若与上述地址不同)。第2章评价需求评价报告的这一章应包含评价需求z产品应用领域的一般描述:一产品用途的般描述;质量需求和产品的评价信息列表，可能包括质量特性和评价等级的引用。第3章评价规格说明评价报告的这章应包含评价规格说明:一一评价的范围，指产品说明;在评价需求中要求的信息和产品部件的信息之间的相互引用;一二测量和验证规格说明;测量和验证规格说
33、明与评价需求间的映射。第4章评价方法本章应包括用于执行评价的评价方法的文椅。这里所指的每种评价方法，应提供已采用该方法的产品部件的标识。第5章评价结果评价报告的这一章应包括评价结果2一一评价结果本身;496 中间结果或必要时的解释决定;对评价期间所用工具的引用G气，GB/T 18905. 6-2002/ISO/IEC 14598-6: 200 1 一个评价报告可包括多个评价模块的结果，在这种情况下，报告的结构如下2.第1章标识第2章评价需求第3章评价规格说明第4章A评价模块XXXXX的评价方法.第5章A评价模块XXXXX的评价结果.第6章H评价模块YYYYY的评价方法.第7章H评价模块YYYY
34、Y的评价结果. . . . . . . . . 497 GB/T 18905. 6-2002/ISO/IEC 14598-6 :2001 附录D(资料性附录)评价模块的实例一一易用性和使用质量信息技术软件产品评价评价模块z易用性和使用质量D.O 前言和引言前言本评价模块根据ISO/IEC926-标准，并用ISO9211-1的原理测量使用质量。引言本评价模块通过评价使用产品的结果，给出了评价使用质量的原则，同时提供了在模拟环境中用户执行典型任务的典型例子。D.1 范围D. 1. 1 特性本评价模块规寇如何评价ISO/IEC9126-1中所寇义的三种使用质量特性z有效性在规定的使用环境内，软件产品
35、使用户准确、完全地达到特定目标的能力。生产率z在规定的使用环境内，软件产品使用户耗费与有效性相关的合适的资源量的能力。满意度:在规定的使用环境内，软件产品满足用户的能力。注:ISOjlEC 9 126-将安全性也定义为一种特性.但安全性不在中二评价模块的范围内uD. 1.2 评价等级本评价规程能提供对三种使用质量特性的准确估计。其准确度依赖于评价环境对使用环境模拟的近似程度，及每个被评价的用户组中的用户数。为了获得可靠的结果，宜至少在实际使用环境中评价8个用户。D. 1.3 技术某个用户组中的代表用户尝试使用模拟环境中的产品来达到代表任务的目的，而且无需任何帮助，除非使用实际工作环境中的产品。
36、用户也院填满意度调查问卷。D. 1.4 适用性评价模块适用于任何组成系统的组成部分的产品，用户与该系统相互作用以达到任务目标。为保证或确认质量，在开发、获取或运行期间采用适用性。为获得使用质量是否能得到满足的指示，在开发中评价模块可用于评价仅有3至4个用户的早期原型。在获取期间，评价模块能提供产品适合期望中的工作环境的保证。在运行期间，评价模块能建立基线值.以与今后的产品加以比较，并指出需要改进哪个产品属性。D.2 参考资料1J IS 924111:1998 配有可视显示终端(VDTs)的办公环境的功放学需求第11部分:易用性指南。2J Macleod M ,Bowden R.Bevan N和
37、Cursonl(1997) ，music性能测量方法，行为和信息技术，16 0 3J Brooke (1996). SUS: Aquick and dirtyusability scale. 1n Usability Evaluation in industry. Taylor and Francis，见http:/www.redhatch. co. uk/sus. html 以JLewis ,. R (1 995) , IBM计算机易用性满意问卷z使用中的心理测试评价和使用说明。人机交互的国际期刊。498 GB/T 18905, 6-2002/ISO/IE 14598-6:2001 5J K
38、irakowski.J. (1996)。软件易用性测量库存2背景和用法。收入:p , Jordan. B Thomas, &. B Weerdmeester，工业中的应用性评价。Taylor&, France. UK。参见http:/www.ucc.ie/hfrg/questionnaire/ sumi/ index. html 0 6J Shneiderman.B. (1998)。设计用户接口，Reading.MA. Addison-Wesley publishing COo参见ht今tp: / / www. C5. umd. edu/ projects/hci/Research/ 1994
39、/ qus. html o D.3 术语和定义使用环境(原文):用户、任务、设备(硬件、软件和资料)以及产品使用的物理和社会环境。ISO9241-11J 用户z与产品交互作用的个人。lSO9241-11J 目标2预期的结果。ISO9241-11J 任务z达到某一目标所需的活动。ISO9241-11J D.4 输入和度量D.4.1 评价的输入D. 4. 1. 1 产品部件g工作原型评价工作原型(包括可执行的代码和用户文档)。D.4. 1. 2 产品倍息s使用环境要求对产品使用的预期环境加以定义，包括基本特性和预期用户组的能力，他们的目标、任务及预期的技术和支撑环境.D. 4. 1.3 支持信息:
40、评价环境评价的环境是有关执行任务条件的规格说明。宜基于使用的预期环绕。宜提供下列信息:一-一评价所用的方案和任务目标;用于评价的配置，包括硬件配置、操作系统，并且如果产品基于浏览器，则使用浏览器;-一若产品有一个基于可视接口的屏幕时的显示设备，包括屏幕大小，监控器分辨率及使用的大小和字型;一若产品有基于打印的接口时的介质的大小和打印的分辨率;若产品有音频接口时的音频位和音量设置;一一一若产品有人机接口时的手工输入装置(键盘、鼠标、游戏棒等); 进行评价的环境、装置或宅间类型。例如:配置成模拟隔间办公室的易用性实验室，会议室，家庭办公室，家庭娱乐房，制造平台p?二十有关评价参与者的信息s人员统计
41、数据，包括年龄、性别和一些特需数据g如何选择参与者和他们是否有相同的基本特性和作为预期用户的能力。在评价报告中宜注明评价环境与预期使用环境之间的任何已知的差别。D.4.2 敛据元素D. 4. 2. 1 任务时间每个用户完成任务花费的总时间(不包括暂停)。D. 4. 2. 2 任务输出每个用户产生的任务结果的具体表示(例如数据、文字记录或用户对问卷的回答)0 0.4.2.3 满意度调查结果完成的满意度调查问卷。注使用标准化测量提供较易解释的数据。标准问卷包括SUS3、PSSUQ4、SUMI5和QUIS6J.0.4.2.4 遇到的困难499 GB/T 18905. 6-2002/ISO/IEC 1
42、4598-6: 200 1 通常适用于提供标识用户碰到的问题的附加定性数据，这些问题因使用质量的困难所引起。也可包括为改进使用质量而变更产品的建议。D.4.3 度量和测量D. 4. 3. 1 有效性有效性是用户能否准确而全面地达到目标的一种测量。官并不考虑如何达到目标.只考虑是否达到目标。有效性宜通过任务目标已经达到的程度来测量。一种可能的度量是完全达到其目标的用户所占的百分比。如果达到部分目标(例如，通过不完全的或次优的结果)，那么更合适的度量是平均达到目标的程度，根据特定的准则，得分范围为OlO%。在某些情况下，不能改正的关键性故障的用户的百分比国I能是重要的。D. 4. 3. 2 生产率
43、针对资源消耗量，生产率关系到得到的有效性级别。效率通常由完成任务的平均时间来评估。效率也可能关系到其他资源(例如，使用总成本)，或相对不太重要(例如，某些消费应用)。任务时间是效率的总的测量。当然，用户完成任务花费的时间越少，则任务挺费的资源越少，产品就越好。效率作为奋效性与时间，它的测量给出了一个工作效率的测量，并且对于相同的用户组和任务，当比较不同的产品时是有用的。D. 4. 3. 3 满意度满意度是对用户使用产品的反映的评估，宜使用标准问卷来测量。0.5 结果的解释D.5. 1 测量的映射D.5. 1. 1 有效性有效性以百分比来测量。有效性判寇准则依赖于评价等级和商业目标的卒质。D.5
44、.1.2 生产率生产率通过任务时间或有效性与任务时间来测量。效率判定准则依赖于评价等级和商业目标本质。D.5. 1. 3 满意度满意度判定准则通过与相关产品先前结果进行比较来设置，或通过工业标准提供的数据库的问卷的比较来设置。D.5. 1. 4 测量的解释D.5.1.5 准确性报告的所有度量宜给出均值和均值的标准差。对值之间差异的任何要求宜说明其非偶然发哇的概率。0.5. 1. 6 解释每种测量都应在具体的使用环境I户，对照使用质量的需求来解释。把布效性和满意度的打分组合起来通常是元意义的。0.5.2 报告报告宜有下列内容:产品的目的z产品用于什么，产品旨在为用户做什么;牛评价的对象，和待测的
45、所有特定目标倍;二一被评价的用户组期望的基本特性和能力;一一评价环境:执行任务时的条件，被评价的环埃及期望的使用环境之间的任何已知的差别:评价设计z用户组，给出的任务，其他独立的变量和所采用的测量3500 GB/T 18905 6-2002/ISO/IEC 14598-6 ,2001 规程s事件的序列z任务说明书:结果(宜包括图表); 一用户碰到的困难和对产品的更改建议(可选h解释。D.6 应用规程D.6. 1 所需资源在人为因素评价中，具备专业知识或技能的评价者z一一一评价者的最小工作量约为=策划tl3人日，评价2人日，分析和撰写报告2人日:值得使用易用性实验室或由视频远程监督交互作用的设施
46、(但不是基本的)。D. 6. 2 评价指示评价的目的是帮助此报告的读者决定产品是否具有特殊用户、任务和工作环境的使用质量。评价的设计宜基于对预期的使用环境的模拟。宜详细报告评价和结果，使读者能够判断结果与用户自己、任务和工作环境的需要的相关性。下列指南有助于确保评价规程尽可能接近真实的使用环境:评价报告需要澄清产品用于哪个用户、任务和工作环境，以及在评价中实际模拟这比特性的程度:-任务使用说明宜告诉用户他们需要获取什么，不给出使用哪些产品特征的线索;为使真实的用法有代表性.评价状态宣尽可能自然。这表示可模拟转移注意力因素或其他工作环境。评价者tOL尽可能不引人注目(最好另开房间，远处观察):
47、在评价期间，参与者不宜自言自语;不宜给参与者任何暗示或辅助，实际用户可提供的机制(如文档或电话咨询/服务台)除外。-作为用户组代表的每类用户样本中，宜从足够多的用户中获得数据。考虑到在评价巾参与者通常会有变化，已发现从每个用户组中最好找出至少8个参与者来评价。宜尽量采用测量来建立接受准则或在产品间进行比较E这意味着该测量宜是已知值的计数项。501 GB/T 18905. 6-2002/1SO/IEC 14598-6: 200 1 参考文献IJ ISO/IEC指南2标准化和相关活动通用词汇2J GB/T 15481-2000 检测和校准实验室能力的通用要求3J ISO/IEC 9126-2软件工程产品质量第2部分z外部度量4J ISO/IEC 9126-3软件工程产品质量第3部分=内部度量5J ISO/IEC 9126-4软件工程产品质量第4部分z使用质量的度量,02
