GB T 25000.51-2010 软件工程 软件产品质量要求与评价（SQuaRE）商业现货（COTS）软件产品的质量要求和测试细则 软件工程 软件产品质量要求与评价（SQuaRE） SQuaRE指南.pdf

1、ICS 35.080 L77 道B中华人民=lI二-、不日国国家标准软件工程GB/T 25000.51-2010/ISO/IEC 25051 :2006 代替GB/T17544-1998 (SQuaRE) 软件产品质量要求与评价商业现货(COTS)软件产品的质量要求和测试细则Software engineering-Software product Quality Requirements and Evaluation CSQuaRE)-Requirements for quality of Commercial Off-The-Self CCOTS) software product and

2、 instructions for testing CISOjIEC 25051: 2006 , IDT) 2010-09-02发布2011-02-01实施数码防伪中华人民共和国国家质量监督检验检夜总局中国国家标准化管理委员会发布G/T 25000.51-201 O/ISO/IEC 25051 : 2006 目次前言.m引言.凹1 范围2 符合性.2 3 规范性引用文件.2 4 术语和定义.2 5 COTS软件产品的要求.6 测试文档集要求.8 7 符合性评价细则.附录A(资料性附录)源于其他标准的术语和定义.14 附录B(资料性附录)COTS软件产品在业务或安全性攸关的应用系统中的应用指南1

3、6附录C(资料性附录)如何使用本标准参考文献.20 I GB/T 25000.51-201 O/ISO/IEC 25051 : 2006 前言本标准等同采用了国际标准ISO/IEC25051: 2006(软件工程软件产品质量要求和评价(SQuaRE)商业现货(COTS)软件产品的质量要求和测试细则)(英文版)和ISO/IEC25051: 2006技术勘误1.2007，并在相应页面空白处用11 表示。相对于ISO/IEC25051: 2006的引言，本标准作了一些编辑性修改。本标准代替GB/T17544-1998(信息技术软件包质量要求和测试。本标准与GB/T17544-1998的差异如下:a)

4、 GB/T 17544-1998等同采用ISO/IEC12119: 1994，由于ISO/IEC12119: 1994被修订为ISO/IEC 25051 :2006，因此新版标准等同采用ISO/IEC25051: 2006; b) 新版标准的结构作了调整和修改，GB/T17544一1998的篇幅共4章3个附录，新版标准共7章3个附录和l个参考文献;c) 新版标准的内容也作了重大修改一一新版标准的适用范围作了扩充。术语部分作了增删，新版标准的第5章与老版标准的第3章基本上是一致的，只是原3.3的名称程序和数据改为新版5.3的软件质量要求。但新版标准与GB/T16260更紧密相关。对软件产品的要求

5、基本上是依据GB/T16260.1一2006来表述的。新版标准的第6章相对于老版标准的第4章来说，变化较大，新版标准删去了测试活动，主要是针对测试文档，特别是测试计划、测试规程、测试报告的编制作了要求。新版标准增加了两章内容，即第2章符合性和第7章符合性评价细则。第2章说明了COTS软件产品符合本标准的条件。第7章是规定了就符合性如何评价COTS软件产品以及如何编制符合性评价报告。新版标准的附录部分也作了较大改动，删去了老版标准的产品描述的例子的附录，增加了用系统中的应用指南和如何使用本标准两个附录。本标准的附录A、附录B、附录C均为资料性附录。本标准由全国信息技术标准化技术委员会提出并归口。

6、本标准起草单位:中国电子技术标准化研究所、上海宝信软件股份有限公司、上海计算机软件技术开发中心、中国航天科技集团软件评测中心、北京跟踪与通信技术研究所、浙江省电子产品检验所、广东省电子电器产品监督检验所、珠海南方软件产品检测中心、辽宁北方实验室有限公司、天津软件评测中心、南昌金庐软件园软件评测培训有限公司、上海市浦东软件园评测中心、苏州软件评测中心、黑龙江省电子信息产品监督检验院、上海鲁齐信息科技有限公司等。本标准起草人z冯惠、王宝艾、杨根兴、丛力群、石柱、许聚常、宣以广、康锋、杨丽春、万方、王欣、齐建华、张雪莉、张露莹、毛淑华。本标准于1998年首次发布。而且GB/T 25000.51-20

7、10/ISO/IEC 25051 :2006 51 商业现货(COTS)软件产品的应用领域不断拓广，其正确的运行对于业务、安全或个人的应用往往至关重要。COTS软件产品是一种打包出售的现货产品，需方对其特征和其他质量没有任何影响。典型情况是，这种软件产品与其用户文档集一起预先包装好出售。包装封面上提供出的信息常常是制造商或营销组织能与需方或用户交流的唯一手段。因此，把实质性信息提供给需方使其能按自己需要来评价COTS软件产品的质量是重要的。由于COTS软件产品可能要在各种环境中运行，并且用户是在没有机会与类似产品作性能比较就作出选择，因此选用高质量的COTS软件产品是极其重要的。供方需要一种方

8、式以确保COTS软件产品给予用户服务信用。些供方可能选择第三方的评价或认证，以协助其提供这种信用。此外，当用户要求确保避免业务或安全攸关的风险时，这种保证可能需要由用户在采购后选用特定的技术来处置。本标准宗旨并不在对COTS规定最低限度的业务或安全攸关的质量要求，不过给出了资料性指南(参见附录B)。GB/17544-1998(idt ISO/IEC 12119: 1994)的制定己支持了这些需要。该标准考虑了定义质量特性的GB/T16260-1996(idt ISO/IEC 9126 :1991 随着时间环境的变迁，GB/T16260-1996已被修订为GB/T16260. 1-2006 (其

9、中包括了诸如使用质量的概念)0 GB/T 16260. 1一2006等同采用ISO/IEC9126-1: 2001.在新的SQuaRE系列标准中:ISO/IEC 9126-1: 2001将修订为ISO/IEC25010。而ISO/IEC12119: 1994已被修订为ISO/IEC 25051: 2006，并克服了ISO/IEC12119: 1994中的一些难点和歧义之处。本标准是GB/T17544-1998的修订版，等同采用ISO/IEC25051: 2006。修订目的之一是为了与SQuaRE系列标准协调一致。N GB/T 25000.51-2010/ISO/IEC 25051 :2006

10、1 范围软件工程软件产品质量要求与评价(SQuaRE)商业现货(COTS)软件产品的质量要求和测试细则本标准适用于商业现货(COTS)软件产品。本标准中缩略语COTS用作形容词，指商业现货的。例:COTS软件产品的例子包括但不限于z文本处理程序、电子表格、数据库控制软件、图形包、以及用于技术的、科学的或实时的嵌入式功能的软件(例如实时操作系统或航空与通信局域网、自动柜员机、货币兑换、人力资源管理软件、销售管理以及诸如Web网站和主页生成器之类的Web软件。本标准规定了za) COTS软件产品的质量要求;b) 用于测试COTS软件产品的包含测试要求、测试用例和测试报告等的测试文档要求;c) CO

11、TS软件产品的符合性评价细则。注:用于测试的文档的汇集称为测试文档集。本标准还包括对安全或业务攸关的COTS软件产品的建议。本标准仅涉及向用户提供产品置信度，即COTS软件产品能按所提供的和交付的说明运行。不涉及生产过程(包含各种活动和中间产品，例如规格说明)。供方的质量体系超出了本标准的范围。本标准的预期用户包括:a) 供方，当:1) 规定COTS软件产品的需求时;2) 宣传其产品特性ISO/IEC9127J时;3) 对照所声称的特性评估其软件产品时;的发布符合性声明ISO/IEC17050J时F5) 申请符合性证书或标志ISO/IEC导则23J时;b) 希望建立第三方认证模式(国际级、地区

12、级或国家级)ISO/IEC导则28J的认证机构;c) 为符合性证书或标志进行测试时应遵循本测试细则的测试实验室GB/T15481J; d) 认可注册机构或认证机构以及测试实验室的认可机构;e) 潜在的需方，其可能:1) 把预期的工作任务要求与现有软件产品的产品说明信息进行比较;2) 寻求已获认证的COTS软件产品;3) 检验要求是否被满足;f) 可从更好的软件产品获益的最终用户;g) 组织z1) 根据本标准的质量要求和方法建立管理和工程环境;2) 管理、改进其质量过程及人事;h) 在安全或业务攸关的应用系统中使用COTS软件产品时，可能要求或推荐使用本标准的法规机构。附录C给出本标准的使用指南

13、。1 G/T 25000.51-201 O/ISO/IEC 25051 : 2006 2 符合性COTS软件产品满足以下条件即符合本标准za) 具有第5章中规定的特性;b) 已按符合第6章要求的测试文档(集)进行了测试;c) 记录测试期间发现的异常情况，并在产品发布前解决这些异常。而且必须修复违背广告宣传的特性声称的异常情况，否则必须取消此种特性声称。如果存在下述两种情况，可认为已知的异常情况是可接受的z1) 该异常情况不违背所声称的特性;2) 供方已适当考虑到该异常情况的性质和对潜在需方的影响，该异常情况看来可忽略不计，并且己保存了有关该异常情况的文档(集)以备日后改进。各子条的建议是可选的

14、。注:为便于符合性评价，本标准的要求是以3级子条方式起草的(编号为X.X. X. X)。资料性注释完善这些子条，可以作为指南。3 规范性引用文件下列文件中的条款通过本标准的引用而成为本标准的条款。凡是注日期的引用文件，其随后所有的修改单(不包括勘误的内容)或修订版均不适用于本标准，然而，鼓励根据本标准达成协议的各方研究是否可使用这些文件的最新版本。凡不注日期的引用文件，其最新版本适用于本标准。GB/T 16260.1-2006软件工程产品质量第1部分:质量模型CISO/IEC9126-1: 2001 , IDT) GB/T 25000, 1 2010 软件工程产品质量要求和评价CSQuaRE)

15、 SQuaRE指南CISO/IEC 25000: 2005 , IDT) 4 术语和定义4. 1 4.2 4.3 下列术语和定义适用于本标准。应用管理职能application administration function 由用户履行的职能，包括安装、配置、应用备份、维护(修补及升级)和卸载。符合性评价报告conformity evaluation report 说明对COTS软件产品实施评价的行为和结果的文档。注:该条改写自GB/T11457 0 COTS软件产品COTS software product 由市场驱动的需要而定义的、通过商业方式提供的、其适用性已经得到各类商业用户证实的商业

16、现货软件。2 注1:COTS软件产品包括:一一产品说明(包括全部封面信息、数据表、网站信息等); 一一一用户文档集(安装和使用该软件必帘的); -一-包含在计算机可感知的媒体(磁盘、只读光盘、可下载的互联网，等等)上的软件。注2:该定义改写自GB/T18905. 4-2002 0 注3:软件主要由程序和数据组成。注4:该定义也适用于可作为分别研制的物品而生产或支持的产品说明、用户文档集和软件，但对于典型的商业费用和许可考虑，该定义也许不适用。GB/T 25000.51-2010/ISO/IEC 25051 :2006 4.4 功能function 软件中一个算法的实现，利用该实现，最终用户或软

17、件可以执行某一工作任务的部分或全部内容。注:功能不一定是最终用户可调用的(例如2数据的自动备份保存)。4.5 产晶说明product description 陈述软件各种性质的文挡，其主要目的是帮助潜在的需方在采购前对该软件进行适用性评价。4.6 需求立档requirements document 包含COTS软件产品要满足的要求或规则的任何组合的文档。例如，这些文档可以是技术报告、标准、针对某类用户的要求列表(或模型需求规格说明)，或者是行政机构或管理机构颁发的条例或法规。4. 7 4.8 4.9 测试文档集test documentation 测试活动特有的文档汇集。测试环境test en

18、vironment 执行测试用例所必需的硬件和软件配置。测试目标test objective 在规定的条件下，待测量的己标识的软件特征的集合，它通过将实际的行为与要求的行为进行比较而测量。注2该条改写自GB/T11457 0 4. 10 4. 11 测试计划IJtest plan 说明预期的测试活动的范围、途径、资源和进度的文档。注:该条改写自GB/T11457 0 测试说明testing description 测试执行条件的说明(即测试规程)。源自其他标准的附加术语和定义参见附录A。5 COTS软件产品的要求5. 1 产晶说明要求注:在ISO/IEC9127软件工程用于顾客软件包的用户文档

19、集和封面信息中，有关封面信息的段落可用作编制产品说明的输入。5. 1. 1 可用性产品说明对于该产品的潜在需方和用户应是可用的。5. 1.2 内容5. 1.2. 1 产品说明应包含潜在需方所需的信息，以便评价该软件对其需要的适用性。5. 1.2.2 产品说明应排除内部的不一致。5.1.2.3 产品说明中包括的说明应是可测试的或可验证的。5. 1. 3 标识和标示5. 1. 3. 1 产品说明应显示唯一的标识。3 G/T 25000.51-201 O/ISO/IEC 25051 : 2006 5. 1.3.2 COTS软件产品应以其名称、版本和日期指称。5. 1. 3. 3 产品说明应包含供方和

20、至少一家销售商、(当适用时)电子商务销售商或分销商的名称和地址(邮政的或网络的)。5. 1.3.4 产品说明应标识该软件能完成的预期的工作任务和服务。5. 1. 3. 5 当由法律或行政机构界定的要求适用于COTS软件产品、而供方想要声称符合于相应的需求文档时，则产品说明应标识出这些需求文档。5. 1.3.6 产品说明应指明COTS软件产品期望在单一系统上供多个并发最终用户使用或供一个最终用户使用，并且应说明在所要求的系统的所陈述的性能级别上可行的最大并发最终用户数。5. 1. 3. 7 当产品说明引证已知的对其他软件的用户可调用的接口时，则应标识出这些接口或软件。5. 1.3.8 产品说明应

21、以适当的引用文档指明COTS软件产品在何处依赖于特定软件和(或)硬件。例如，这种引用可包括:一一一软件和(或)硬件的名称;一一版本;一一特定操作系统。5. 1.3.9 产品说明应陈述是否对运行COTS软件产品提供支持。5. 1. 3.10 产品说明应陈述是否提供维护。如果提供维护，则产品说明应陈述所提供的维护服务。5.1.4 功能性陈述5. 1.4. 1 适用时，产品说明应根据GB/T16260. 1-2006包含有关功能性的陈述，要考虑适合性、准确性、互操作性、安全保密性以及功能性的依从性，并以书面形式展示可验证的依从性证据。5. 1. 4. 2 产品说明应提供该产品中最终用户可调用的功能的

22、概述。5. 1. 4. 3 产品说明应说明所有的关键功能。注2更多的信息参见附录B和GB/T18492 0 5. 1.4.4 当有软件组件的选项和版本时，应予指明。5. 1. 4. 5 对用户功能性的所有已知的限制均应加以说明。例如，这些限制可能是:一一最小或最大值3密钥长度z一一一个文件中记录的最大数目;搜索准则的最大数目;一一最小样本规模。5. 1. 4. 6 当提供对软件的未授权访问(不管是偶然的还是故意的)的预防措施时，则产品说明应包含这种信息。5.1.5 可靠性陈述5. 1.5. 1 适用时，产品说明应根据GB/T16260. 1一2006包含有关可靠性的陈述，要考虑成熟性、容错性、

23、易恢复性以及可靠性的依从性，并以书面形式展示可验证的依从性证据。注:开发者不宜作出可靠性声称的陈述，除非能以服务的数据或其他可验证的数据证实所做的声称。5. 1.5.2 在遇有用户接口出错、应用程序自身的逻辑出错、系统或网络资源可用性引发差错的情况下，产品说明应就软件的继续运行(即是可用的)能力作出说明。5. 1. 5. 3 产品说明应包括关于数据保存和恢复规程的信息。注z指明数据备份由操作系统的功能来执行也是可接受的。5.1.6 易用性陈述5. 1. 6. 1 适用时，产品说明应根据GB/T16260. 1-2006包含有关易用性陈述，要考虑易理解性、易学性、易操作性、吸引性以及易用性的依从

24、性，并以书面形式写出能够证实可验证的依从性证据。4 GB/T 25000.51-2010/ISO/IEC 25051 :2006 5. 1. 6. 2 产品说明应规定用户接口的类型。例如，这些接口可以是:一一命令行;一一菜单;一一视窗;web 浏览器;功能键;一一帮助功能。5.1.6.3 产品说明应规定使用和操作该软件所要求的专门知识。例如，这些专门知识可以是:-一所使用的数据库调用和协议的知识;一一技术领域的知识;一一-操作系统的知识;经专门培训可获得的知识;一一产品说明中己写明的语言之外的其他语言的知识。5. 1.6.4 当该软件能由用户作适应性修改时，则应标识用于修改的工具或规程及其使用

25、条件。例如，使用的条件可以是:-一一参数的变更;计算算法的变更;一一接口定制;一一功能键指派。5. 1. 6. 5 当预防版权侵犯的技术保护妨碍易用性时，则应陈述这种保护。例如，这些防护可以是:一一程序设置的使用截止日期一一拷贝付费的交互式提醒。5. 1. 6. 6 产品说明应包括可访问性的规定标示，特别是对有残疾的用户和存在语言差异的用户。5. 1.7 效率陈述适用时，产品说明应根据GB/T16260. 1-2006包含有关效率的陈述，要考虑时间特性、资源利用性以及效率的依从性，并以书面形式写出能够证实可验证的依从性证据。例如，所陈述的条件可以是:一一系统配置;一-COTS软件产品有效工作所

26、需的资源，例如硬盘空间、随机存储器、视频卡、无线互联网卡等。5. 1.8 维护性陈述5. 1. 8. 1 适用时，产品说明应根据GB/T16260. 1一2006包含有关维护性陈述，要考虑易分析性、易改变性、稳定性、可测试性以及维护性的依从性，并以书面形式写出能够证实可验证的依从性证据。5. 1. 8. 2 产品说明应包括用户所需的维护信息。例如，这些信息可以是:一一监控应用程序的动态性能信息;-一一监控不期望的失效和重要条件的信息;一一-监控运行指示器(如日志、警告屏的信息;一一监控由应用程序处理本地数据信息。5. 1.9 可移植性陈述5. 1. 9. 1 适用时，产品说明应根据GB/T16

27、260. 1一2006包含有关可移植性的陈述，要考虑适应性、易安装性、共存性、易替换性以及可移植性的依从性，并以书面形式写出能够证实可验证的依从性证据。5 GB/T 25000.51-2010/ISO/IEC 25051 :2006 5.1.9.2 产品说明应规定将该软件技入使用的不同配置或所支持的配置(硬件，软件)。注:可以规定不同配置，例如对不同的工作任务、不同的边界值或不同的效率要求。例如，这些系统可以是:一一操作系统;处理器(包括协处理器); 一一主内存规模;一一外存的类型和规模;一一扩展卡;一一输入和输出设备;一一-网络环境;一一系统软件和其他软件。5. 1.9.3 产品说明应提供安

28、装规程信息。5. 1. 10 使用质量陈述5.1.10.1 适用时，产品说明应根据GB/T16260.1-2006包含有关使用质量的陈述，在规定的使用周境中要考虑有效性、生产率、安全性以及满意度，并以书面形式写出能够证实可验证的依从性证据。注:使用质量的陈述主要取决于使用周境。尽管不可能考虑到COTS的所有可能的用户，最好还是能说明典型的预期用户及其预定的用途。例如，使用质量的陈述可以是z一一已审核产品的百分b一一在COTS开发过程中未解决的问题报告或观察项的数量;一一已纠正的或未纠正的用户调查结果。有关效率、有效性和满意度测试的信息参见ISO/IEC25062 :(软件工程软件产品质量要求和

29、评价CSQuaRE)易用性测试报告的通用行业格式。5. 1. 10.2 应给出测试报告的引用文件。注:测试报告的格式在GB/T16260.4中给出。5.2 用户文挡集要求注:ISO/IEC 9127(软件工程用于顾客软件包的用户文档集和封面信息可以用于创建用户文档集。5.2. 1 完备性5.2. 1. 1 用户文档集应包含使用该软件必语的信息。5.2. 1.2 用户文档集应说明在产品说明中陈述的所有功能以及最终用户能调用的所有功能。5.2. 1.3 用户文档集应说明可靠性特征及其操作。5.2. 1. 4 用户文档集应列出所处置的和引起应用系统失效或终止的差错和失效，特别是那些导致数据丢失的应用

30、系统终止的结束条件。5.2. 1.5 用户文档集应给出必要数据的备份和恢复指南。5.2. 1. 6 对于所有关键的软件功能(即失效后会对安全产生影响或会造成重大财产损失或社会损失的软件)，用户文档集应提供完备的细则信息和参考信息。注2更多信息参见附录Bo5.2. 1.7 用户文档集应陈述在产品说明中给出的所有限制。5.2. 1. 8 用户文档集应陈述安装所要求的最小和最大磁盘空间。5.2. 1. 9 对用户要完成的应用管理职能，用户文档集应包括所有必要的信息。5.2.1.10 在用户所完成的应用管理职能的信息中，应包括让用户能验证是否成功完成应用管理职能的信息。5. 2. 1. 11 如果用户

31、文档集分若干部分提供，在该集合中至少有一处应标识出所有的部分。5.2.2 正确性5.2.2. 1 用户文档集中的所有信息都应是正确的。注z用户文档集中的所有信息的正确性都直追溯到权威来源。6 GB/T 25000.51-201 O/ISO/IEC 25051 : 2006 5.2.2.2 用户文档集不应有歧义的信息。5.2.3 一致性5.2.3. 1 用户文档集中的各文档不应自相矛盾、互相矛盾以及与产品说明矛盾。注:5.3. 1. 5中提及软件的一致性。5.2.4 易理解性5.2.4. 1 用户文档集应采用该软件特定读者可理解的术语和文体，使其容易被COTS软件产品主要针对的最终用户群理解。5

32、.2.4.2 应通过经编排的文档清单为理解用户文档集提供便利。5.2.5 易学性5.2.5. 1 用户文档集应为用户学会如何使用该软件提供必要的信息。注z用户文裆集可引用COTS软件包本身包含的或培训等辅助材料中包含的附加信息。5.2.6 可操作性5.2.6. 1 如果用户文档集不以印刷的形式提供，则文档集应指明是否可以被打印，如果可以打印，那么指出如何获得打印件。5.2.6.2 卡片和快速参考指南以外的用户文档集，应给出目次(或主题词列表)和索引。5.2.6.3 对于不常用的术语和首字母缩略语，用户文档集应加以定义。5.3 软件质量要求注:对于失效后会对安全或业务攸关的目标产生影响的软件，可

33、以考虑附录B中的指南和建议。5.3. 1 功能性5.3. 1. 1 安装之后，软件的功能是否能完成应是可识别的。例如，对功能良好的验证可通过如下方式进行z利用所提供的测试用例，或以相应的消息自测试，或由用户开展的其他测试。5.3. 1.2 在给定的限制范围内，使用相应的环境设施、器材和数据，用户文档集中所陈述的所有功能应是可执行的。5.3.1.3 按照用户文档集中所有的陈述，软件的功能应是可执行的。5.3. 1. 4 软件应符合产品说明所引用的任何需求文档中的全部需求。5.3.1.5 软件不应自相矛盾，并且不与产品说明和用户文档集矛盾。例:两种完全相同的动作应返回同一个结果。5.3.1.6 由

34、遵循用户文档集的最终用户对软件操作进行的控制与软件的行为应是一致的。5.3.2 可靠性5.3.2. 1 软件必须按照用户文档集中定义的可靠性特征来运行。5.3.2.2 与差错处置相关的功能应与产品说明和用户文档集中的陈述一致。注z软件不能承担源自操作系统或网络的多种失效的责任。5.3.2.3 在用户文档集中陈述的限制范围内使用时，软件不应丢失数据。注:这种要求即使在下面的情况下也要满足2一一利用的容量高达规定的极限;-一-企图利用超出规定极限的容量;一一由产品说明中列出的其他软件或由最终用户所造成的不正确输入;一一违背用户文档集中明确规定的细则。5.3.2.4 软件应识别违反句法条件的输入，并

35、且不应作为许可的输入加以处理。5.3.3 易用性5.3.3. 1 有关软件执行的各种问题、消息和结果都应是易理解的。例如，借助以下的手段可以达到易理解性z一一恰当地选择术语;一一图形表示;7 GB/T 25000.51-201 O/ISO/IEC 25051 : 2006 提供背景信息;一一由帮助功能解释。注:关于易用性问题，鼓励依据本标准达成协定的各方调查应用1SO9241系列标准最新版本的可能性。特别是宜考虑1SO/1EC9241系列标准的第L2、10至17部分及1SO/1EC25062 (软件工程软件产品质量要求和评价(SQuaRE) 易用性测试报告的通用行业格式。5.3.3.2 软件出

36、错消息应指明如何改正差错或要报告差错向谁联系。例如，这种信息可以是对用户文裆集中某一项的引用。5.3.3.3 软件应以最终用户易于理解的形式提供信息，即以可见易读的文本或图形输出，或以易听的音频输出。5.3.3.4 出自软件的消息应设计成使最终用户易于理解的形式。例如，这些消息可以是:一一确认;一一一软件发出的查询z警告;一一出错消息。5.3.3.5 屏幕输入格式、报表和其他输出对用户来说应是清晰且易理解的。5.3.3.6 对具有严重后果的功能的执行应是可迈的，或者软件应给出这种后果的明显警告，并且在这种命令执行前要求确认。例如，数据的删除和改写以及中断一个过长的处理操作均具有严重的后果。5.

37、3.3.7 借助用户接口、帮助功能或用户文档集提供的手段，最终用户应能够学习如何使用某一功能。5.3.3.8 当遇有执行某一功能其响应时间超出通常预期限度会引起冲突时，最终用户应被告知。5.3.3.9 每一元素(数据媒体、文件等)均应带有产品标识，如果有两种以上的元素，则应附上标识号或标识文字。5.3.4 效率5.3.4. 1 应符合产品说明中有关效率的陈述。例如，当等待响应的时间不合理时，应向最终用户发送消息。5.3.5 维护性5.3.5. 1 应符合产品说明中有关维护性的陈述。例如，缺陷诊断的能力，使能修改的能力。5.3.6 可移植性5.3.6. 1 如果用户能够实施安装，遵循安装文档中的

38、信息应能成功地安装软件。5.3.6.2 对于软件应用程序的成功安装和正确运行，应就产品说明中列出的所有支持平台和系统加以验证。5.3.6.3 当用户能够实施安装、且该软件对己安装的任何部件具有任何共存性约束时，则这种约束应在安装前予以陈述。5.3.6.4 软件应向用户提供移去或卸载所有己安装的部件的方法。5.3.7 使用质量应符合产品说明中有关使用质量的陈述。6 测试文档集要求6. 1 一般要求6. 1. 1 目的6. 1. 1. 1 测试文档集的目的是证实软件与5.3中规定的要求的符合性。其中包含允许作这种证实的全部元素。G/T 25000.51-201 O/ISO/IEC 25051 :

39、2006 6. 1.2 一致性6. 1. 2. 1 测试文档集中的每个文档所包含的信息应是正确的并且是可验证的。6. 1.2.2 测试文档集中的每个文档不应自相矛盾，并且不应与产品说明和用户文档集矛盾。6.1.3 内容要求6. 1.3. 1 测试文档集一般应包含za) 测试计划;b) 测试说明;c) 测试结果(报告)。6. 1. 3. 2 测试文档集应包含组成该汇集的全部文档清单，清单中应包含全部文档的标题及其标识符。6. 1. 3. 3 测试文挡集中的每个文档都应包括:一一标题;一一单一的标识符引用、版本号、发布日期); 一一修改历史，或说明该文档演变的任何其他元素;目次或对内容的说明;一一

40、一该文档正文中引用的文档的标识符;一一有关作者和审查者的信息;一一术语表。6.1.3.4 测试文档集可由一个文档或多个文档组成。6.2 测试计划要求6.2. 1 方法注:未推荐特定的技术或方法。6.2. 1. 1 在产品说明和5.3中提及的所有质量特性均应经测试用例测试。6.2. 1.2 在产品说明和5.3中提及的每个质量特性至少应经一个测试用例测试。注:测试计划可引用任何其他文档，前提是被引用的文档与用户文档集之间存在某种关系。6.2. 1.3 用户文档集中说明的所有功能，以及待完成的任务的代表性的功能组合，均应经测试用例测试。6.2. 1.4 用户文档集说明的每个功能至少应经一个测试用例测

41、试。6.2.1.5 测试用例应能证实软件与用户文档集中的陈述的符合性。6.2. 1.6 当产品说明中提及需求文档时，这些文档应经测试用例测试。6.2.1.7 应指明选作测试用例设计基础的功能分解级别。例如，一个功能可以是:一一用户文档中的一段;一一一个Shell命令z一一人机界面的一个按钮;一一一个语言命令。6.2. 1.8 应指明测试用例的设计方法。例如，可能的设计方法有:一一边界值分析;一一检查表;一一数据流分析;一一故障插入;一一容量测试。6.2. 1. 9 所有安装规程均应经测试用例测试。6.2. 1. 10 在产品说明和用户文挡集中指明的所有操作限制均应经测试用例测试。9 GB/T

42、25000.51-2010/ISO/IEC 25051 :2006 6. 2. 1. 11 对所标识的违反句法条件的输入应经测试用例测试。6.2. 1. 12 如果用户文档集中给出若干示例，这些示例应用作测试用例，但整个测试不应局限于这些示例。6.2. 1. 13 当5.3中的任何要求不适用时，则应说明理由。6.2.2 通过-失败准则6.2.2.1 应指明用于判定测试结果是否证实软件与产品说明和用户文档集的符合性准则。6.2.3 测试环境6.2.3. 1 测试计划应规定要进行测试所需的硬件和软件配置。6.2.3.2 软件应在产品说明中提及的所有的应用配置中测试。注:可采用配置等效性证实。6.2

43、.3.3 测试计划应标识执行测试用例所必要的工具。6.2.4 进度6.2.4.1 测试计划应规定每个测试活动和测试里程碑的进度。6.3 测试说明要求6.3. 1 测试用例说明6.3. 1. 1 对每个测试用例的说明均应包括:a) 其测试目标Fb) 唯一性标识符zc) 测试的输入数据和测试边界;d) 详细实施步骤;e) 系统的预期行为;f) 测试用例的预期输出;g) 结果解释的准则;h) 用于判定测试用例的肯定或否定结果的准则。6.3. 1.2 当有必要提供与测试计划中提供的信息相比对的补充信息时，应陈述环境及其他测试条件(详细的配置和初步工作)。6.3.2 测试规程6.3.2. 1 测试规程应

44、包括:a) 测试准备zb) 开始和执行测试所必需的动作;c) 记录测试结果所必需的动作;d) 停止和最终重新启动测试的条件和动作。6.3.2.2 为提供测试的可重复性和可再现性，测试规程应足够详细。6.3.2.3 在软件被纠正之后，对于所涉及的功能和任何相关的功能，应有一种重新测试的规程。注:说明测试规程可采用伪语言或命令语言。6.4 测试结果要求6.4.1 执行报告6.4. 1. 1 执行报告应包括测试用例结果的全部汇总。6.4. 1. 2 执行报告应证实己按测试计划执行了所有测试用例。6.4. 1.3 对于每个测试用例，执行报告均应包括以下内容:a) 测试用例的标识符;b) 测试执行日期;

45、c) 实施测试的人员姓名和职责;10 GB/T 25000.51-2010/ISO/IEC 25051 :2006 d) 发现的异常情况清单;的对于每一异常情况，要引用相应的异常情况报告。6.4.2 异常情况报告6.4.2. 1 异常情况报告应包括所发现的全部异常情况汇总。如果有的话，还应包括纠正情况和通过再测试的验证情况。6.4.2.2 对于每个异常情况，异常情况报告的说明性部分应包括的如下内容:a) 异常情况的标识符;b) 软件的标识符Fc) 异常情况说明;d) 测试用例中异常情况发生点;巳)异常情况的性质。例:异常情况的性质可以是致命的飞重大的、微小的6.4.2.3 异常情况报告的纠正部

46、分应论证发现的所有异常情况均已纠正。6.4.2.4 异常情况报告的纠正部分应包含每个纠正项的如下内容:a) 纠正项的标识符;b) 纠正的日期zc) 纠正者的姓名;d) 对应于纠正项的修改标识符;e) 纠正项的可能影响;f) 纠正者可能有的评论。6.4.2.5 异常情况报告中经重新测试验证的部分，应证实所有己纠正的功能都具有用户文档集中定义的行为。6.4.2.6 异常情况报告中经重新测试验证的部分应包含每个验证项的如下内容:a) 验证项的标识符;b) 验证日期pc) 验证者的姓名;d) 用于验证的测试用例;e) 验证的结果。6.4.3 测试结果的评估6.4.3.1 关于执行报告和异常情况报告的评

47、估应表明:在所使用的判定测试结果是否在该软件的符合性准则的界限内，所有的期望行为是可获得的。7 符合性评价细则7. 1 通则要求22;27ff町的组成部分的产品说明用户文档集以及所交付的软件，应就其与第5章的l注符合性评价这一术语并不隐含任何技术或工具z测试、确认、验证、评审、分析等。这些细则主要针对第三方评价。第三方可以是根据某种认证模式工作的测试实验室，或是独立于COTS软件产品供方的内部测试实验室。7.2 符合性评价先决条件7.2.1 COTS软件产品项存在对于COTS软件产品的评价，待交付的所有项(见5.2.1.11)以及在产品说明中标识的需求文档(见5.1. 3. 5)均应存在。11

48、 GB/T 25000.51-2010/ISO/IEC 25051 :2006 7.2.2 系统元素存在在产品说明中说明的所有计算机系统的所有组件均应存在，并对符合性评价是可用的。7.3 符合性评价活动7.3.1 产品说明符合性评价实施符合性评价以确定产品说明与5.1的要求的符合性。注2未推荐任何特定的技术或工具。7.3.2 用户文档集符合性评价实施符合性评价以确定用户文档集与5.2的要求的符合性。注z未推荐任何特定的技术或工具。7.3.3 软件符合性评价通过产生符合第6章要求(不包括与异常情况纠正和重新测试验证相关的部分)的测试文档集(6.4.2.3到6.4.2.的来实施符合性评价，以确定软件与5.3的要求的符合性。注:测试文档