1、中华人民共和国国家标准信息技术软件包质量要求和测试发布实施国家质量技术监督局发布前言本标准等同采用了国际标准信息技术软件包质量要求和测试本标准删去了原国际标准的索引部分除此之外本标准在技术内容上与国际标准完全一致本标准的附录附录和附录都是提示的附录本标准由中华人民共和国电子工业部提出本标准由电子工业部标准化研究所归口本标准起草单位电子工业部标准化研究所本标准主要起草人冯惠王宝艾黄明德郑人杰前言国际标准化组织和国际电工委员会是世界性的标准化专门机构国家成员体它们都是或的成员国通过国际组织建立的各个技术委员会参与制定针对特定技术范围的国际标准和的各技术委员会在共同感兴趣的领域内进行合作与和有联系的
2、其他官方和非官方国际组织也可参与国际标准的制定工作对于信息技术和建立了一个联合技术委员会即由联合技术委员会提出的国际标准草案需分发给国家成员体进行表决发布一项国际标准至少需要的参与表决的国家成员体投票赞成国际标准是由信息技术联合技术委员会制定的附录附录和附录均提供参考信息中华人民共和国国家标准信息技术软件包质量要求和测试国家质量技术监督局批准实施范围本标准适用于软件包例如文本处理程序电子表格数据库程序图形软件包技术或科学函数计算程序以及实用程序它规定了软件包要求质量要求针对这些要求如何对软件包进行测试的细则测试细则特别是第三方测试它只涉及要提供的或要交付的软件包不涉及它们的产生过程包括活动和中
3、间产品如规格说明供方的质量体系超出了本标准的范围注某些软件需要附加的要求如安全要求高的软件本标准期望的用户如下在下述情况下使用本标准的供方规定软件包的要求时设计描述产品的格式时评价他们自己的产品时发布符合第号导则的声明时申请合格第号导则证书或标志时希望建立第三方认证模式国际的地区的及国家的第和号导则的认证机构为合格证书或标志而进行测试的测试实验室测试实验室必须遵循测试指令第号导则认可认证机构和测试实验室的认可机构第和号导则评价测试实验室能力的实验室审核员第号导则购买者用本标准规定的内容来比较他们的要求用现有产品的产品描述中的信息来比较期望的工作任务的要求寻求已认证的产品此外检验要求是否被满足用
4、户可以从更好的产品获益定义本标准采用下列定义源自其他标准的定义列于附录以便于引用功能程序中的一个算法的实现利用该实现用户或程序可以执行某一工作任务的全部或部分内容注对于用户来说功能不一定是能访问的如数据的自动备份或存储这里功能的概念比失效故障维护和可靠性的描述中使用的功能概念要窄但比算术和逻辑运算和程序设计语言中定义的要宽需求文档包含由软件包满足的建议要求或规则的任何组合的文档注例子有技术或人类工效标准来自某一组织如市场部技术或用户协会的需求列表或模型的需求规格说明法律或法令产品描述陈述软件包性质的文档其主要目的是帮助潜在的购买者在购买前对产品进行适用性评价注该术语比中的术语系统描述更具体产品
5、描述的目的包括中覆盖信息的目的产品描述不是规格说明但它可用于不同的用途用户文档以打印的或非打印形式得到的文档的完整集合用户文档的提供有利于产品的应用并且是产品的必备部分包文档产品描述和用户文档测试用例测试者使用的文档化的细则其规定如何对某项功能或功能组合进行测试测试用例包括下列内容的详细信息测试目标要测试的功能测试环境和其他条件配置细节和准备工作测试数据过程系统的预期行为维护是系统维护的一部分见其涉及软件包的修改质量要求到包含每个软件包要有产品描述和用户文档的要求产品描述的要求尤其应包含规定信息并且其所有要求的内容是可测试的正确的用户文档的要求包含在软件包中的程序要求和数据要求注关于用户文档程
6、序和数据的要求包含许多一般要求独立于产品描述中的约定但不包括用户希望的所有性质某些性质例如用户文档和程序消息的可理解性和易于浏览按用户的观点这些性质是被公认的然而由于这些性质难于清晰地测试且结果难于再现使得这些性质目前仅作为建议来规定到中的要求按中出现的特性次序来安排如果一个软件包遵循到中所有的要求则该软件包符合本标准建议是可选的通过使用宜这个词来表示注要证明一个产品对到中的要求的符合性可能是困难的或不可能的但是根据第号导则为获得合格证书按照第章来测试包括文档的评审被认为是足够了并且不需要形式证明产品描述每个软件包应有一个产品描述产品描述定义产品产品描述是产品软件包文档的一部分它提供关于用户文
7、档程序以及数据如果有的话的信息产品描述的主要目的是帮助用户或潜在的购买者作出产品是否适用于他们的评价从这一意义说产品描述也是销售信息作为测试的基础见第章对产品感兴趣人们可获得产品描述内容的一般要求产品描述宜是充分可理解的完整的并且易于浏览以帮助潜在的购买者在购买该产品前评价产品对他们自己的适用性产品描述应避免不一致每个术语在任何地方都应有相同的意义产品描述的说明应是可测试的并且是正确的注如果有外部需求文档见本条要求引用外部需求文档中的说明下列到规定产品描述应包含或宜包含的内容它也可包含产品的附加说明标识和指示产品描述的标识产品描述应具有唯一的文档标识它可以有不同于产品描述的命名例如功能描述产品
8、信息产品清单产品的标识产品描述应标识产品产品标识应至少有产品名字和版本号或日期如果在产品描述中提及两个或多个派生版本则每个版本应至少有产品名派生版本名和版本号或日期供方产品描述应至少包含一个供方的名字和地址注名字和地址不必打印有供方的公章即可工作任务产品描述应标识期望的产品能完成的工作任务符合需求文档产品描述可以引用产品应符合的需求文档的内容在这种情况下应标识相关的编辑版本要求的系统应标识将产品投入使用所要求的系统硬件软件及其配置包括制造厂商名和所有部件的类型标识符例如包括协处理器的处理单元主存规格外存的类型和规格扩展卡输入和输出设备网络环境系统软件和其他软件对于不同的工作任务不同的边界值或不
9、同的效率要求可以规定不同的要求系统如果先前特定的硬件或软件产品已经标识则语句如果兼容或任何其他可以出现在产品描述中如果产品的先前版本已经标识则语句如果兼容或升级的版本可以出现在产品描述中语句自版本至少到版本可以出现在产品描述中而自版本不能出现在产品描述中注由于版本的出现语句自版本将变得不正确因为对于版本软件包操作将会失败与其他产品的接口如果产品描述引用了其他产品接口则应对所引用的接口或产品进行标识要交付项应对要提供的产品的每个物理部件进行标识特别是所有打印的文档和所有的数据媒体应说明提供的程序形式如源程序目标模块或加载模块注媒体格式如磁盘格式不必指明因为可能的格式集合是由要求的系统决定的见安装
10、应说明是否安装是否能由用户来完成支持应说明是否提供对产品操作的支持维护应说明是否提供维护如果提供维护应说明具体包括什么功能说明功能概述产品描述应概述产品的用户可调用功能需要的数据所提供的设施对每个所论及的功能尤其是选项和变量是否是下列内容的一部分应清晰地说明产品功能的在产品描述中完整描述的产品扩展功能的在产品描述中所引用的产品扩展功能的无保证的补充功能的注不必论及每个用户可调用功能不必给出功能如何调用的每个细节边界值如果由于产品特定的边界值致使产品的使用受限则应提供这些边界值例如最小或最大值键的长度文卷中的记录的最大数目检索准则的最大数目最小样本大小当不可能提供固定的边界值时例如边界值取决于应
11、用问题的类型或输入数据时则应说明这些限制可以提供允许的值组合更具体的信息写入用户文档安全如果提供的话产品描述中应包含有关防止对程序或数据非授权的无意访问或蓄意访问的手段可靠性说明产品描述应包含数据存储规程的信息注例如只要说明使用操作系统进行备份就可以了应描述保证产品的功能能力的附加性质例如检验输入的合理性防止由于用户的错误而产生的严重后果出错恢复易用性说明用户界面应命名用户界面的类型例如命令行菜单窗口功能键及帮助功能要求的知识应规定应用该产品所要求的专门知识例如技术领域的知识操作系统的知识经过专门培训可获得的知识除了已写入产品描述中以外的其他语言知识应说明用户文档和用户界面包括出错信息和可视数
12、据所使用的所有自然语言软件包本身和该产品描述中所涉及的所有其他产品的有关内容都应加以说明注这种要求超出了的的规定在那里关于所用的语言规定是可选的适应用户的需要如果产品能被用户作适应性修改则应标识这种修改的工具和修改工具使用的条件例如参数的改变计算的算法改变功能键的分配防止侵权行为如果防止侵权的技术保护可能有碍于软件的使用则应说明这种保护例如防止拷贝的技术保护程序设置的使用截止日期相互约定的付费拷贝使用效率和用户满意度产品描述可以包括关于使用效率和用户满意度的数据注这样的数据可遵循的指南效率说明产品描述可以包含产品的时间行为的数据诸如在指定条件下例如系统配置和负载分布关于给定功能的响应时间和吞吐
13、率可维护性说明产品描述可包含可维护性说明可移植性说明产品描述可包含可移植性说明用户文档完整性用户文档应包含产品使用所需信息在产品描述中说明的所有功能以及在程序中用户可调用的所有功能都应在用户文档中加以完整地描述用户文档中应再次说明产品描述中给出的所有边界值如果安装能由用户来完成则用户文档应包括安装手册该手册应包含所有必要的信息见安装手册宜说明一次安装的最小文卷和最大文卷如果维护能由用户来完成则用户文档应包括程序维护手册该手册应包含各种有关该软件维护所需要的信息正确性用户文档中的所有信息应是正确的不能有歧义和错误的表达一致性用户文档自身内容或相互之间以及与产品描述之间都不应相互矛盾每个术语的含义
14、宜处处保持一致注程序和数据的一致性在中论及易理解性用户文档对于正常执行其工作任务的一般用户宜是易理解的例如通过使用适当的术语图形表示详细的解释以及引用有用的信息源来表现易浏览性用户文档宜易于浏览以使相互关系明确每个文档应有目录表和索引表如果文档未提供印刷本则应指明打印过程程序和数据功能性安装如果安装能由用户来完成则按照安装手册中的信息应能成功安装产品描述中指出的每种所要求的系统对于程序的安装应是充分的安装之后程序能否运行应是可鉴别的例如使用提供的测试用例或通过相应信息的自检功能表现用户文档中提到的所有功能应是可执行的程序应按照用户文档中的给定形式在规定的边界值范围内使用相应的设施性质和数据执行
15、其功能注由于在产品描述中涉及的所有功能也应出现在用户文档中这些功能更应是可执行的正确性程序和数据应与产品描述及用户文档中的全部说明相对应为完成工作任务程序功能应以正确的方式执行特别是程序和数据应符合产品描述所引用的任一需求文档中的全部需求一致性程序和数据其本身不能自相矛盾并且同产品描述和用户文档不能相互矛盾每个术语应处处具有相同的含义由用户行使的程序操作控制和程序行为例如消息屏幕输入格式和打印报表宜有一致的结构可靠性系统包括硬件要求的软件及属于该产品的程序不应陷入用户无法控制的状态既不应崩溃也不应丢失数据即使在下列情况下也应满足上述要求使用的容量到达规定的极限企图使用的容量超出规定的极限由产品
16、描述中列出的其他程序或用户造成的错误输入用户文档中明确规定的非法指令只是那些不能用任何程序捕获的硬中断和操作系统中断例如系统操作复位用的键或组合键不在此范围之内当程序认为输入错误或输入未经定义时应视为不允许的输入不加处理易用性关于易用性根据本标准的规定鼓励研究系列标准最新版本应用的可能性注特别是宜考虑系列的第部分和第部分易理解性程序的问题消息和结果应是易理解的例如通过选择适当的术语通过图形表示通过提供背景信息通过帮助功能的解释出错消息应提供解释相应差错产生原因和纠正的详细信息例如通过引用用户文档的条文易浏览性如果有多种媒体则每种数据媒体应具有产品标识可辨别编号或文本对于使用程序进行工作的用户总
17、能找到哪个功能正在被执行是可能的程序宜以易观察易读的形式向用户提供信息通过对信息的适当编码和分组对用户提供指导必要时程序可向用户发出警报源自程序的消息应如此设计即用户通过类型容易区分它们例如确认程序询问警告出错消息屏幕输入格式报表和其他输入输出宜设计清晰和易于浏览一般包括字母数字字段左对齐数字字段右对齐在表中小数点或逗号要排在同一垂直线上字段界限是可识别的哪些字段的使用是受限的哪些字段是可识别的标识输入失败后要立即在屏幕输入格式中加亮通过一个可视或可听的信号来引起用户注意屏幕内容的改变可操作性具有严重后果的功能执行应是可逆的或者程序应给出该后果的明显警告并且在执行该命令前要求确认特别是数据的删
18、除和重写以及中断一个过长的处理操作这种动作往往有严重后果如果文档文本编制是以对话形式提供用户应直接访问该文本的子条文例如通过目录表显示的选择和按关键字检索功能来实现效率应遵循产品描述中的效率说明可维护性应遵循产品描述中的可维护性说明可移植性应遵循产品描述中的可移植性说明测试细则到的细则规定如何按照质量要求来测试产品包括根据所有符合性产品要求的性质测试和按照产品描述约定的性质测试包括通过文档的检查测试和程序及数据的黑盒测试这些细则描述了功能测试黑盒测试不包括结构测试因为结构测试需要得到源代码产品仅在它要求的系统中被测试对于计算机工作间的人类工效评价本标准不作考虑注这些细则主要是根据某些认证模式针
19、对第三方测试见第章项在生产过程中这种测试比使用结构测试可能经济且更有效第章不包含关于软件包的要求所有这些要求包含在第章中一个软件包不按第章进行测试可能是符合的但是这样的测试无法发现不符合性的存在当产品描述确定了要求的系统时基于该要求的系统上的产品的任何不符合性被作为该产品的不符合性处理认证模式可对照建议选项来进行测试关于人类工效评价的指南包含在中测试预要求产品项的现场要求对于要测试的软件包所有要交付的项见以及产品描述见中已标识的需求文档都应提供到测试现场对系统组成部分的现场要求对于软件包的测试在产品描述中已指明要求的所有计算机系统的组成部分应提供到测试现场培训如果在产品描述中提到培训则测试者应
20、有机会使用培训材料和培训大纲测试活动产品描述用户文档程序和任何要交付的数据都作为软件包的组成部分并且应按第章中的要求进行符合性测试且宜按第章中的建议进行符合性测试测试对象应源于并包括第章中所有要求完整性一致性等如果在产品描述中涉及到其他产品只需针对该产品的品描述中提出的要求对这些产品进行测试如果测试者作出下述判断时则对产品描述中的细节用户文档中的细节功能中的细节和产品的数据中的细节不需要测试这些细节对已指明的工作任务的影响可忽略它们原则上可测试但消耗太不合理这些不作测试的细节应在测试记录和测试报告中说明对它们不作测试的理由应在测试记录中作记录产品描述第章中的要求的实现应被测试并且第章中的建议的
21、实现宜被测试用户文档第章中的要求的实现应被测试并且第章中的建议的实现宜被测试程序和数据第章中的要求的实现应被测试并且第章中建议的实现宜被测试程序应在产品描述中提及的所有的计算机系统中进行测试如果存在若干不同的程序变量每个都应测试函数亦是如此按照产品描述和用户文档进行测试一组变量标识的函数按每个变量进行测试应使用以产品描述和用户文档为基础构造的测试用例来测试提供的程序和数据进一步的材料例如源程序不必考虑除非在产品描述或用户文档中作了说明才需要测试它们测试用例应有规则地系统地来构造注依确定的方法进行随机测试是许可的如果例子是在用户文档中给出的则它们应作为测试用例但测试不应局限于这些例子可以使用软件
22、包供应方提供的测试用例但测试不应局限于这些测试用例安装如果按照产品描述用户能完成安装则应测试这种安装即程序是否像安装手册中描述的那样能成功地安装和测试否则应保证被安装程序的硬软件环境符合于产品描述中说明的计算机系统程序执行测试用例应覆盖软件描述和用户文档中描述的所有功能并且考虑有代表性的工作任务的功能组合应针对所有的边界值按照产品描述和用户文档来测试程序而这些边界值在要求的系统中提供在用户文档中明显地不赞成或声明禁用的输入或命令序列应属于测试范围测试记录每个测试记录应包含足够的信息以方便重复测试号导则测试记录应包括测试计划或包含测试用例每个测试用例说明它的目标见的测试规格说明与测试用例相关的所
23、有结果包括在测试期间出现的所有失败测试中涉及的人员身份测试报告测试的对象和结果如测试记录中记录的应在测试报告中汇总测试报告应具有如下结构产品标识用于测试的计算机系统硬件软件以及它们的配置使用的文档及其标识产品描述用户文档程序和数据的测试结果与要求不符的清单针对建议的要求不符的清单或者是不遵循建议要求的清单或者针对建议要求产品未作符合性测试的说明测试结束日期测试报告的第章测试结果应包括相应于到每个标题的说明另外针对建议要求的符合性产品未作测试的说明测试报告的第章可提供观察到的不符合建议要求的清单测试报告的标识测试实验室产品标识测试报告的日期和页面总数应出现在测试报告的每页上测试报告应包括仅与测试
24、项相关的测试结果有效性的说明未经测试实验室书面批准不得复制报告完整复制除外的说明号导则测试报告宜遵循号导则有关测试报告的规定跟踪测试当某一产品已经测试过再测试时注意考虑先前的测试文档功能和数据中所有的改变部分都应测试就像该产品是一新产品一样受改变部分影响的或受要求的系统中的改变影响根据测试者的专门知识的所有未改变部分都应测试就像该产品是一新产品一样所有的其他部分应至少按样本进行测试附录提示的附录源自其他标准的定义为了便于引用本标准中使用的而在其他标准中定义的一些术语定义列出如下这些标准出版时所示的版本是有效的宜使用或考虑源自它们的定义一般术语软件信息处理系统的所有或部分程序规程规则和任何相关的
25、文档的集合不包括注软件包提供给若干用户的完整的且文件化的程序集合以用于类属应用或功能不包括注系统软件独立于应用的且支持应用软件运行的软件实用例行程序实用程序对计算机用户和服务人员提供一般的经常需要的服务的例行程序计算机程序不包括例子功能单元具有完成规定目标能力的硬件实体软件实体或二者结合的实体计算机程序符合特定程序设计语言规则的并且由声明和语句或指令组成的以解决确定功能任务或问题所需的语法单元接口界面两个功能部件之间的共用界面该界面是由各种功能特性公共的物理互连特性信号特性及其他适当特性规定的不包括注用户界面能使信息在人类用户和计算机系统的硬件或软件部件之间通过的接口配置组织并互连信息处理系统
26、的硬件和软件的方法产品的特性功能性与现有的一组功能及其规定的性质有关的一组属性这里的功能是指满足明确的或隐含的需求的那些功能不包括注可靠性与在规定的一段时间和条件下软件维持其性质水平的能力有关的一组属性不包括注易用性与一组规定或潜在的用户为使用软件所需作的努力并且对这样的使用所作的评价有关的一组属性不包括注效率与在规定的条件下软件的性质水平和所使用资源量之间的关系有关的一组属性不包括注可维护性与进行规定的修改所需的努力有关的一组属性不包括注可移植性与软件可从某一环境转移到另一环境的能力有关的一组属性不包括注数据数据将信息以形式化的方法重新解释表示以适用于通信翻译或处理数据媒体一种材料在其中或其
27、上能记录数据并且能从中恢复数据测试测试由给定产品过程或按照规定的规程服务的一个或多个特性的测定组成的技术操作号导则测试数据用于检验问题的数据检验问题用于测定功能单元是否正确地操作的具有确定方案的问题测试方法规定技术规程以执行某一测试号导则测试计划系统测试和评价计划为测试和评价某一系统应建立详细的需求准则一般方法职责和一般大纲的计划测试报告表现测试结果和与测试有关的其他信息的文档号导则其他术语程序维护手册提供维护某一程序所需的全部信息的文档系统维护为纠正缺陷改进性质或使系统适应变化了的环境或变化了的需求的这样一些系统的修改工作任务期望的工作系统的成果工作系统工作系统由人和工作设备的组合构成在一定
28、的工作过程中两者共同发挥作用以便在一定的工作任务施加的条件下在一定的工作空间和环境中完成一定的工作任务附录提示的附录产品描述的例子根据本标准下列例子描述了软件包的简单映射所表明的信息应体现在每个软件描述中产品描述表版本屏幕保存和口令保护程序通过显示一个旋转红绿蓝屏蔽多色的火焰来保存屏幕这时你不能使用计算机如果你输入一个口令将警告你在你不在的时候是否有其他人干预你的计算机安装在内存中当你不按任何键或不移动鼠标如果有的话该程序将激活自身并维持一段时间可调整在你按了任何键或移动鼠标后不久该程序就停止工作如果你定义了一个口令将等待打入该口令你可以定义你喜欢的设置在激活自身前时间将等待到或永远不大量的焰
29、火将一起激发到为此将使用行对话或窗口提示当你的操作系统要改变系统日期和时间用同样的方式你可以定义一个口令到个字符那么如果依据打入一个随机字符停止了或依据打入你的口令不停止某人中断即通过关掉电源并且不需要口令或用一个不同的口令重新启动该程序你可以生成该程序备份拷贝并且通过操作系统设置它口令不保存一些技术细节在个人计算机和兼容的计算机上运行这种机器至少要有主存和至少有的或磁盘驱动器它不需要硬盘它支持串行或并行的鼠标或任何其他鼠标如果兼容的话但是不要求鼠标需要一图形卡或任何其他兼容的卡根据或版运行或依据与上述两种之一兼容的操作系统当订购时请告诉我们你是否想要不同的或一种是否将装在磁盘上或装在磁盘上包
30、是由磁盘上的程序装入模块和包括安装指南的文档目录单组成重要的提示不需要任何专门知识来安装或使用程序消息和文档用英语书写完全符合信息技术软件包质量要求和测试不提供对产品的操作支持和维护获取的地址附录提示的附录参考文献数据处理词汇部分基本术语数据处理词汇部分算术和逻辑运算数据处理词汇部分计算机程序设计数据处理词汇部分控制完整性和安全性数据处理词汇部分操作技术和设施数据处理词汇部分可靠性维修和可用性数据处理词汇部分程序设计语言信息技术词汇部分系统开发质量管理和质量保证术语信息技术软件产品评价质量特性及其使用指南第号导则标准化和有关活动的通用术语及其定义第号导则关于第三方确认系统和有关标准的原理代码第
31、号导则关于制造者声明其产品符合有关标准或其他技术规范的须知注这样的声明现在称为供方声明第号导则第号导则用于第三方认证制度表明符合标准的方法第号导则标准和测试实验室能力的一般要求第号导则对产品进行第三方认证的典型制度的通用规则第号导则关于认证机构的认可的一般要求第号导则关于对产品的或国际第三方认证模式的一般规则第号导则标准无测试实验室的认可系统操作和识别用的一般要求工作系统设计的人类工效原理信息处理系统客户软件包的用户文档和覆盖信息具有视频显示终端的办公室工作的人类工效要求第部分一般介绍具有视频显示终端的办公室工作的人类工效要求第部分作业要求指导具有视频显示终端的办公室工作的人类工效要求第部分会话原则具有视频显示终端的办公室工作的人类工效要求第部分使用性的规定和度量指南具有视频显示终端的办公室工作的人类工效要求第部分信息显现具有视频显示终端的办公室工作的人类工效要求第部分用户指导具有视频显示终端的办公室工作的人类工效要求第部分菜单会话具有视频显示终端的办公室工作的人类工效要求第部分命令会话将出版具有视频显示终端的办公室工作的人类工效要求第部分直接操纵会话软件工程术语词汇
