1、2013年 09月 01日 发布 2014年 01月 01日 实施 CNAS-CL45 检测和校准实验室能力认可准则 在软件检测领域的应用说明 Guidance on the Application of Testing and Calibration Laboratories Competence Accreditation Criteria in the Field of Software Testing 中国合格评定国家认可委员会CNAS-CL45:2013 第 1 页 共 10 页 2013年 09月 01日 发布 2014年 01月 01日 实施 前 言 本文件由中国合格评定国家认可
2、委员会（CNAS）制定，是结合软件测试的 特点对 CNAS-CL01：2006检测和校准实验室能力认可准则的部分条款要求 作进一步的说明，并不增加或减少该准则的要求。 本文件与 CNAS-CL01：2006检测和校准实验室能力认可准则同时使用。 在结构编排上，本文件章、节的条款号和条款名称均采用 CNAS-CL01:2006 中章、节条款号和名称，对 CNAS-CL01:2006 应用说明的具体内容在对应条款后 给出。 本文件第 3章“术语和定义”中，增加了 CNAS-CL01:2006 之外的术语，故 术语和定义的排列序号与 CNAS-CL01:2006 不对应。 本文件代替：CNAS-CL
3、20:2006。 相对于 CNAS-CL20:2006，本文件除编辑性修订外，主要技术变化为： 增加 1范围； 增加 2引用文件； 增加 3术语和定义； 增加 4.1.4，对公正性要求； 修改 4.1.5，增加部分要求； 修改 4.2.1，增加测试过程和测试项目管理的要求； 增加 4.3.1，对文件控制要求； 增加 4.3.3.4，对文件控制一致性要求； 增加 4.4.1，对要求、标书和合同的评审要求； 增加 4.5.3，对分包方测试过程监督的要求； 增加 4.5.4，对保存分包方测试技术文档的要求； 增加 4.7.1，对服务客户的要求； 修改 4.13.1.2，增加部分要求； 删除 4.13
4、.1.3； 删除 4.13.1.4； 修改 4.13.2.1，增加部分要求； 增加 4.13.2.3，对记录一致性要求； 增加 5.1.1，对软件测试领域有针对性的要求； 增加 5.1.2，对实验室软件测试过程和测试项目管理活动的要求； 修改 5.2.1，增加部分要求； CNAS-CL45:2013 第 2 页 共 10 页 2013 年 09月 01日 发布 2014年 01月 01日 实施 修改 5.2.2，增加部分要求； 修改 5.3.1，增加部分要求； 增加 5.4.2，对方法选择的要求； 修改 5.4.4，增加部分要求； 修改 5.4.5，增加部分要求； 修改 5.4.6，增加部分要
5、求； 增加 5.4.7，对数据控制的要求； 修改 5.4.7.2c） ，增加部分要求； 增加 5.5.1，对软件测试设备的要求； 修改 5.5.2，增加部分要求； 删除 5.5.3； 增加 5.5.4，对唯一性标识的要求； 修改 5.5.5，增加部分要求； 增加 5.5.12，对测试工具软件版本管理控制的要求； 修改 5.6.2.2，增加部分要求； 修改 5.8.1，增加部分要求； 增加 5.8.2，对记录的要求； 增加 5.9.1，对结果质量保证的要求； CNAS-CL45:2013 第 3 页 共 10 页 2013 年 09月 01日 发布 2014年 01月 01日 实施 检测和校准实
6、验室能力认可准则在软件检测领域的应用说明 1 范围 1.2 本文件适用于所有从事软件测试的实验室。 2 引用文件 检测和校准实验室认可准则（CNAS-CL01:2006） （简称准则 ） 软件工程术语（GB/T 11457：2006） 3 术语和定义 GB/T 11457中确立的术语和定义适用于本文件。以下术语和定义也适用： 3.1 测试输入项 requisite things for testing 完成软件测试任务需要有关方提供的测试条件。 如被测试软件、 测试依据和标准。 3.2 测试技术文档 test technique document 软件测试过程中按照某种规范文档化的测试策划、测
7、试设计等活动的技术成果。 如测试计划、测试说明。 3.3 测试环境 testing context 按照测试要求和设计的测试方法，驱动、控制被测试软件运行或解析被测试软件 本体的硬件、软件、数据、场地及其他技术设施的集成。 3.4 被测试软件 software under testing 送实验室测试的软件产品，包括程序、技术文档和数据。 3.5 测试需求 test requirements 为了使需方能够接受一个软件产品， 按照特定的标准或规范对被测试软件实现其 研制要求或研制合同等文件规定的软件能力及其特性进行的必要测试。 3.6 测试项 test items 对软件的实体元素、能力要素或
8、特性要素需要进行某一测试种类测试的测试集。 3.7 测试套 test suite 由完成被测软件应用处理业务的某一个操作剖面或被测软件源程序流程图的某 一个计算处理流程的那些测试用例组成一组测试。 4 管理要求 4.1 组织 4.1.4 如果实验室所在的组织从事软件测试以外的活动涉及软件开发，应有承诺采取CNAS-CL45:2013 第 4 页 共 10 页 2013 年 09月 01日 发布 2014年 01月 01日 实施 措施确保不利用被测试软件相关方的知识产权牟取利益； 并且不应当参与所在组织承 研软件的第三方测试活动，以避免对其判断独立性和测试诚信度的任何可能损害。 4.1.5 实验
9、室应： a）由熟悉项目管理、软件开发技术、软件测试技术及其标准、规程、规范的技 术人员，负责组织实施软件测试任务。 c）有政策和程序确保与被测软件相关各方的机密信息和知识产权得到保护，确 保客户产品的一切信息得到保护。 e）应至少具有 5 名（含）以上满足 5.2 要求的软件测试人员，并应拥有与其测 试任务相适应的场地、设施、设备、测试工具软件等资产。 g）由熟悉软件检测过程以及软件测试的标准、规范、规程，软件质量评价和软 件测试质量评价的人员，负责对软件测试人员测试工作实施质量监督，审核软件测试 过程和形成的软件测试工作产品是否符合相应的标准、规范； h) 由熟悉软件测试需求、测试结果评价和
10、判定准则的人员，负责对软件测试输 入和测试结果进行测试执行监督。 4.2 管理体系 4.2.1 实验室应建立、实施和保持与软件测试活动范围相适应的管理体系；应将软件 测试相关的过程和活动以及测试项目管理相关的过程和活动的政策、制度、计划、程 序和指导书制订成文件。实验室管理体系中应包括： a）软件测试过程，一般包括测试需求分析、测试项目策划、测试设计和实现、 测试执行和回归测试、测试总结所开展的技术活动以及测试计划、测试需求、测试说 明、测试就绪、测试结果等测试技术进行的评审活动； b）软件测试项目管理，主要包括测试配置管理，将测试需求、测试环境、测试 阶段产品及交付产品纳入配置项；测试质量保
11、证要监督项目人员的测试工作、审核测 试过程及形成的测试工作产品与标准、规范、过程文件的符合性；测试项目跟踪控制 测试计划的实施进度和风险。 c）在实验室固定场所以外测试环境实施软件测试的过程控制和项目管理，应考 虑在实验室固定场所以外测试环境与实验室受控环境的各种不同因素， 采取相应措施 形成文件使测试活动满足管理要求和技术要求。 4.3 文件控制 4.3.1 总则 实验室应将与软件测试相关的法律法规、软件测试标准方法和评价方法文档、测 试设备和测试工具软件配套的技术文档， 以及软件测试管理软件的文档作为外部文件 加以控制。 4.3.3.4 实验室应有规定和措施，确保计算机系统中的文件与其它载
12、体上的文件在内 容、修订、版本控制、发布、存档等方面的一致性。 CNAS-CL45:2013 第 5 页 共 10 页 2013 年 09月 01日 发布 2014年 01月 01日 实施 4.4 要求、标书和合同的评审 4.4.1 为签订软件测试合同而进行评审的政策和程序应确保： a）对测试项目的机密保护和知识产权保护要求，在合同中（或签订专门的协议） 应予明确、充分规定。 b）对测试项目结束后如何处置测试输入项和测试工作产品、如何向客户交付测 试产品（包括交付项、交付形式和数量等）应予明确、充分规定。 c）对测试结束条件、测试风险应予充分规定； d）对开展测试准备了解测试任务的同时逐步完善
13、合同内容的评审，或可能延续 到软件测试计划、测试需求和测试说明阶段的评审，应予充分规定； e）对测试目的、为达到测试目的需要提供给实验室的测试输入项、测试输入项 的提供方式以及提供时机应予充分规定。测试输入项可包括： 1）符合标准规范要求的被测试软件产品，包括程序、软件文档、数据文档； 2）文档化的被测试软件的分配需求（可含技术需求、非技术需求和验收准 则） ，如研制要求、软件研制任务书等； 3）被测试软件安装运行环境以及其他配合被测试软件运行的设备设施、软 件、数据等详细信息。 常规软件测试（如某行业已有明确要求的例行软件测试）项目、或不涉及 a)和 b)的软件测试项目，测试合同可以是任何书
14、面的或口头的协议。实验室应对口头的软 件测试协议及时形成详细的文字记录，并有记录人和审核负责人签字。 4.5 检测和校准的分包 4.5.3 实验室应对检测任务进行测试需求分析、测试策划后进行分包，分包合同或协 议应包含满足客户要求的足够信息，明确参与分包方测试评审和监督的要求，由客户 或法定管理机构指定的分包方除外。 4.5.4 实验室应保存分包方的测试技术文档、测试记录和测试报告。 4.6 服务和供应品的采购 4.7 服务客户 4.7.1 对测试周期（接收被测试软件至交付测试报告）超过 6个月的软件测试项目， 实验室须与客户及被测试软件相关方保持必要沟通。沟通内容可包括： a）合同、客户要求
15、变更及其落实情况； b）计划进展情况，延误或其他主要偏离及其原因； c）已发现的软件问题； d）遇到的测试问题； e）需要沟通的其他问题。 CNAS-CL45:2013 第 6 页 共 10 页 2013 年 09月 01日 发布 2014年 01月 01日 实施 4.8 投诉 4.9 不符合检测和/或校准工作的控制 4.10 改进 4.11 纠正措施 4.11.2 原因分析 软件测试产生问题的原因还可能是：软件病毒、测试用数据及操作顺序等。 4.12预防措施 4.13 记录的控制 4.13.1 总则 4.13.1.2 软件测试项目有关的记录，其保存期限应至少满 1 个认可周期，或按照客 户要
16、求保存。 4.13.2 技术记录 4.13.2.1 软件测试项目技术记录可包括： a）测试输入项记录：客户提供的被测试软件清单、与软件测试相关的文件清单 等； b）测试技术文档：测试(回归测试)方案、测试(项目)计划、测试需求规格说明、 测试说明、软件测试报告的副本等； c）测试环境记录：测试场地设施记录、被测试软件运行平台软件硬件记录、测 试设备记录、测试工具软件记录、陪测的设备和软件记录等； d）测试执行记录：测试记录（日志） 、文档检查记录、软件问题单（报告） 、源 程序缺陷报告、测试问题单（报告）等； e）技术评审记录：对软件测试合同、测试输入项、测试技术文档、测试环境、 测试结果等进
17、行技术评审的记录。 4.13.2.3 实验室应有措施保持同一技术记录的不同形态的内容修改、 版本控制的一致 性。 注：纳入配置管理的电子版软件测试技术文档，可通过文档修改表记录版本号、 修改内容、日期、修改人、审核人等信息的方式保持不同介质实物资料版本 的一致；纳入受控管理的其他技术记录，可通过适合不同介质的加注方式记 录修改内容、日期、修改人、审核人等信息。 4.14 内部审核 4.15 管理评审 5 技术要求 5.1 总则 5.1.1 决定实验室软件测试的正确性和可靠性的因素还包括软件测试过程和测试项 目管理活动。 5.1.2 实验室在制定软件测试方法和程序、 培训和考核人员、 选择和校准
18、所用设备时，CNAS-CL45:2013 第 7 页 共 10 页 2013 年 09月 01日 发布 2014年 01月 01日 实施 应考虑到软件测试过程和测试项目管理活动的因素。 5.2 人员 5.2.1 从事软件测试人员，应具有计算机及相关专业的大专（含）以上学历、并获得 国家或行业承认的软件测试技术专业培训合格资质或计算机软件相关专业的高级工 程师，具备软件测试任务相适应的被测试软件背景知识和软件测试技术。各类人员其 他要求应满足： a）从事软件测试项目管理、测试需求分析、测试策划和测试设计活动的人员， 一般应有 2年（含）以上软件开发工作经历或 3年以上软件测试技术工作经历； b）
19、软件测试执行人员，一般应有 3个月（含）以上软件测试技术岗位实习工作 经历，并至少实习完成 1个软件测试项目； c）负责软件测试结果评价（评估） 、方法确认、意见解释、质量监督的人员，以 及软件测试报告审核人和批准人，一般应有 3年（含）以上软件测试技术工作经历。 5.2.2 实验室对软件测试人员进行的培训，应包括安全保密和知识产权保护知识以及 与被测软件测试有关的法规、标准培训。应评价这些培训活动的有效性。 5.3 设施和环境条件 5.3.1 实验室的设施和环境条件，应确保测试数据和测试设备的完好、安全、稳定， 测试场地一般应具备防静电、电源故障保护措施。如果软件测试在实验室固定场所以 外进
20、行，应有措施控制测试设施和环境条件满足测试任务要求，确保其测试记录及数 据的完整和安全，防止非授权实体的进入。 注：实验室的“环境条件”与检测项目的“测试环境”有区别，见准则5.3 及本文件3.3。 5.3.2 对结果有影响的因素， 实验室进行监控和记录环境条件， 应有防止计算机病毒、 木马程序等不良程序交叉感染测试环境，如防病毒软件的升级及记录。 5.3.3 应有措施保证软件测试项目使用的计算机及其网络与该项目以外的计算机及 其网络有效隔离，防止外部环境不可控因素对被测试软件和测试结果造成不良影响。 注：当通过实验室以外的网络实施远程测试时，应注意影响网络正常运行的环境 条件。 5.4 检测
21、和校准方法及方法的确认 5.4.1 总则 实验室所采用的软件测试方法，一般包括测试用例集、测试工具（硬件和软件） 及其使用方法、以及依托测试工具运行测试用例获得测试结果的相关程序三要素。为 了保证不影响软件测试方法的运用和测试结果， 实验室应具有适当的软件测试方法使 用指导书，有措施确保测试用例、测试脚本、测试数据和测试工具的一致、有效。 5.4.2 方法的选择 由于信息技术和产品生产日趋全球化，软件测试的依据更多采用国际、地区或专 业组织机构的测试方法，而不是 ISO 等标准机构制定的软件测试标准/方法。 CNAS-CL45:2013 第 8 页 共 10 页 2013 年 09月 01日
22、发布 2014年 01月 01日 实施 实验室应制定测试计划、测试需求和测试说明（测试用例及其执行方案）编制规 范，通过文档化方式明确选定的测试方法。 实验室应通过培训、技术咨询或技术指导方式确保能够正确运用选择的测试方 法。 如果标准方法发生了变化， 实验室应邀请同行专家和被测试软件利益相关方评审 测试需求和测试说明（测试用例及其执行方案） ，证实采用的方法满足客户需求、适 合于要进行的测试。 5.4.4 非标准方法 注： c）被测试软件类型的描述应包括名称、版本信息、开发语言等； d）能够测试的软件质量特性或测试类别、测试目的和测试能力范围； e）陪测设备设施软件及其性能要求； g）方法应
23、用需要的软件硬件环境、测试数据及其他约束条件； 5.4.5 方法的确认 5.4.5.2 软件测试方法确认应尽可能全面，包括对被测试软件的各种质量子特性的测 试顺序、测试约束及测试输入的组合并进行测试方法的验证。 注2： 组织本领域同行权威专家进行技术评审； 5.4.6 测量不确定度的评定 5.4.6.2 实验室应根据实际情况决定是否进行软件测试测量不确定度的评定。如，当 软件检测结果涉及测量值并有量值精确度要求的， 应具有并应用评定测量不确定度的 程序，分析不确定度的因素及其对软件测试结果的可能影响。 5.4.7 数据控制 5.4.7.1 应对测试环境中测试工具软件的计算和数据转移进行系统和适
24、当的检查。实 验室应规定程序保证测试环境中的所有测试软件应为正式软件、且版本正确。 注1：正式软件指按照程序得到验证、通过批准的货架软件和经同行权威专家技 术鉴定的非货架软件。 注2：可运行一小组测试，验证测试工具软件（包括嵌入式测试工具软件配套的 硬件设备）已正确安装，对计算和数据转移进行必要的正确性检查。 5.4.7.2 当利用计算机或自动设备对软件测试数据进行采集、处理、记录、报告、存 储或检索时， 实验室应对这些与测试数据处理有关的所有软件规定并进行合适的配置 管理。 5.5 设备 5.5.1 软件测试设备可包括测试工具软件以及计算机系统、网络系统、适配器、测试 输入和结果输出等硬件设
25、备。 5.5.2 有指标要求的测试工具在投入使用前应对其使用范围进行检查。 例如， 允许 500CNAS-CL45:2013 第 9 页 共 10 页 2013 年 09月 01日 发布 2014年 01月 01日 实施 个用户的测试工具，在初次使用前，应采用适当的方法对其是否符合要求予以核查确 认。 5.5.4 测试工具软件的不同版本，均应加以唯一性标识。 5.5.5 设备记录还应包括测试所用设备的配置及支撑软件等信息（包括：工具类型、 名称、生产厂商、版本号、用途与性能、启用时间、许可证数、主要选件、技术文件 及运行平台等信息） 。 5.5.12 实验室应对测试工具软件进行版本管理以及版本
26、升级和配置控制，防止误用。 正在进行测试的设备应张贴“测试中”的标识，并要在屏保屏幕中设置标识，以避免 错误调整测试环境影响测试工作的进行。 5.6 测量溯源性 5.6.2.2 测试 5.6.2.2.1 对于从事软件测试的实验室， 准则的 5.6.2.1 中给出的测量溯源性要求 仅适用于测量设备和具有测量功能的检测设备。 5.6.2.2.2 当无法溯源的测试方法和测试工具是新的或进行了重大更新，实验室应采 取措施检查测试方法和测试工具的有效性，确保软件测试的“溯源性效果” ，提供测 试结果可信度。检查措施可包括： a）适用时，对特定测试样例软件进行测试，审查测试样例软件预埋问题的复现 情况，确
27、认其偏差。 b）适用时，确认报告应指明可溯源到权威的测试集规范或其它有关的权威标准 或规范，还应提供所得结果与预期结果的比较，并列出已知的缺陷。 c）适用时，测试报告应标明测试结果溯源到可获得的国际标准测试集或相关的 权威测试集。 d）如果规范与测试用例实现之间存在着重大差异，应说明每个测试用例的实现 是如何真实地来源于规范，并保留判断或测量信息。 e）实验室应规定用于确认每个新版本测试方法或测试工具的程序和方法。可行 时，包括对测试环境中使用的工具软件对正确母版本的“溯源性” 。 5.7 抽样 5.8 检测和校准物品（样品）的处置 5.8.1 实验室应确保被测试软件只用于测试，不得用于其他目
28、的，特别是商业目的。 5.8.2 实验室在接收被测试软件时应详细记录被测试软件的程序、软件工程文档、数 据及版本号，并进行唯一性标识。 5.8.3 在接受测试样品时，应对样品进行病毒检查并记录。 5.8.4 实验室应向客户提供充分的保证，保证测试工具或测试套不会将病毒或其他损 坏因素引入到属于客户的硬件或软件中。软件测试工作完成后，实验室应按客户要求 处置被测试软件，并保留记录。 CNAS-CL45:2013 第 10 页 共 10 页 2013 年 09月 01日 发布 2014年 01月 01日 实施 5.9 检测和校准结果质量的保证 5.9.1 实验室应有软件测试质量控制程序以监控软件测试的有效性。 a）使用样例软件或标准方法开展内部测试，标识技术偏差； b）参加实验室间的比对或能力验证，标识离群现象； c）组织其他测试人员对被测试软件的重大问题进行复现； f）审核软件测试过程和软件测试工作产品与相应软件测试标准、规范、程序的 符合性，标识不符合项。 5.10 结果报告
