1、CNASGL11检测和校准实验室能力认可准则在软件和协议检测领域的应用指南Guidance on the Application of Testing andCalibration Laboratory CompetenceAccreditation Criteria in Software andProtocol Testing Laboratories中国合格评定国家认可委员会1目 录前 言 . 1一 适用范围 . 2二 、 对 “ 检测和校准实验室认可准则 ” (CNAL/AC01)的解释 . 34 管理要求 . 44.1组织 . 44.6 服务和供应品的采购 . 54.13 记录的控制
2、 . 55 技术要求 . 65.2人员 . 65.3设施和环境条件 . 65.4 检测和校准方法及方法确认 . 95.5 设备 . 145.6 测量溯源性 . 205.8 检 测和校准物品的处置 . 215.9 检测和校准结果质量的保证 . 225.10 结果报告 . 22附录 . 27附录 A 术语汇编 . 27附录 B 参考文献 . 34CNAS-GL11:2007 第 1 页 共 35 页2007年 04 月 16 日发布 2007 年 04 月 30 日实施前 言本指南旨在为信息技术和电信检测领域中的软件和协议检测实验室按照中国合格评定国家认可委员会（CNAS）检测和校准实验室能力认可
3、准则（CNAS-CL01，等同采用ISO/IEC17025：2005）建立质量管理体系提供指南。指南内容基于ISO/IEC技术报告13233：1995信息技术：信息技术和电信检测领域中的软件和协议检测实验室的认可对ISO/IEC导则25中认可要求的解释，此技术报告在国际标准化组织(ISO)对技术报告的分类中是属于只要技术内容依然有效就无需进行复审和更新的文件类型，因此尽管该技术报告颁布较早，但技术内容至今还是有效的。考虑到ISO/IEC导则25已被ISO/IEC17025：2005取代，因此在本指南的起草过程中，已将ISO/IEC技术报告13233对ISO/IEC导则25的解释对应到ISO/I
4、EC17025：2005相应条款中，在技术内容上是等同采用了ISO/IEC技术报告13233的内容。本指南是CNAS的指南性文件，只对软件和协议检测实验室在实施CNAS-CL01（等同采用ISO/IEC17025）时提供指引，并不增加CNAS-CL01的要求。本指南的翻译和编制得到了中国电子技术标准化研究所、中国信息安全产品测评认证中心、中国软件评测中心、国家电子计算机质量监督检验中心和信息产业部通信软件测评中心的大办协助，在此表示感谢。本指南编写人员：肖向荣何伟起刘晖符荣梅李海波戈志勇中国合格评定国家认可委员会CNAS-GL11:2007 第 2 页 共 35 页2007年 04 月 16
5、日发布 2007 年 04 月 30 日实施一 适用范围1 本指南适用于信息技术和电信 （ IT&T） 检测领域内提供软件和协议检测服务 （ 包括检测手段(MOT)和测试工具的确认 ） 的实验室 ， 旨在为评审员和检测实验室提供指导 。2 实验室可以自己进行检测手段 (MOT)和测试工具的确认 ， 也可以使用其它实验室提供的确认服务 。 检测手段 (MOT)和测试工具的确认服务是一种特殊类型的软件检测服务 ， 可以被视为一个系统或被测实现 （ SUT）， 因此本指南还适用于提供 检测手段 (MOT)和测试工具确认服务的实验室 。注 ： IT&T 的许多领域中 ， 要求使用已认可的检测手段 (M
6、OT)和测试工具确认服务 ， 从经济上和技术水平上是不现实的 。 根据目前认可发展趋势 ， 将来 CNAL 会提供对检测手段 (MOT)和测试工具确认服务的认可 ， 但并不能强制要求检测实验室必须使用已认可的确认服务 ， 因为有可能还存在其它的检测手段 (MOT)和测试工具确认服务的形式 。 最终是否强制要求实验室使用已认可的检测手段(MOT)和测试工具的确认服务将取决于该领域的技术发展 、 CNAL 认可的发展以及认可结果国际同行互认要求的变 化 。3 本指南适用于软件和协议的符合性检测及其它类型的客观性检测 。 对于开放系统互连 （ OSI） 、电信协议 、 产品数据交换 （ 如 ISO
7、TC 184 中所规定的 ）、 图形软件 、 可移植操作系统接口 (POSIX)和编译器的检测 ， 本指南给出了专门的解释 。 需特别声明 ， 本指南不适用于以下领域 ：a 校准实验室 ；b 硬件的物理特性检测 ；c 在 IT&T 安全和软件质量评价 (ISO/IEC 9126)中规定的系统和产品评价 ；d 针对安全软件和通用应用软件的检测 。4 本指南中对符合性检测有专门的解释 。 但本指南中所给出的通 用解释适用于各种类型的客观性检测 ， 包括测量一些客观性的性能 （ 如 ， 对于一些可编程语言的编译器检测 ） ， 以及 IT&T 领域内某个子领域的一些检测类型 。 为了得出测试用例的最终
8、结果 ， 测试操作人员根据合理并客观的程序所进行的分析 ， 本指南也给出了相应的解释 。注 1： 通常 ， 在一个测试集中每个单独的测试用例的设计都会产生一个测试判断 ， 即通过 、 未通过或不确定结论 (inconclusive)的声明 。注 2： 符合性检测涉及到依据一个或多个标准 （ 或其它标准规范 ） 中规定的符合性要求来检测实现 。 符合性检测实现所依据的标准通常应是国际标准 ， 但有时也可能是 ITU-T 建议 、 区域或国家标准 ， 或者甚至是一个制造商的规范 ， 因为当制造商寻求独立的实现符合性验证时 ， 制造商的规范也构CNAS-GL11:2007 第 3 页 共 35 页2
9、007年 04 月 16 日发布 2007 年 04 月 30 日实施成符合性验证依据 。注 3： 在符合性检测中所使用的测试用例也可以标准化 ， 但是在软件和协议检测领域中 ， 它与规定了应符合哪些实现要求的标准之间通常有很大的区别 。注 4： 每个测试判断的得出应当考虑测试用例的目的和相关标准要求 。 作为选择 ， 一个测试集可以规定通过 、 未通过或不确定结论的不同级别的判断 （ 如 ： 未通过级别 1-严重不符合 ； 未通过级别 2-无效表现 ， 但满足测试目的 ）， 但这并不改变测试 判断本身的性质 。5 本指南针对 检测和校准实验室认可准则 (CNAL/01)的 具体条款给出了指南
10、 ， 条款号直接引用准则中解释性的条 款 号 ， 故条 款 号 是不 连续的 。二 、 对 “ 检 测和校准实验室认可准则 ” (CNAL/AC01)的解释3 术语和定义（ 1） 为统一理解 ， 本指南中增加了一些定义 ， 详见附录 A。（ 2） 在本指南中 ， 使用了以下缩略语 ：ICS(implementation conformance statement) 实现符合性声明IUT (implementation under test) 被测实 现ITU-T （ International Telecommunications Union, Telecommunications secto
11、r） 国际电信联盟IXIT （ implementation extra information for testing） 检测实现附加信息MOT （ means of testing） 检测手段OSI （ open systems interconnection） 开放系统互连POSIX （ portable operating systems interface） 可移植操作系统接口SUT （ system under test） 被测系统（ 3） 对于本指南 ， 区分 MOT 和测试工具是至关重要的 。 MOT 是指为进行所要求的检测而使用的硬件和 /或软件及其应用程序 ， 包括可执行的
12、测试集本身 。 对已获得认可的检测服务 ， MOT 是在检测实验室的控制下运行的 。在本指南中 ， 测试工具是指为了进行或辅助进行所要求的检测而使用的硬件和 /或软件 ， 不包括测试集本身 。 测试工具 涉及 运行测试用例或结果分析 。 与运行测试用例相关的内容也可能包括测试用例的参数化 、 选择或甚至于生成测试用例 。CNAS-GL11:2007 第 4 页 共 35 页2007年 04 月 16 日发布 2007 年 04 月 30 日实施注 ： MOT 和 测试工具的复杂性是随软件检测领域的不同而变化 。 例如 ， 在 OSI 和电信协议检测中 ， 每个 MOT 都是在检测中起重要作用的
13、很复杂的硬件和软件系统 ； 而在编译器检测中 ， 除了 （ 程序的 ） 测试集本身之外 ， 只使用了少量的辅助软件测试工具 。4 管理要求4.1组织4.1.5 b)“有措施保证其管理层和员工不受任何对工作质量有不良影响的、来自内外部的不正当的商业、财务和其它方面的压力和影响。”商业参考实现的使用1 如果检测实验室或确认实验室将某一商业实现 （ 未设计成参考实现 ） 作为参考实现来进行实验室内部 MOT 确认 ， 那么 ， 实 验室应对该实现及其它可获得实现的技术覆盖范围的充分性进行评审 。如果与其它实现相比较 ， 该实现的技术覆盖范围是不充分的 ， 则实验室应当在一定的期限内以下列任一适宜的实
14、现来取代 ：a) 另一个有更好覆盖范围的实现 ；b) 由不同的供应商提供的一组实现 ；c) 设计成参考实现的实现 。如果选择了一组实现 ， 那么该实现的技术范围应能更好地覆盖相关规范 ， 而不是出于商业方面的考虑来选择实现 。注 1： 不过已认识到 ， 对于某些 IT&T 标准 ， 在 MOT 确认中只能使用普通的商业实现作为参考实现 。 在这种情况下 ， 公布参考实现的来源和特性可能无意中给供应商带来 商业利益 。注 2： 采用普通的商业实现作为参考实现以及选择哪种商业实现是由实验室来决定的 。注 3： 在某些情况下 ， 可能必须使用多种参考实现来进行 MOT 确认 ， 以确保能检查 MOT
15、 的所有特性 。 这是由于某一给定的商业实现可能只支持相关规范的子集 （ 或 “侧面 ”）， 这作为一种临时解决方案是可以接受的 ， 特别是当市场主要关注的是该子集时 ； 但如果检测服务完全覆盖规范时 ， 作为长期解决方案是不充分的 。CNAS-GL11:2007 第 5 页 共 35 页2007年 04 月 16 日发布 2007 年 04 月 30 日实施4.6 服务和供应品的采购4.6.2“实验室应确保所购买的、影响检测和/或校准质量的供应品、试剂和消耗材料，只有在经检查或证实符合有关检测和/或校准方法中规定的标准规范或要求之后才投入使用。”1 这些要求适用于使用检测实验室外部机构提供的
16、 MOT(检测手段 )、 测试工具和确认服务 。注 ： “外部 ”这个词应被理解为 检测实验室以外 。 因此 ， 确认服务可以由同一组织的其它部门提供 ， 只要它在组织结构上是一个与检测实验室相分离的部门 ， 就被视为外部支持服务 。MOT 或测试工具确认服务只是外部服务的一个例子 ， 它也是被认为有必要做出解释的唯一例子 。2 对于检测实验室使用外部机构提供的确认服务 ， 实验室应得到每种服务独立的质量保证 。注 ： 如果得不到这种质量 保证 ， 检测实验室必须有程序确保 MOT 和测试工具符合规定的要求 ；换言之 ， 检测实验室必须提供自己的确认服务 ， 而不能使用外部机构提供的确认服务
17、。4.13 记录的控制4.13.1.4“实验室应有程序来保护和备份以电子形式存储的记录，并防止未经授权的侵入或修改。”记录的完整性和机密性1 检测实验室应采取措施 ， 确保无论在检测期间还是在检测之后 ， 第三方都不能访问在线记录 。注 ： 对于 IT&T 检测 ， 记录包括检测过程中的在线记录 （ 例如 ， 在 OSI 和电信协议检测过程中的符合性日志 ）。2 如果检测是在客户系统上进行的 ， 客户系统在检测期间可能向第三方开放访问 ， 则检测实验室应确保客户控制的检测环境 ， 在检测期间第三方不能访问正在进行检测的客户系统 。注 ： 这种保护是确保测试记录的完整性和机密性所必需的 。3 此
18、外 ， 如果检测是在客户系统上进行的 ， 客户系统在检测完成之后向第三方开放访问 ， 并且客户要将测试记录放在其系统上 ， 那么 ， 客户应提供一份书面承诺 ， 说明对测试记录负全部责任 。 如果客户没有做出这样的承诺 ， 检测实验室应当首先就妥善的删除方式与客户达成协议 ， 然后删除测试过程中在客户系统上生成的所有记录。注 ： 对于在检测实验室以外的地点进行 的检测 ， 发生这种情况的可能性最大 。CNAS-GL11:2007 第 6 页 共 35 页2007年 04 月 16 日发布 2007 年 04 月 30 日实施例如 ， OSI 和电信协议检测就可能需要在客户的地点进行 ， 为避免
19、检测实验室搬运运行 MOT 硬件的麻烦 ， 客户要向检测实验室提供安装 MOT 软件的适当的计算机系统 。 该系统可以与一个计算机网络连接 ， 客户可能希望在检测之后能够使系统恢复成检测前的状态 ， 在此情况下 ， 如果测试记录留在系统上并且第三方能够访问 ， 而客户对测试记录没有承诺任何责任 ， 那么检测实验室可能承担保密违约的责任 。当检测实验室需要从客户的系统上移走这些测试记录时 ， 应注意删除方式应从系统中完全移走测试记录 ， 而不应做了标记以后再 移走 。 为了寻找这种删除方式 ， 可能需要客户的协助 。5 技术要求5.2人员5.2 .1“实验室管理层应确保所有操作专门设备、从事检测
20、和/或校准以及评价结果和签署检测报告和校准证书的人员的能力。”维持人员能力检测实验室应有程序 ， 规定如何保持测试操作人员能力 ， 特别是对于某个具体的检测或确认服务没有相应的客户的情况下 。注 ： 建议实验室为了保持提供特定的检测或确认服务的能力 ， 相关测试人员应当至少每年参加一次测试活动或确认实践 ， 并完成相应过程的全部步骤 ， 但无需运行所有的测试用例 。 因此 ， 对于某个具体的检测或 确认服务 ， 当没有相应的客户时 ， 应安排专门的培训实践 。5.3设施和环境条件5.3.1“实验室应确保其环境条件不会使结果无效，或对所要求的测量质量产生不良影响。在实验室固定设施以外的场所进行抽
21、样、检测和/或校准时，应予特别注意。”网络上的远程检测CNAS-GL11:2007 第 7 页 共 35 页2007年 04 月 16 日发布 2007 年 04 月 30 日实施1 本指南中 ， “远程检测 ”是指在网络上进行的检测 ， SUT 连接到网络上但与网络是隔离的 ， 网络是该测试环境的一部分 。2 实验室在网络上进行远程检测时 ， 所使用的测试方法和程序应确保网络的性能不会使测试或确认结果失效 。注 1： 请注意 ， 无论 SUT 与 MOT 是否 处于不同的物理位置 ， 本解释都适用 。 SUT 与 MOT 两者的主要部分都可能在物理位置上远离测试操作人员 。 在有些情况下 ，
22、 实验室操作人员与每一个已被隔离的 MOT 和 SUT 处于同一物理位置是不现实的 。 但无论如何 ， 都不得有损于测试结果的可信性 。注 2： 当通过网络实施远程检测时 ， 需特别关注对环境控制的要求 。 实际上 ， 特别是应注意影响网络正常运行的环境条件 。 如果环境不能满足要求 ， 就不应当进行检测或确认 。在运行符合性或性能测试之前 ， 应当实施许多规定的测试 ， 以确定网络正常运行 。 如果运行失效 ， 应当检查诊断码 ， 以确定是网络失效还是 IUT失效 。 如果检测出网络错误 ， 则应当进行核查 ， 以确保该错误没有影响到以前运行的测试 。如果网络超负荷 ， 则在远程检测中可能会
23、遇到问题 ， 在这种情况下 ， 可能需要重新安排检测或确认的时间 。在实施测试期间 ， 如果干扰是由于网络状态引起的 （ 例如网络产生复位或中断 ）， 判定应当被视为不确定结论 ， 应当重新运行测试用例 。实验室为了确保 IUT 是客户声明的 IUT， 实验室通常需要获得客户的合同承诺 。 在有些特殊情况下 ， 实验室可以要求使用软件识别技术 。 为判定测试结果而需要对 SUT 特性进行的所有观察 ， 可以通过 SUT 远程实施 ， 并且这个 SUT 是在与 MOT 至少部分相分离的物理位置上 ， 测试操作人员无需 象 处于主要的 MOT 物理位置上 一样 处于 SUT 的物理 位置 。检测和
24、确认环境的检查1 实验室应让客户明白 ， 客户的职责是确保所有应由客户提供的设备及时提供且能正常工作 。实验室应在测试前或确认前对这些设备进行检查 ， 以确保其适合于测试或确认目的 。注 ： 当在实验室永久设施以外的地点进行检测时 ， 这点非常重要 。 因为可能要求客户提供用于安装测试软件和 /或测试集的设备 。2 检测实验室应确保使用每个 MOT 和每种测试工具的正确版本 ， 并且不得以任何可能导致不正确的测试结 果的方式修改它们 。注 ： 当检测实验室在开始检测之前 ， 客户已收到 MOT 或测试工具的副本时 ， 本解释就显得非常CNAS-GL11:2007 第 8 页 共 35 页200
25、7年 04 月 16 日发布 2007 年 04 月 30 日实施重要 。 为确保 MOT 或测试工具是没有更改过的正确版本 ， 最好使用检测实验室带来的 MOT 或测试工具的新副本 。 如果使用 MOT 或测试工具的新副本是不现实的 （ 例如 ， 为与 SUT 配置使用 ， 可能需要时间 ）， 则需对 MOT 和测试工具的完整性进行检查 。 可以通过使用一些检查工具或者将 MOT 或测试工具与实验室带来的参考副本进行比较来实施检查 。3 确认实验室或进行自己的 MOT 或测试工具确认的检测实验室 ， 应确保使用每个参考实现或其它确 认手段的正确版本 ， 并且不得以任何可能导致不正确的确认结果
26、的方式修改它们 。4. 对所有软件检测和确认 ， 应 确保 SUT 上包含旧结果或旧测试方案的任何文档不会与当前最新的测试方案和测试或确认结果相混淆 。防止病毒和其它导致实验室检测系统瘫痪的因素实验室应编制充分的程序 ， 用以防止客户提供的样品中的病毒污染 MOT或测试工具 ， 并检查在使用客户提供的软件或系统进行检测的过程中未对 MOT 或测试工具进行了修改 。注 ： 当 IUT 是在磁盘或磁带上时 ， 如果可以 ， 应当在 IUT 装载到任何测试工具中之前 ， 由检测实验室进行适当的病毒扫描 。如果测试工具或测试集是在磁盘上或磁带上 ， 让客户在测试工具或测试集上进行病毒扫描 ， 这可能很
27、不安全 ， 因为实验室不能防止客户引入病毒或损害测试工具或测试集的因素 。 无论怎样 ， 当检测结束时 ， 检测实验室应当执行检查 ， 检查有没有引入病毒 ， 并检查有没有发生对测试工具或测试集的修改 。 任何的偏差都将可能使测试结果无效 。5.3.2“相关的规范、方法和程序有要求，或对结果的质量有影响时，实验室应监测、控制和记录环境条件。”环境识别1 实验室应尽可能地从客户和记录中获取 SUT 内测试环境 （ 或 MOT 内确认环境 ） 的准确和 完整的识别 ， 客户应对识别负责 。 此外 ， 实验室应记录用来控制检测过程中 SUT 内的测试环境 （ 或控制确认过程中 MOT 内的确认环境
28、） 所需要的任何参数值 。注 1： 上文中的 “识别 ”对应的英文是 “ identification” ， 在本指南中理解为以文字或图示等形式描述环境的具体状况 。（ 编者注 ）注 2： 在 IT&T 检测和确认的相关章节中 ， 测试 （ 或确认 ） 环境是指检测或确认过程中的软件和CNAS-GL11:2007 第 9 页 共 35 页2007年 04 月 16 日发布 2007 年 04 月 30 日实施硬件运行环境 。 测试环境的一部分可能在 SUT（ 或 MOT） 内部 ， 一部分可能在 SUT（ 或 MOT） 之外 。 软件测试 （ 或确认 ） 环境的记录从其定义开始 。 根据所进行
29、 的检测或确认的类型 ， SUT（ 或 MOT）内的测试 （ 或确认 ） 环境可能包括许多参数 （ 例如 ： 处理器 、 磁盘驱动器 、 操作系统 、 编译器 、 编译转换器 、 连接器 、 运行时间系统 这里所列内容并不全面 ）。 所有这类参数都应准确定义 ， 至少包括 ： 名称 、 型号和版本号 。 在一些特殊情况下 ， 甚至每个构件都需要被识别 。2 为了尽可能地确保在任何时候都能获得正确和完整的 SUT(或 MOT)之外的测试 （ 或确认 ） 环境识别 ， 实验室应充分记录和控制 SUT(或 MOT)之外的检测 （ 或确认 ） 环境 。5.3.3“应将不兼容活动的相邻区域进行有效隔离。
30、应采取措施以防止交叉污染。”数据区域的隔离1 测试工具 、 IUT 和其余环境间应进行有效的隔离 ， 即使部分环境与 IUT 是在同一个计算机系统内也应如此 。注 1： 虽然 CNAL/AC01 中的 5.3.3 条款通常是指不同检测服务之间的隔离 ， 但在某些 IT&T 检测或确认服务中 ， 对单个检测或确认服务内使用的软件构件之间也需要明确的隔离 。注 2： 当测试工具 、 IUT 及其余环境间没有明确的物理隔离时 ， 这点更加重要 ， 如编译器 、 图形软件 、 可移植操作系统接口 （ POSIX） 及应用程序可移植性检测 。 在开放系统互连或电信协议检测中使用分布式 (Distribu
31、ted)或对等式 (Coordinated)测试方法也是这种情况 。2 检测实验室和客户应就 IUT 的构成和 SUT 环境的构成达成书面协议 。3 一旦 IUT 被集成在客户提供的系统中 ， 实验室应确保在 SUT 的环境部分中没有其它活动影响测试或确认结果 ， 并且应指导客户采取必要的措施来达到此目的 。注 ： 只要可行 ， 应当确保 SUT在测试或确认过程中除了支持检测或确认要求的活动外 ， 不支持其它任何活动 。例如 ， 对于 POSIX 检测 ， 必须确保 SUT 不运行可能干扰测试集正确安装 、 配置或执行的任何任务 ， 并且不允许其它用户 登录到该系统中 。 应为该测试活动建立一
32、个 “ 清洁的 ” 、 空白的和安全可靠的目录 。5.4 检测和校准方法及方法确认测试方法介绍CNAS-GL11:2007 第 10 页 共 35 页2007年 04 月 16 日发布 2007 年 04 月 30 日实施1 本指南中 ， 在 IT&T 检测中所用的测试方法包括 ： 构成测试集 （ 一组测试用例 ） 的各个测试用例 ； 用来运行这些测试用例的测试工具 （ 硬件和软件 ） 及其使用方法 ； 用来选择和运行测试用例 、分析观察和声明结果的程序 。注 1： “ 测试方法 ” 术语与通用认可准则 （ CNAL/AC01 5.4） 中的这一术语是一致的 ， 但不应当与 ISO/IEC96
33、46 和 ITU-T X.290 系列 ： OSI（ 包括电信协议 ） 符合性检测中定 义的更具限定性的 “ 抽象测试方法 ” 的这一概念相混淆 。注 2： 测试方法适宜性的准则在某种程度上取决于检测类型 。 首先 ， 有一些适用于所有测试类型的通用准则 ； 其次 ， 还有仅适用于符合性检测的附加准则 。5.4.2“当客户未指定所用方法时，实验室应选择以国际、区域或国家标准发布的，或由知名的技术组织或有关科学书籍和期刊公布的，或由设备制造商指定的方法。”国际上约定的测试方法除非经客户同意 ， 每个测试方法应符合已有的相关国际标准 。 这并不意味着检测实验室不能使用非标准测试方法 ， 但是如果使
34、用非标准测试方法 ， 检测实验室应 明确向客户声明 ， 并在最终的测试报告中注明 。注 1： 对一些检测服务而言 ， 使用符合国家标准而不是国际标准 （ 或其它形式的协议 ） 的测试方法可能是合适的 。 然而 ， 由于 IT&T 工业具有国际性 ， 所以希望这些测试方法应遵循国际协议和评审 。国际协议可能是检测实验室之间达成的 ， 而不是经过诸如 ISO这样的标准机构 ， 如编译器检测就是这种情况 。 即使有相关的标准 ， 也可通过检测实验室间的国际协议补充它们 。注 2： 在 OSI 和电信协议检测中 ， 测试方法应当与最新版本的 ISO/IEC9646或 ITU-T X.290 系列推荐文
35、件的各个部分相一致 。 这意味着抽象测试集应遵循 ISO/IEC9646-2 或 ITU-T X.291（ 和ISO/IEC9646-3 或 ITU-T X.292， 如果它们已写入 TTCN）， 测试实现应当符合 ISO/IEC 9646-4 或ITU-T X.293， 以及在符合性评定过程中 ， 检测实验室和客户应当遵守 ISO/IEC9646-5或 ITU-T X.294。此外 ， 轮廓测试规范 （ profile test specifications） 要符合最新版本的 ISO/IEC9646-6 或 ITU-T X.295。对办公文件体系结构 （ Office Documentat
36、ion Architecture,ISO/IEC 8613）， 测试方法应符合ISO/IEC TR10183-1（ 1992）。 此外 ， 抽象测试用例应符合最新版本的 ISO/IEC TR10183-2。在图形学领域 ， 测试方法应符合 ISO/IEC 10641。对 POSIX， 测试方法应符合最新版本的 IEEEP2003或 ISO/IEC 13210 的标准 。CNAS-GL11:2007 第 11 页 共 35 页2007年 04 月 16 日发布 2007 年 04 月 30 日实施对软件包 ， 测试方法应符合 ISO/IEC 12119 最新版本标准 。对语言处理器 ， 例如编译
37、器 ， 测试方法应符合 ISO/IEC TR9547。5.4.5.3“按预期用途进行评价所确认的方法得到的值的范围和准确度，应适应客户的需求。这些值诸如：结果的不确定度、检出限、方法的选择性、线性、重复性限和/或复现性、抵御外来影响的稳健度和/或抵御来自样品（或检测物）母体干扰的交互灵敏度。”重复性和复现性1 如果一个检测实验室 ， 使用一种测试方法 ， 通过相同的一组测试来重复检测相同的实现 ， 而产生的结果与先前所产生的结果一致 ， 则可以说此测试方法符合重复性准则 。注 1： 重复性准则不应当理解为重复检测必须产生与相应测试相同的结果 ， 而只是相应测试的结果彼此一致 。 例如 ， 凡是
38、量 值的变化小于测量不确定度的测量都可以被认为是一致的 。注 2： 此外 ， 对那些涉及性能测量的测试类型 ， 重复性必须有更灵活的解释 。 例如 ， 运行某一特定测试用例的时间的测量 ， 可能由于环境或软件实现参数的不显著变化 ， 而会有很大的变化 。 因此 ，进行性能测量的测量方法要规定精确的环境条件以确保重复性 。 为了避免给出可疑的准确度 ， 应给出相应结果 。 相关的测试方法可能通过选择不同的环境条件或参数设置重复运行测试用例 。 在进行性能测量的所有情况中 ， 结果应附带测试用例运行的环境说明 。对重复性的有效期没有给出要求 。2 如果两个不同的检测实 验室 ， 使用一种测试方法
39、， 通过相同的一组测试来检测相同的实现 ，而两个检测实验室产生的结果一致 ， 则可以说此测试方法符合复现性准则 。注 1： 对于一个本身就是主观性的检测服务 ， 复现性难以得到 。 例如 ， 在某些标准中 ， 要求制定一些特定文件 ， 并且检测服务可能要检查文件的充分程度 。 在这种情况下 ， 依据明确的客观准则 ，对量值进行判断 ， 仍可得到复现性 。 对依据客观准则所进行的检测可以获得 CNAL 认可 ， 但对检测结果的主观解释是不能获是认可的 。对复现性的有效期没有给出要求 。注 2： 如果测试用例没有预先确定 ， 要评估复现性也是困难的 。 对 某些性能测量类型可能需考虑这种情况 。
40、再者 ， 可以依据明确的客观准则对测量做出解释 ， 以此得到复现性 ， 而无需考虑观察的具体手段 。注 3： 复现性要求任何所需的测量应当在规定的测量不确定度允限内准确地进行 。CNAS-GL11:2007 第 12 页 共 35 页2007年 04 月 16 日发布 2007 年 04 月 30 日实施注 4： 对复现性的任何疑问要予以调查 ， 可行时 ， 可以使用实验室间比对的方法进行调查 。3 在符合性检测中 ， 为测试特定的实现与相关标准和规范的符合性而选择运行并确定参数的测试用例 ， 应符合重复性和复现性准则 ， 所有的符合性评价应基于相同的测试集 。注 1： IT&T 标准通常包含
41、许多不同的选项 。 因此 ， 希望 对 测试用例 进行 选择 ， 选择 IUT 宣称支持的那些选项所适合的测试用例 。 此外 ， 一些测试用例需要参数化或修改 ， 使它们适合 IUT 相应的参数 。 在这些情况中 ， 所用的参数值和所进行的修改应当写在测试报告中 ， 也可作为报告的附录 。注 2： 例如 ， 对于 OSI、 电信协议和产品数据交换符合性检测 ， 供应商提供的两份文件 ， 给出了进行测试用例选择和参数化的必要信息 。 一份是实现符合性 声明 （ Implementation ConformanceStatement,ICS）， 列出所支持的选项 ， 包括所支持的参数值范围 ， 或标明对所支持参数值的限制 ； 在很多情况下 ， 此文件的 格 式 是标准化的 。 另一份文件是检测实现附加信息 （ IXIT）， 它给出了其它信息 ， 特别是所用的参数值和哪些特性是不可测试的的信息 ； 对于协议符合性检测 ， 此文件的 格 式 一部分 应按 ISO/9646-5 和 ITU-T X.294 中规定予以标准化 ， 一部分 应按相关的测试集规定 ， 一部分 应按检测实验室规定 。对某些领域 ， 如编译器检测 ， 虽然要进行测试选
