1、 辽 宁 省 地 方 标 准 DB21 DB21/T 1710 2008 软件性能测试用例描述规范 2008-12-22 发布 2009-01-22 实施 辽宁省质量技术监督局 发布 DB21/T 1710 2008 目 次 前言 . IV 引言 V 1 范围 1 2 术语和定义 1 3 一般要求 2 4 设计原则 2 5 测试用例描述要素 2 附录 A (资料性附录) 性能测试用例设计模板 4 A.1 性能测用例脚本设计模板 4 A.2 性能测用例场景设计模板 4 A.3 性能测用例结果记录模板 5 IV 前 言 附录 A是资料性附录。 本标准由辽宁省信息产业厅提出,并归口。 本标准主要起草
2、单位:辽宁省信息安全与软件测评认证中心、东北大学、辽宁北方实验室有限公司。 本标准主要起草人:杨丽春、郭军、张斌、王继娜、李宪莉、武旭春、姜超、王娇娇。 本标准于 2008年 12首次发布。 DB21/T 1710 2008 引 言 随着软件工程技术、软件开发方法和软件开发工具的发展,一方面可以使人们快速开发更加复杂的应用,另一方面也使开发出的软件规模越来越庞大,架构越来越复杂。随之而来的软件性能问题也越来越多,最终导致很多软件系统由于性能问题而停止使用,给软件企业及客户都带来了一定损失。因此,解决软件性能问题是十分必要的一项工作。 性能测试在软件测试中的地位越来越重要,从直接体验的用户角度来
3、说,表现为软件系 统对用户操作的响应时间;从 IT系统管理的角度来说,表现为系统的可扩展性、并发能力等;从软件开发的角度来说,表现为了解性能的制约因素和引起性能问题的关键原因。 与功能测试相同,性能测试的用例设计非常重要。由于性能测试用例描述缺乏标准,不同的企业、不同的测试人员往往采用不同的描述方法,这造成性能测试工作不统一且很难交流,不利于测试用例的理解和执行,因此制定本标准显得尤为重要。 建立软件性能测试用例描述规范,目的是统一描述规约,确保性能测试用例的可理解性和可执行性。本规范的建立,能够提高软件的开发质量,规范软件企 业的测试工作,提高性能测试的执行效率,从而促进软件产业的健康、有序
4、发展。 DB21/T 1710 2008 1 软件性能测试用例描述规范 1 范围 本 规范 规定了 一般要求、设计原则和测试用例描述要素的软件性能测试的用例描述要素 。 本规范适用于计算机软件的开发机构、测试机构及相关人员。 2 术语和定义 下列术语和定义适用于本标准。 2.1 软件 software 与计算机系统的操作有关的计算机程序、规程和相关的文档。 2.2 中间件 middleware 中间件是位于平台(硬件和操作系统)和应用之间的通用服务。针对不同的硬件平台和操作系统,它们可以有符合标准接口和 协议的多种实现。这些服务屏蔽了复杂的平台技术,通过标准的接口和协议供应用软件调用平台资源。
5、 2.3 协议 protocol 通信双方对数据传送控制的一种约定。 2.4 性能 performance 系统或部件在给定的约束,例如速度、精度或存储器使用条件下实现指定的功能的程度。 2.5 性能测试 performance testing 验证系统或部件是否满足规定的性能需求的测试行为。 2.6 测试用例 test case 为具体的目标而开发的一组测试输入、执行条件和结果。 2.7 场景 scenario 描绘行为的动作的一种特定序列。场景 可用于描绘用况示例的交互或执行。 2.8 思考时间 think time 由交互系统产生的提示符或消息的结束至用户响应开始之间的时间。 2.9 模
6、块 module 离散的程序单位,且对于编译、与其他单位相结合和装入来说是可标识的。例如,汇编程序、编译程序、连接编辑程序或执行的例行程序的输入或输出。 程序中一个逻辑可分开的部分。 2.10 DB21/T 1710 2008 2 事务 transaction 在软件工程中,一数据元素、控制元素、信号、事件、或状态的变更,它引起、触发或启动一动作或动作序列。 2.11 脚本 script 使用特定的描述性语言,依据一定的格式编写 的可执行文件 。 3 一般要求 软件性能测试用例描述应是完整的、正确的、必要的、无歧义的、可执行的和被设置优先级别的; 软件性能测试用例应主要包括脚本设计、场景设计,
7、结果记录三个部分。 4 设计原则 应能够追溯到用户的需求; 宜尽可能的接近真实业务; 不应陷入片面性,应综合考虑各种处理方法; 应选择合适的技术,根据问题的要求和可用的资源选择合理的设计方法。 5 测试用例描述要素 测试用例描述包括脚本设计、场景设计、结果记录三部分,描述模板参见附录 A。 5.1 脚本设计 脚本的编写与录制应包含以下要素: a) 脚本编号 脚本的唯一性标识 ,以此区分不同作用的不同脚本。 b) 脚本名称 脚本的标识,记录进行自动化测试时保存在测试用机中的脚本文件的名称。 c) 业务名称 系统中与脚本相对应的业务功能的名称。 d) 协议选择 系统底层数据协议,是编写录制脚本的依
8、据。 e) 事务划分 在性能测试过程中,一个脚本可划分成若干个事务。对于事务的描述应包括事务状态(如初始化、迭代执行、退出)、事务名称。 f) 相关设置 对脚本的参数进行的配置,包括集合点设置、忽略思考时间、参数化,以使脚本符合场景要求。 5.2 场景设计 场景的设计与执行应包含以下要素: a) 场景编号 场景的唯一性标识,以此区分 不同作用的不同场景。 b) 场景名称 场景的标识,是进行自动化测试时保存在测试用机中的场景文件的名称。 c) 需求追溯 场景的设计所对应客户的需求。 d) 目标 DB21/T 1710 2008 3 针对用户对软件性能的需求而确定的性能目标。 e) 业务说明及其配
9、比 当前场景模拟的实际业务,包括业务名称、业务说明以及操作各业务的虚拟用户占总用户的比例。 f) 测试环境 应包括测试的硬件、软件、网络配置。 g) 相关脚本 参与场景执行的脚本的说明,包括脚本编号、脚本名称、用户分配。 h) 执行方式 应包括并发用户数、虚拟用户的加载方式、场景的执行时间。 i) 监控资源 需要被监控的性能指标,包 括监控类别、指标名称、相关的指标描述。 j) 终止条件 说明测试正常终止和异常终止的条件。 5.3 结果记录 结果的设计应包含以下要素: a) 结果编号 结果的唯一性标识,以此区分不同场景的不同结果。 b) 相关场景 结果记录针对的场景。 c) 资源监控指标 需要
10、被监控的性能指标的具体值,包括事物响应时间、事务通过数、服务器资源性能指标、中间件性能指标,数据库性能指标。 d) 结论 相关场景运行后 ,对各资源监控指标值综合分析后得出的结果。 DB21/T 1710 2008 4 附 录 A (资料性附录) 性能测试用例设计模板 A.1 性能测用例脚本设计模板 软件性能测试用例脚本设计模板如下 表所示。 表 A 1 脚本设计 脚本编号 脚本名称 业务名称 协议选择 事务划分 事务状态 事务名称 备注 初始化 迭代执行 退出 相关设置 集合点 是 否 集合点位置 忽略思考时间 是 否 参数化 是 否 参数文件名称 编写(录制)人员 编写(录制)时间 复核人
11、员 复核时间 A.2 性能测用例场景设计模板 软件性能测试用例场景设计模板如下表所示。 表 A 2 场景设计 场景编号 场景名称 需求追溯 目标 业务 说明 及其配比 业务名称 业务说明 用户配比 测试环境 硬件配置 软件配置 网络配置 相关脚本 脚本编号 脚本名称 用户分配 备注 执行方式 并发用户数 用户加载 /退出方式 执行时间 备注 DB21/T 1710 2008 5 表 A 2(续) 监控资源 监控类别 指标名称 描述 备注 终止条件 设计人员 设计时间 复核人员 复核时间 A.3 性能测用例结果记录模板 软件性能测试用例结果记录模板如下表所示。 表 A 3 结果记录 结果编号 相关场景 场景编号 场景名称 备注 事务平均响应时间 并发用户数 事务名称 最小值 平均值 最大值 单位 事务通过数 并发用户数 事务名称 总数 成功 失败 单位 Web 资源 并发用户数 指标名称 最小值 平均值 最大值 单位 操作系统 并发用户数 类别 指标名称 最小值 平均值 最大值 单位 中间件 并发用户数 类别 指标名称 最小值 平均值 最大值 单位 数据库 并发用户数 类别 指标名称 最小值 平均值 最大值 单位 结论 记录人员 记录时间 DB21/T17102008