1、ICS 35.020 L 07 MH 中华人民共和国民用航空行业标准 MH/T 00632017 民用航空重要信息系统可靠性评估规范 pecification for reliability assessment of important information systems of civil aviation 2017 07 06 发布 2017 10 01 实施中国民用航空局 发布MH/T 00632017 I 前 言 本标准按照GB/T 1.1-2009给出的规则起草。 本标准由中国民用航空局人事科教司提出。 本标准由中国民航科学技术研究院归口。 本标准起草单位：中国民航大学、中国民航
2、信息网络股份有限公司。 本标准主要起草人：王静、周祥伟、丁建立、赵纪刚、曹卫东、马惟、刘春波、孙启玲、周景贤。M HMH/T 00632017 1 民用航空重要信息系统可靠性评估规范 1 范围 本标准规定了民用航空重要信息系统可靠性评估的基本要求及评估流程。 本标准适用于民用航空重要信息系统开发过程中的可靠性测试、以及运行和维护阶段进行的可靠性评估。 注：本标准所指的信息系统主要是应用软件系统。 2 规范性引用文件 下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅所注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。 GB/T 5271.
3、14-2008 信息技术词汇 第14部分：可靠性、可维护性与可用性 GJB/Z 161-2012 军用软件可靠性评估指南 3 术语与定义 GB/T 5271.14-2008和 GJB/Z 161-2012中界定的，以及下列术语和定义适用于本文件。 3.1 重要信息系统 important information system 受到破坏后会对国家或行业安全、社会秩序、公共利益造成较大损害或带来严重经济损失的信息系统。 MH/T 0026-2005 中的 2.1 3.2 系统可靠性 system reliability 信息系统在规定的条件下和规定的时间内完成规定功能的能力。 3.3 可靠性模型
4、reliability model 评估系统可靠性所使用的模型。把系统失效过程的一般形式详细表示为故障引入、故障排除和运行环境等因素的函数表达式。 3.4 系统可靠性评估 system reliability assessment 确定现有系统可靠性所达到的水平的过程。 基于测试和运行维护期间观察和收集到的失效数据对未来系统可靠性进行预测。 M HMH/T 00632017 2 3.5 缺陷 defect 在计算机程序中不正确的步骤、过程或数据定义。 3.6 故障 fault 系统或软件子系统不能或将不能完成预定功能的事件或状态。 3.7 失效 failure 系统不能按规定的性能要求执行它所
5、要求的功能，即系统的运行结果与要求不一致。 3.7.1 失效强度 failure intensity 软件失效数均值随测试时间的变化率。 给定类别或严重性的失效数同相应时段的比率。例如，每秒执行时间的失效数、每月的失效数；或失效数同给定测量单位的比率。 如每单位时间的失效数、 每次交易的失效数、 每次计算机运行的失效数。 3.7.2 失效严重性 failure severity 每一个已识别的系统失效模式的影响等级。 4 基本要求 4.1 系统可靠性评估的目的 系统可靠性评估的目的是： a) 确定系统测试阶段当前的可靠性水平以判断是否满足规定的可靠性要求； b) 预计为了满足规定的可靠性要求所
6、需要的额外测试开销； c) 确定系统上线时的可靠性水平； d) 确定系统运行阶段的当前可靠性水平； e) 预计系统运行阶段未来一段时间的可靠性水平。 4.2 系统可靠性阶段评估 系统可靠性阶段评估包括： a) 测试阶段的可靠性评估。 通过可靠性测试 （即按照系统的实际使用方式测试系统的一种方法） ，收集测试过程中的失效数据，对系统的可靠性水平进行估计，并对未来可能达到的可靠性水平进行预计； b) 运行阶段的可靠性评估。通过收集实际运行过程中系统的失效数据，对系统可靠性进行估计，并对系统未来可能达到的可靠性水平进行预计。 4.3 系统可靠性数据要求 MH/T 00632017 3 系统可靠性数据
7、主要包括失效时间数据（失效发生的具体时间点）和失效计数数据（一段时间内失效发生的个数）等。 系统可靠性数据要求如下： a) 系统可靠性数据应在系统测试或实际运行过程中进行收集； b) 测试阶段的系统可靠性 数据应在与系统实际运行一致的环境下收集。如要预计高负载、多种业务请求高并发、多数据交互下的可靠性，收集的数据就要来源于这样一个复杂运行环境下的系统测试过程； c) 收集的数据应完整准确：收集的系统可靠性数据应该完整准确，基本要求如下： 1) 失效数据首选失效时间数据，应在事件发生时被准确地记录； 2) 通常模型使用的失效时间是执行时间，如果不能直接测量执行时间，可以采用一些近似技术； 3)
8、由相同的缺陷导致的软件失效在不同时间段建议多次统计，用于体现失效严重性； 4) 当失效时间从多个同时运行的机器收集时，失效间隔时间应考虑同时运行的所有机器； 5) 如果机器具有不同的平均指令执行速率，可以用平均执行速率的平均值来调整执行时间； 6) 回归测试收集的失效数据不计入在内； 7) 既要计入信息完全填写的失效报告数据，也要计入信息不完整的失效报告数据。 5 系统可靠性评估流程 5.1 系统可靠性评估流程的建立 系统可靠性的评估应该建立相应流程，如图1所示。 图1 系统可靠性评估流程 结束 开始 系统失效定义 系统运行环境特性描述 系统测试运行 系统可靠性数据收集失效数据趋势分析可靠性模
9、型选择 模型确认 编制可靠性评估报告 可靠性估计和预计M HMH/T 00632017 4 5.2 系统可靠性评估具体流程 5.2.1 系统失效定义 在收集数据前，应给出待评估系统中失效的特定定义。该定义通常由开发人员、测试人员和用户等共同确定，并达成一致。 5.2.2 系统运行环境特性描述 运行环境特性描述主要包括： a) 系统配置：包括软件和硬件的配置； b) 系统操作剖面：系统可以具有多个操作剖面或操作模式，操作模式与操作时间、安装位置及用户有关，应对显著不同的操作模式单独进行可靠性评估； c) 系统演变：应考虑系统随着测试而常常发生演变，如改变一些代码、增加新的代码甚至新的组件。 5.
10、2.3 系统测试运行 在实际运行环境中或接近实际运行环境的仿真测试环境中运行系统。 在测试阶段，应按照系统的实际使用情况进行测试，所使用的环境应保持尽可能的平稳，并应尽可能在苛刻条件下通过延长时间进行测试。对于高负载、多种业务请求高并发、多数据交互的行业重要信息系统，测试时也应该选取与系统实际运行情况相一致的环境，并应该尽可能的在测试中延长系统高负荷运行的时间，以获取更真实有效的数据。 5.2.4 系统可靠性数据收集 为确定系统可靠性是否满足目标要求，应： a) 明确定义数据收集的目的； b) 充分收集适合于可靠性评估的数据； c) 评估数据的有效性。 5.2.5 失效数据趋势分析 应对失效数
11、据进行趋势分析，分析结果分为如下类型： a) 可靠性增长：宜使用系统可靠性增长模型； b) 可靠性下降：对这种不正常的现象进行原因分析，不用进行可靠性评估； c) 可靠性先降后升：宜使用具有 S 型增长趋势的系统可靠性模型； d) 可靠性稳定：在发生故障不予纠正的情况下，失效率为常值，宜使用指数模型。 5.2.6 可靠性模型选择 在对系统进行可靠性评估时，需先根据趋势分析结果选择一个或多个可靠性模型。在选择可靠性模型时，应考虑模型是否适用于系统实际条件。 5.2.7 模型确认 应对所选择的模型进行有效性确认，确认模型的基本要求如下： a) 在模型检查时，应分析模型假设是否适合； b) 选择用于
12、模型确认的适当的失效数据集。失效数据集宜按照如下优先级进行选取： MH/T 00632017 5 1) 该系统的已有失效数据集（如果该系统测试运行时间足够长，且产生了足够多的失效数据）； 2) 该系统的快速原型项目中积累的失效数据集； 3) 该系统的先前版本中积累的失效数据集； c) 模型参数估计。选择参数估计方法，并对所选择的可靠性模型中的相关参数进行估计。常用的参数估计方法有矩估计、最小二乘法和极大似然估计等； d) 确定模型后，分析人员应在不同阶段执行该模型，并用后续失效数据对模型进行验证以确定模型的预计有效性。 为保证拟合效果满意，在选择模型和应用所选模型之后，应不断地对模型进行重新检
13、查。如果模型的拟合效果不好，就应选用候选模型，重新应用上述步骤进行检查确认。 5.2.8 可靠性估计和预计 5.2.8.1 估计当前可靠性 通过可靠性建模可以得到当前的可靠性水平。 在测试和运行阶段，可靠性评估流程基本相同，主要区别是在测试阶段，系统故障在相应的系统失效检测出来之后应予以排除，因此能观察到可靠性增长，失效强度随时间降低；在运行阶段，纠正一个系统故障可能需要大量变更，除非该失效是灾难性的，一般到下一个系统版本发布之前不予纠正，因此失效强度可能并不降低。 5.2.8.2 预计达到可靠性目标所需的测试时间 通过可靠性建模可以得出达到给定可靠性目标所需的测试时间。当可靠性目标接近时，应
14、通过实际数据检查模型预计的符合情况，并在必要时对模型进行修正。 如果初始失效强度和目标失效强度以及模型参数已知，就可预计需要增加的测试持续时间。 5.2.9 编制可靠性评估报告 5.2.9.1 可靠性评估方应在评估过程完成后 10 d 内，根据评估流程和评估结果编制可靠性评估报告。评估报告中应包括对失效定义、测试运行环境、失效数据的有效性、选择的可靠性模型、模型预计的有效性、可靠性评估结果等的说明。 5.2.9.2 失效数据应从与系统使用方式相同的测试中收集得到，收集数据的环境应与系统实际运行的环境一致；收集的数据应准确；每次评估时都对模型的预计有效性进行确认。 5.2.9.3 可靠性评估结果可包括系统当前的可靠度、系统当前的失效率、平均失效前时间、系统未来一段时间的可靠度、预计为达到规定的可靠性要求还要进行的测试执行时间等。 _ M H
