1、ICS35.080CCS L 7721辽宁省地方标准DB21/T 37592023应用系统工程 关键性评价指标Application system engineeringKey evaluation indicators2023-06-30 发布2023-07-30 实施辽宁省市场监督管理局发 布DB21/T 37592023I目次前言.II1范围.12规范性引用文件.13术语和定义.14缩略语.35关键指标综述.46数据生产能力.46.1数据生产能力计算.46.2年数据生产能力计算.46.3日数据生产能力计算.46.4最大生产能力计算.46.5并发能力计算.57功能规模.58质量评价指标.5
2、8.1质量测度元素.58.2评价指标分类.59数据集规模.610经济指标.710.1年数据生产能力经济指标.710.2功能点综合单价指标.711期望使用年限.7附录 A（资料性）应用软件质量指标描述.8附录 B（资料性）数据质量指标描述.11附录 C（资料性）使用质量指标.13参考文献.15DB21/T 37592023II前言本文件按照GB/T 1.12020标准化工作导则第1部分：标准化文件的结构和起草规则的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由辽宁省工业和信息化厅提出并归口。本文件起草单位：大连鸿润设计咨询有限公司、大连软件行业协会、
3、辽宁省大数据管理中心、大连市大数据中心、大连市财政事务服务中心、大连金普新区综合事务服务中心、大连市普通高中创新实践学校、大连新闻传媒集团、大连昆腾数据科技有限公司、大连工程咨询中心有限公司、大连中软软件有限公司、中远海运重工有限公司。本文件主要起草人：于锋、王阿妮、范林、庄长君、唐文伟、黄国华、王江、贾瑄、吉长军、徐杨、赵志明、赵世宏、马勇、田瑶、李庆生、杜晓东、吴明功、王斌、曹艳艳、王丽、刘雪剑、王璐、朱善彬、李冲、蔡洋、于忠凯、尹宏、宋悦。本文件发布实施后，任何单位和个人如有问题和意见建议，均可以通过来电和来函等方式进行反馈，我们将及时答复并认真处理，根据实际情况依法进行评估及复审。本文
4、件归口单位通讯地址：沈阳市北陵大街45-2号，联系电话：024-86913384本文件起草单位通讯地址：大连市沙河口区星河二街25号凯泰铭座A座38楼6号，联系电话：0411-84755515DB21/T 375920231应用系统工程 关键性评价指标1范围本文件规定了应用系统工程关键性评价指标，包括数据生产能力、功能规模、质量评价指标、数据集规模、经济指标、期望使用年限等相关要求。本文件适用于大型、中型应用系统工程的新建、扩建和改建。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最
5、新版本（包括所有的修改单）适用于本文件。GB/T 18391.1 信息技术 元数据注册系统（MDR）第1部分：框架GB/T 25000.1 系统与软件工程 系统与软件质量要求和评价（SQuaRE）第1部分：SQuaRE指南GB/T 25000.10 系统与软件工程 系统与软件质量要求和评价（SQuaRE）第10部分：系统与软件质量模型GB/T 25000.12 系统与软件工程 系统与软件质量要求和评价（SQuaRE）第12部分：数据质量模型GB/T 25000.22 系统与软件工程 系统与软件质量要求和评价(SQuaRE)第22部分：使用质量测量GB/T 25000.23 系统与软件工程 系统
6、与软件质量要求和评价(SQuaRE)第23部分：系统与软件产品质量测量GB/T 25000.24 系统与软件工程 系统与软件质量要求和评价（SQuaRE）第24部分：数据质量测量GB/T 36475 软件产品分类GB/T 50875 工程造价术语标准3术语和定义GB/T 36475、GB/T 50875及GB/T 25000系列界定的以及下列术语和定义适用于本文件。3.1应用系统工程application system engineering以行业应用软件系统为主要建设内容的工程，由至少一个应用系统构成。每个应用系统通常包括应用软件系统、数据架构、运行环境等单位工程。3.2应用软件系统 cus
7、tomized software systems针对特定行业应用的定制软件。3.3架构 architecture系统的基本结构，包括组件、组件之间的相互关系以及设计和演变的管理原则。3.4数据架构 data architectureDB21/T 375920232数据管理的基础，其主要目标是有效地管理数据、存储和使用数据的系统。数据架构描述须包括企业数据模型和数据流设计。3.5运行环境 running environment应用软件系统运行所需要的设备（硬件、软件及物资）及物理环境。3.6作业 job由用户定义的、访问并更新信息项的工作单元。通常情况下，一个作业由多个功能组成。来源：GB/T
8、25000.232019，4.3，有修改3.7记录 record一个单元化的相关信息项的集合。3.8主要作业/基准作业 main jobs/benchmark job记录数量最大或最典型或最具代表性的作业，每个应用系统应确定唯一主要作业作为基准作业。其他作业可以按换算系数换算为主要作业。本文件中主要作业和基准作业具有等同意思。3.9生产 production数据处理过程和结果，包括数据的收集、存储、使用、加工、传输、提供、公开等。3.10数据生产能力 data production capacity一段时间内，在一定的用户规模下，应用系统可以生产的作业记录数量。3.11年数据生产能力 annu
9、al data production capacity在设计用户数量条件下，应用系统每年生产的主要作业记录数量。3.12日数据生产能力 daily data production capacity在设计用户数量条件下，应用系统每日生产的主要作业记录数量。3.13最大生产能力 maximum production capacity of application system在单位时间内，应用系统出现作业失效之前，或在单位时间内，作业完成时间超过用户最长可忍耐时间之前，应用系统生产能力极值称为该应用系统的最大生产能力。此时，该应用系统的在线用户数称为最大在线用户数，正在执行同一作业的在线用户称为最
10、大并发用户数。3.14并发能力 concurrency capability在设计用户数量条件下，应用系统每秒生产的主要作业记录数量。3.15最小连续生产时间 minimum continuous production time最大生产能力情况下的连续生产时间称为最小连续生产时间。3.16用户 user与应用软件系统交互的个体。DB21/T 3759202333.17功能点 functional point由应用软件系统向用户提供，使其用以完成规定动作的活动。每个功能须在设计文件中描述并须同数据项/信息项对应。3.18功能规模 function point size应用软件系统功能点总数量。3
11、19应用系统最大存储能力 maximum storage capacity of application system在应用系统出现作业失效或作业完成时间超过用户最长可忍耐时间之前，应用系统存储的记录数量或文件容量。3.20数据集 data set由元数据描述的数据集合，并能够独立存储和单独使用。通常用于同组织外部进行交换、公开、交易等。3.21数据集记录 data set record由数据集元数据描述的、完整的、可核验的记录。3.22数据集规模 data set scale以每年产生的数据集记录数量来衡量应用系统数据生产情况。该指标反映应用系统的运行情况。3.23期望使用年限 expec
12、ted service life应用系统的预计运行年限，通常情况下指应用系统投入使用后至应用软件出现必要性不足状况时的预计年限。3.24年数据生产能力经济指标 economic indicators of annual data production capacity依据已建成的类似项目的生产能力和投资额，反映应用系统工程费用的经济指标。通常用于在项目建议书阶段和可行性研究阶段编制投资估算。3.25功能点概算指标 functionpointindex method of budget estimate以应用软件系统为对象，反映应用软件系统开发费的经济指标。通常用于在可行性研究阶段和初步设计阶段
13、编制应用软件系统的投资估算或投资概算。3.26法规依从性regulatory compliance质量测度元素必须符合电子签名法、网络安全法及数据安全法、个人信息保护法等法律法规要求和国家强制性标准规范要求。4缩略语下列缩略语适用于本文件。DCI：数据综合指标（Data integrated Index）RCI：运行期综合指数值（Runtime Composite Index）DB21/T 375920234IFPUG：国际功能点用户组织(International Function Point User Group)COSMIC:通用软件度量国际联盟(Common Software Meas
14、urement International Consortium)NESMA:荷兰软件度量协会（NEtherland Software Measurement Association）FiSMA:芬兰软件度量行业协会(Finnish Software Measurement Association)5关键指标综述本文件从应用系统工程性能、建设规模、工程质量、运行绩效、工程造价等角度提出了数据生产能力、功能规模、质量评价、数据集规模、经济指标和期望使用年限等量化指标，为工程决策提供参考，用于可行性研究报告编制、初步设计图编制、投资概（预）算编制和工程验收和工程运维等各阶段。6数据生产能力6.1数
15、据生产能力计算公式如下：6110)/K(TPinii=式中：P每小时应用系统生产能力，单位为百万条/小时；Ti应用系统每小时完成的作业记录数量；Ki换算系数，基准作业的换算系数为1，其他作业换算系数应经计算或测试确定；n应用系统数量。6.2年数据生产能力计算公式如下：dtPPy=式中：Py年生产能力，单位为百万条/年；P每小时应用系统生产能力；t每个工作日有效工作小时数；d每年有效工作日数。6.3日数据生产能力计算公式如下：td=PP式中：Pd日数据生产能力，单位为百万条/小时；P每小时应用系统生产能力；t每个工作日有效工作小时数。6.4最大生产能力计算DB21/T 375920235公式如下
16、n)/3600/P(n1inm=P式中：Pm应用系统最大生产能力，单位为百万条/秒；Pn第n次的应用系统数据生产能力；n测试次数，一般情况下最少应测试3次。6.5并发能力计算公式如下：3600/PPc=式中：Pc并发能力，单位为百万条/秒；P每小时应用系统生产能力。7功能规模功能规模体现应用系统工程中软件开发工作量，为确定实施方案等提供重要依据。公式如下：=niiFAF1式中：F功能规模，单位为功能点；FAi第i个应用软件系统或数据处理系统功能点数量；n应用软件系统和数据处理系统总数量。注：功能点的度量方法可参考IFPUG、COSMIC、NESMA和FiSMA方法。8质量评价指标8.1质量测
17、度元素应用系统工程质量包括应用软件质量、数据质量和使用质量。应用软件质量分为8个特性，共有94个测度元素，详见附录A；数据质量分为15个特性，共有63个测度元素，详见附录B；使用质量分为5个特性，共有36个测度元素，详见附录C。8.2评价指标分类8.2.1合格应用系统合格应用系统，应满足如下要求：a)投入使用的应用系统应达到的基本条件，满足短期、初次使用要求；b)测度指标要求：投入使用前可以比较准确测量的，以及能够反映生产能力评价指标的元素进行测量。包括：DB21/T 3759202361)应用软件质量的功能性、性能效率、易用性、可靠性，具体测度元素参见附录 A；2)数据质量的准确性、完备性、
18、可用性、可恢复性，具体测度元素参见附录 B；3)使用质量的有效性、效率和总体满意度，具体测度元素参见附录 C。8.2.2普通应用系统普通应用系统，应满足如下要求：a)适用于业务比较稳定，具有中长期使用要求的应用系统；b)测度指标要求：1)在合格应用系统基础上，应用软件的易用性、可靠性和维护性得到提升；2)数据质量得到全面提升；3)使用质量的满意度和抗风险能力得到提升。8.2.3关键应用系统关键应用系统，应满足如下要求：a)适用于用户群体复杂、用户量增长较快的应用系统；b)测度指标要求：1)在普通应用系统基础上，应用软件质量的易用性、可靠性和维护性进一步优化；2)数据质量的准确性、效率、可理解性
19、基本得到满足；3)使用质量基本得到满足。8.2.4通用应用系统通用应用系统，应达满足如下要求：a)适用于具有较好前景，具有推广价值的应用系统；b)测度指标要求：1)在关键应用系统基础上，应用软件质量的兼容性、易用性、可移植性得到提升；2)数据质量的可访问性、可移植性得到提升；3)使用质量的周境覆盖得到提升。8.2.5就绪可用应用系统就绪可用应用系统，应达满足如下要求：a)适用于应用领域不断拓广,其正确的运行对于业务、安全或个人往往至关重要的应用系统；b)测度指标要求：在通用应用系统基础上，应用软件质量、数据质量和使用质量得到全面满足，从而能够在不同使用周境中持续稳定运行。9数据集规模数据集规模
20、主要是对数据集的情况进行记录和统计，以便直观的反映应用软件的运行结果情况。该指标能够用于应用系统的绩效考核，促进历史记录的规范化保存，促进形成数据资产。公示如下：=n1iPDiDA式中：DB21/T 375920237PD数据集记录数量，单位为百万条；DAi第i个数据集的记录数量，单位为百万条；n按年度统计的应用系统数据集数量。10经济指标10.1年数据生产能力经济指标公式如下：yPTI/DCI=式中：DCI年数据生产能力经济指标值，以万元/百万条为单位；TI应用系统工程费，以万元人民币为单位；Py年数据生产能力，以百万条。10.2功能点综合单价指标公式如下：FTI/AF=式中：AF应用软件功
21、能规模指标，以万元/功能点为单位；F应用软件功能点数量，数量为整数且不得出现小数；TI应用软件系统开发费，以万元人民币为单位。11期望使用年限应用系统工程立项与设计时应计算从应用系统投入运行至应用系统预计停止运行的年限。期望使用年限不足一年的按一年计算；超过一年不足五年的按实际年限计算；超过五年的，按五的倍数计算。通常情况下期望使用年限由建设单位提出，作为工程设计的约束条件，合理确定数据生产能力、质量评价指标，约束设备选型和工程造价指标等设计内容。DB21/T 375920238AA附录A（资料性）应用软件质量指标描述应用软件质量指标描述参见表A.1。表 A.1 应用软件质量指标序号特性子特性
22、测度元素法规依从性1级2/3级4/5 级内/外1功能性功能完备性功能覆盖率内外2功能正确性功能正确性内外3功能适合性使用目标的功能适合性内外4系统的功能适合性内外5功能性的依从性功能性的依从性内外6性能效率时间特性平均响应时间内外7响应时间的充分性内外8平均周转时间内外9周转时间充分性内外10平均吞吐量内外11资源利用性处理器平均占用率外12内存平均占用率外13I/O 设备平均占用率外14带宽占用率外15容量事务处理容量内外16用户访问量内外17用户访问增长的充分性外18性能效率的依从性性能效率的依从性内外19兼容性共存性与其他产品的共存性外20互操作性数据格式可交换性内外21数据交换协议充分
23、性内外22外部接口充分性内外23兼容性的依从性兼容性的依从性内外24易用性可辨识性描述的完整性内外25演示覆盖率内外26入口点的自描述性内外27易学性用户指导完整性内外28输入字段的默认值内外29差错信息的易理解性内外30用户界面的自解释性内外DB21/T 375920239表A.1应用软件质量指标（续）序号特性子特性测度元素法规依从性1级2/3级4/5 级内/外31易用性易操作性操作一致性内外32消息的明确性内外33功能的易定制性内外34用户界面的易定制性内外35监视能力内外36撤销操作能力内外37信息分类的易理解性内外38外观一致性内外39输入设备的支持性内外40用户差错防御性抵御误操作内
24、外41用户输入差错纠正率内外42用户差错易恢复性内外43用户界面舒适性用户界面外观舒适性内外44易访问性特殊群体的易访问性内外45支持的语种充分性内外46易用性的依从性易用性的依从性内外47可靠性成熟性故障修复率内外48平均失效间隔时间(MTBF)外49周期失效率外50测试覆盖率外51可用性系统可用性外52平均宕机时间外53容错性避免失效率外54组件的冗余度内外55平均故障通告时间外56易恢复性平均恢复时间外57数据备份完整性内外58可靠性的依从性可靠性的依从性内外59信息安全性保密性访问控制性内外60数据加密正确性内外61加密算法的强度内外62完整性数据完整性内外63内部数据抗讹误性内外64
25、缓冲区溢出防止率内65抗抵赖性数字签名使用率内外66可核查性用户审计跟踪的完整性内外67系统日志保留满足度内外DB21/T 3759202310表A.1应用软件质量指标（续）序号特性子特性测度元素法规依从性1级2/3级4/5 级内/外68真实性鉴别机制的充分性内外69鉴别规则的符合性内外70信息安全的依从性信息安全的依从性内外71维护性模块化组件间的耦合度内外72圈复杂度的充分性内73可重用性资产的可重用性内外74编码规则符合性内75易分析性系统日志完整性内外76诊断功能有效性内外77诊断功能充分性内外78易修改性修改的效率内外79修改的正确性内外80修改的能力内外81易测试性测试功能的完整性
26、内外82测试独立性内外83测试的重启动性内外84维护性的依从性维护性的依从性内外85可移植性适应性硬件环境的适应性外86系统软件环境的适应性外87运营环境的适应性外88易安装性安装的时间效率外89安装的灵活性外90易替换性使用相似性内外91产品质量等价性内外92功能的包容性外93数据复用/导入能力外94可移植性的依从性可移植性的依从性内外合计9414312029注1：“内”指测度元素依赖应用软件自身，“外”指测度元素依赖运行环境。注2：表中1级对应合格应用系统，2级对应普通应用系统，3级对应关键应用系统，4级对应通用应用系统，5级对应就绪可用应用系统。BBDB21/T 3759202311附录
27、B（资料性）数据质量指标描述数据质量指标描述参见表B.1。表 B.1 数据质量指标序号特性子特性属性名称法规依从性1级2/3级4/5 级1准确性测度“固有的”视点语法数据准确性2语义数据准确性3数据精度保证4数据集不准确性风险5数据模型准确性6元数据准确性7数据精度范围8完备性测度“固有的”视点记录完备性9属性完备性10数据文件完备性11数据值完备性12数据文件中的空记录13概念数据模型完备性14概念数据模型属性完备性15元数据完备性16一致性测度“固有的”视点引用完整性17数据格式一致性18数据不一致性风险19体系结构一致性20数据值一致性覆盖范围21语义一致性22确实性测度“固有的”视点值
28、确实性23资源确实性24数据字典确实性25数据模型确实性26现实性测度“固有的”视点更新频率27更新时效性28更新项要求29可访问性测度“固有的”视点用户可访问性30“依赖系统的”视点设备可访问性31数据格式可访问性32依从性测度“固有的”视点值或格式的标准依从性DB21/T 3759202312表B.1数据质量指标（续）序号特性子特性属性名称法规依从性1级2/3级4/5 级33“依赖系统的”视点技术上的标准依从性34保密性测度“固有的”视点加密使用35非易损性36效率测度“固有的”视点有效数据项格式37可用效率38数据格式效率39数据处理效率40浪费空间风险41冗余记录占用的空间42数据更新
29、延迟43精度测度“固有的”视点数据值精度44“依赖系统的”视点数据格式精度45可跟踪性测度“固有的”视点数据值可跟踪性46“依赖系统的”视点用户访问可跟踪性47数据值可跟踪性48可理解性测度“固有的”视点符号可理解性49语义可理解性50主数据可理解性51数据值可理解性52“依赖系统的”视点数据模型可理解性53数据表示法可理解性54相关主数据的可理解性55可用性测度“依赖系统的”视点数据可用性比率56数据可用概率57体系结构元素可用性58可移植性测度“依赖系统的”视点数据可移植性比率59数据可移植性期望60结构元素可移植性61可恢复性测度“依赖系统的”视点数据可恢复性比率62周期备份63结构可恢
30、复性合计639212211注1：“固有的”视点是指该测度元素依赖应用软件功能或数据架构设计。注2：“依赖系统的”视点是指该测度元素依赖数据库管理系统或运行环境。注3：表中1级对应合格应用系统，2级对应普通应用系统，3级对应关键应用系统，4级对应通用应用系统，5级对应就绪可用应用系统。CDB21/T 3759202313附录C（资料性）使用质量指标使用质量指标参见表C.1。表 C.1 使用质量指标序号特性子特性属性名称1级2/3级4/5 级1有效性有效性测度任务完成率2目标实现率3任务中的差错数4出错任务率5任务差错密度6效率效率测度任务用时7时间效率8成本效率9生产性时间比10非必要动作率11
31、疲劳影响12满意度满意度测度总体满意度13有用性测度特征满意度14自主使用率15特征利用率16用户投诉率17具体特征用户投诉率18可信性测度用户可信性19（用户体验）愉悦性测度用户愉悦性20（人体功效学）舒适性测度身体舒适性21抗风险经济风险缓解性测度投资回报率22投资回报用时23业务绩效24信息技术投资收益(率)25客户服务表现26网站访客客户转化率27单客收入28伴经济后果差错率29抗风险健康和安全风险缓解性测度用户健康报告(发生)率30用户健康和安全影响31使用系统对人身安全的影响DB21/T 3759202314表C.1使用质量指标（续）序号特性子特性属性名称1级2/3级4/5 级32
32、环境风险缓解性测度环境影响度33周境覆盖周境完备性测度周境完备性34灵活性测度使用周境灵活性35产品灵活性36熟知度独立性合计3613194注：表中1级对应合格应用系统，2级对应普通应用系统，3级对应关键应用系统，4级对应通用应用系统，5级对应就绪可用应用系统。DB21/T 3759202315参考文献1ISO/IEC20926SoftwareandsystemsengineeringSoftwaremeasurementIFPUGfunctional size measurement method 20092 ISO/IEC 19761 Software engineeringCOSMIC:
33、a functional size measurement method3 ISO/IEC 20968 Software engineeringMk Function Point AnalysisCounting PracticesManual4 ISO/IEC 24570 Software engineeringNESMA functional size measurement method version2.1Definitions and counting guidelines for the application of Function Point Analysis5 ISO/IEC 29881 Information technologySystems and software engineeringFiSMA 1.1functional size measurement method6 ISO/IEC 42010 Systems and software engineeringArchitecture description
