1、 一二,_ r.ii，!.itt;:tI3以;一二二二一二、温隘. : . .王军部_f!.再黑5去三川?三-ICS 35.040 L 71 中华人民共和国国家标准GB/T 29268.1-2012月SO/IEC19795-1 :2006 信息技术生物特征识别性能测试和报告第1部分:原则与框架Information tecbnology-Biometric performance testing and reporting一Part 1 : Principles and framework 2013-06-01实施(lSOjIEC 19795-1 :2006 , IDT) 2012-12-31
2、发布发布中华人民共和国国家质量监督检验检痊总局中国国家标准化管理委员会飞升Jmzfh啥叫GB/T 29268.1-2012/ISO/IEC 19795-1 :2006 目次前言.E引言.N 1 范围.2 符合性.3 规范性引用文件.4 术语和定义.4.1 生物特征数据.4.2 人机交互.24.3 测试中的人员.3 4.4 评价类型.4 4.5 生物特征识别应用.4 4.6 性能测量4.7 数据结果曲线.4.8 统计术语.5 通用生物特征识别系统.5. 1 通用生物特征识别系统概念图5.2 通用生物特征识别系统的构成.8 5.3 通用生物特征识别系统的功能.5.4 注册、验证和辨识过程.10 5
3、.5 性能测量. . . 11 6 策划评价.12 6.1 总则.12 6.2 本标准其他部分的使用.12 6.3 确定系统信息.12 6.4 控制影响性能的因素.13 6.5 测试对象的选择.146.6 测试规模.6. 7 多重测试7 数据收集.M7.1 数据收集错误的预防.16 7.2 数据和细节采集.17 7.3 注册.17 7.4 真实过程. 18 7.5 已注册用户的辨识识别.7.6 假冒攻击识别.19 7.7 非注册用户的辨识识别.21 GB/T 29268.1-2012月SO/IEC19795-1 : 2006 咱i咱inLqOFhupoponO町，咛tnt哼t吁nnxunxui
4、nLoonruqJAARunLndnLnLnLnLnLndqLnLnLnLnLnLnLnLqanaquaA立A哇A哇，咀数法函算的线外吁曲间大C库Mi:-11 性数反定是异确素H作汀差不因看囚的和的能川标型模能性指类规性别R标能UHH标u价试响选识成指性unuu指示评测影预将生扑蛐就MM础告标标统节表)指的证c确报指指系细形录录录录录录能统验识。不果标统统证试图附附附附附附LZ耳目且摆出出咄咄咄啊啊啊卜刊1234567曰编JJJJJJABCDEF文LA8.&队&immmmmm录录录录录录考89M附附附附附附参E GB/T 29268.1-2012/ISO/IEC 19795-1 :2006 .
5、a.&. - 目。自GB/T 29268(信息技术生物特征识别性能测试和报告分为下列7个部分z一一第1部分z原则与框架;十一第2部分z技术与场景评价的测试方法z一一第3部分z模态特定性测试;一一第4部分z互操作性性能测试z一一第5部分z生物特征识别门禁系统的场景评价;一一第6部分z性能评价的测试方法z一一第7部分z卡上生物特征识别比对算法测试。本部分为GB/T29268的第1部分。本部分按照GB/T1. 1-2009给出的规则起草。本部分使用翻译法等同采用国际标准ISO/IEC19795-1: 2006(信息技术生物特征识别性能测试和报告第1部分z原则与框架。与本部分中规范性引用的国际文件有一
6、致性对应关系的我国文件如下z一-GB/T27025-2008测试和校准实验室能力的通用要求(1S0/IEC17025 , IDT) 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。本部分由全国信息技术标准化技术委员会CSAC/TC28)提出并归口。本部分起草单位z中国电子技术标准化研究院、中国科学院自动化研究所。本部分主要起草人z袁理、冯敬、霍红文、耿力、李子青、敖萌、金倩、乔申杰、王里晴、郑小援、刘文莉。皿GB/T 29268.1-2012月SO/IEC19795- 1: 2006 引占一国本部分只涉及与生物特征识别系统和设备的科学性相关的技术性能测试。技术性能
7、测试的目的是确定系统和设备的错误率和响应速度，其目的是了解和预测生物特征识别系统在实际应用中的错误率和吞吐率。错误率包含错误接受率和错误拒绝率，同时也包括整个测试集的注册失败率和特征采集失败率。吞吐率是指单位时间内能够处理的用户数，取决于计算速度和人机交互的速度。这些测试普遍适用于所有的生物特征识别系统和设备。基于特定设备的技术性能测试，例如指纹扫描仪的图像质量测试不在本部分考虑范围内。技术性能测试仅仅是生物特征识别测试的一个形式a其他类型的测试不在本部分考虑范围内，包括z一一可靠性、可用性和可维护性z一一安全保密性，包括易受攻击性s一一符合性z一一安全性s一一人的因素，包括用户可接受性;一一
8、性价比;隐私法规的遵守情况。上述其他类型的测试方法及哲学问题正被一个成员f泛的国际团体所考虑。本部分的目的是规范执行技术性能测试的最适合的要求和最佳的科学操作。这是非常必要的，因为从过去20年的生物特征识别设备测试技术文献的一个简短的总结可以看出各种测试协议中存在着一些冲突和矛盾。即使是同一个组织进行的多次尝试，每次尝试都使用了不同的方法。不但因为不同的测试目标和测试数据对应不同的测试协议，还因为世有能够建立标准的测试协议，生物特征识别技术的性能测试可以分成三种类型:技术、方案或行为的评估。每个类型的测试需要不同的协议，并产生不同类型的结果。即使是一个同一类型的测试，由于存在多种的生物特征识别
9、设备、传感器、供应商的操作说明、数据采集方法、应用程序和测试人员集合，导致无法产生准确统一的测试协议。本标准的其他部分将为不同的开发和测试协议提供特定建议和要求。而本部分的理念和原则是广泛适用于各种测试条件的。N GB/T 29268.1-2012月SO/IEC19795-1: 2006 1 范围信息技术生物特征识别性能测试和报告第1部分:原则与框架GB/T 29268的本部分z一一规定一般生物特征识别系统性能测试的原则，包括预测错误率和识别速度以及比较性能和性能是否符合特定要求E-一规定生物特征识别系统的性能指标;一一规定测试方法、数据记录和结果报告的要求;-一一提供一个开发的框架和测试协议
10、的描述，以帮助避免由于不适当的数据搜集或程序分析导致的测试结果偏差，以及帮助在同样代价下实现最佳的领域性能估计，和改进对测试结果的适用范围的理解。本部分适用于以测试实验为基础的生物特征识别系统和算法的性能测试。该测试分析系统输出匹配得分和决策结果，而不涉及系统的算法或潜在的使用人群的生物特征分布情况。由于用户刻意避免被生物特征识别系统所识别而产生的错误不在本部分讨论范围内(例如，主动假冒者。2 符合性为了符合本部分规定，生物特征识别性能测试应按照本部分的要求进行规划、执行和报告。3 规范性引用文件下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文件。凡是不注日
11、期的引用文件，其最新版本(包括所有的修改单)适用于本文件。ISO/IEC 17025 测试和校准实验室能力的通用要求CGeneralrequirements for the competence of testing and calibration laboratories) 4 术语和定义下列术语和定义适用于本文件。4. 1 生物特征数据4. 1. 1 样本sample 通过生物特征传感器获取的生物特征信息或者数据。1 GB/T 29268.1-2012/ISO/IEC 19795-1 :2006 示倒z人脸图像、指纹图像、虹膜图像和语音等。注z在更加复杂的系统中，样本可能由多个数据组成。例
12、如10个手指指纹记录、不同角度的人脸图像捕捉和左右眼虹膜图像对.4. 1.2 特征f四ture从样本中提取出的、用于代表该样本的特定的数字化信息。示例2特征点坐标和主成分系数。4. 1. 3 模板template 模型model 系统中存储的注册用户的特征及相关信息。注2参考模板包括用户提交的理想样本的生物识别特征。更普遍的是，存储的参考模型将是一个代表该用户生物识别特征功能的键力范围.在本部分中，通常使用包含模型的模板4. 1.4 匹配得分ro.atching score 相似得分similar.tysCOre 比对的输出结果，代表参与比对的两个生物特征的相似程度。相似度的数值通常也称为相似
13、得分，或者比对得分注，:匹配戎不匹配由该得分是否超过判定阁值来决定。注2:从当前样本中抽取的特征越接近于存储的模板，相似得分越高。4. 1.5 验证决策verification decision 判定用户在系挠中的可能身份。4. 1.6 候选列表缸anddatelist 在一次辨识尝试中，可能是对象的注册身份标识的集合(或由预选算法产生的集合)0 4. 1.7 辨识决策identificatioll decision 判定用户在系统中可能身份的候选列表。4.2 人机交互4.2. 1 呈现presentation 用户身体某部分的一个生物特征样本的提交。4.2.2 尝试attempt 提交给系统
14、一个(或一序列生物特征样本。注2一次尝试的结果可能是生成一个注册模板、一个比对得分或一系列得分或者一次可能的采集失败.4.2.3 2 过程transaction 用户以注册、验证或辨识为目的的一个尝试序列。注z有三种过程g注册序列，产生一次注册或注册失败z验证序列，产生一个验证决策z辨识序列，产生一个辨识决策.GB/T 29268.1-2012/ISO/IEC 19795-1 :2006 4.2.4 本人尝试genuine副tempt一个用户与其对应模板进行的尝试。4.2.5 零效欺骗尝试zero-effort impostor attempt 在一次识别过程中，假冒者提交自身的样本并且声称其
15、身份为系统中注册的其他的人。4.2.6 主动欺骗尝试active imptor attempt 在识别过程中，尝试者采用伪造或复制的样本对所存储的他人样本进行匹配，或者尝试者本人修改自身的生物特征。注g主动欺骗尝试同零效欺骗尝试的错误率是有区别的。主动欺骗尝试中方法和技巧的定义均不属于本部分范围。4.2.7 呈现影晌presentation effects 用户固有生物特征提交给传感器过程中的各种变化因素。示例z人脸识别中的光照和姿态因素F指纹识别中的指纹方向和皮肤损坏因素等。在许多情况下，基本生物特征和呈现特征之间的变化可能并不能明确区分例如人脸识别中的表情识别或者说话者身份鉴别系统中的音高
16、变化。4.2.8 通道影晌channel eff，四ts在传导和传输过程中，由于采样、噪声和传感器及传输信道的频率响应特性等引起的信号改变的因素。4.3 测试中的人员4.3. 1 用户user 给系统呈现生物特征样本的人。4.3.2 测试对象test subject 参与评估过程且其生物特征样本用于注册或比较的用户。4.3.3 测试人员集crew 为一次评估聚集在一起的测试对象的集合。4.3.4 目标人群ta电，etpopulation 最终使用生物特征识别系统的人的集合。4.3.5 管理员administrator 执行测试或注册的人。4.3.6 操作员operator 实际系统中执行具体操
17、作的人。3 GB/T 29268.1-2012月SO/IEC19795-1: 2006 示倒g传递注册数据的工作人员或监视验证或辨识过程的工作人员。4.3.7 观察员observer 记录测试数据或监督测试人员的工作人员。4.3.8 实验员experimenter 负责定义、设计和分析测试的人。4.3.9 测试组织test organization 主持测试进行的功能实体。4.4 评价类型4.4. 1 技术评价technology evaluation 用事先收集好的测试数据或指定的测试人员集的样本对使用同样生物特征模态的一个或多个算法进行的离线评价。4.4.2 场景评价scenario ev
18、aluation 对原型系统进行的模拟真实应用的点到点评价。4.4.3 操作评价operational evaluation 在某种应用环境针对特定的目标人群对一个完整的生物特征识别系统进行的性能测量。4.4.4 在结OIIdine 在提交图像或信号的同时执行注册或比对的过程。注2在线检测，生物样本有可以立即丢弃的优势，节省了存储的需求，并且系统采用与通常不同的运作方式.不过，建议尽可能收集图像或信号。4.4.5 离缘。ff1ine提交图像或信号的过程与注册或比对的过程是分开的。注1:离线注册采集的图像或信号集和匹配得分的计算允许更好地控制尝试和模板图像以任何交易方式使用.注2:技术测试将始终
19、涉及数据存储，如离线处理。然而，在场景和业务测试中，在线交易可能对测试人员来说更为简单一一该系统采用通常的运作方式，尽管建议，图像或信号的存储并不是绝对必要的。4.5 生物特征识别应用4.5. 1 验证verification 检验用户是否为其所声明的身份。对于未知身份的X，其声称身份为A，将X与数据库中的身份为A的生物特征进行比对，如果满足系统设定的条件，则验证接受，否则验证拒绝。注z用户声称身份的形式可能会是名字、个人识别号、刷卡或者其他唯一的身份标识.4 GB/T 29268.1-20 12/ISO/IEC 19795-1: 2006 4.5.2 辫识identification 通过查
20、询数据库中的生物特征，与输入的生物特征进行比对来确定输入生物特征对应的未知人身份的或其候选列表。4.5.3 闭集辫识close-set identification 将属于目标集的待识别人确定为目标集中某个身份的过程。4.5.4 开集辨识open-set identification 将待识别的人确定为目标集中的某个身份或目标集以外的人的过程。4.6 性能测量4.6. 1 注册失败率failure-to-enrol rate FTE 注册失败的用户在总注册用户中所占的比例。注g观测到的注册失败率是由注册的测试人员来衡量的.预测/预期的注册失败率将适用于整个目标人群。4.6.2 采集失败率fai
21、lure-to-acquire rate FTA 在辨识或验证的尝试中，采集不到样本或样本质量无法达到要求的比例。注2观测到的采集失败率有别于预测/预期的采集失败率(前者可用于估计后者。4.6.3 错误不匹配率false non-matcb rate FNMR 正确的尝试样本被错误地判为不匹配的比例。注2测量/观测到的错误不匹配率有别于预测/预期的错误不匹配率(前者可用于估计后者).4.6.4 错误匹配率false matcb rate FMR 零效攻击尝试样本被错误地判为匹配的比例。注2测量/观测到的错误匹配率有别于预测/预期的错误匹配率(前者可用于估计后者).4.6.5 错误拒绝率fals
22、e refl配trate FRR 在验证识别过程中，真实者被错误判为拒绝的比例。4.6.6 错误接受率false accept rate FAR 在验证识别过程中，冒充者被错误判为接受的比例。5 GB/T 29268.1-2012月SO/IEC19795-1 : 2006 4.6.7 (正确)辨识率(true-positive) identification rate 识别率identification rate 在辨识过程中，用户被系统正确辨认的比例。注2识别率依赖于(a)注册数据库的大小，(b)匹配得分的判jlJ阀值以及返回的匹配识别数目.4.6.8 错误拒绝辨识率false-negati
23、ve identification-error rate FNIR 在辨识过程中，注册用户被系统错误辨识为其他注册用户的比例。注2错误拒绝辨识率=1一正确辨识率。4.6.9 错误接受辨识率false-positive identification-error rate FPIR 在辨识过程中，非注册用户被系统辨识为某个注册用户的比例。注，:错误接受辨识率依赖于(a)注册数据库的大小，(b)匹配得分的判别阂值以及返回的匹配识别数目。注2:闭集空间需要所有用户进行注册，因此要获得错误接受辨识率是不可能的。4.6. 10 预选算法pre-selection algoritbm 在辨识过程中，用来减少
24、匹配次数的某种算法。4.6. 11 预选错误pre-sel四tioneor 当来自同一用户的同一生物特征样本，并且其相应的注册模板不在预选候选子集中.预选算法错误发生。注g在分块预选中，当注册模板和来自同一用户的同一生物特征的子序列样本放置在不同的分区，预选错误发生。4.6. 12 语遗事penetration rate 预选算法平均选择出的待选模板数量的度量。4.6. 13 识别排名identification rank 在识别系统返回的前h个结果中，用户在该结果中的最小h值。注2识别排名依赖于注册数据库的大小，应表述为n个样本中的h选率.4.7 数据结果曲线4.7. 1 检测错误权衡曲线d
25、etection error trade-off curve DET曲线ROC曲线的一种变形，两个坐标绘制的错误率曲线(错误接受率为z轴，错误拒绝率为y轴)。注:DET曲线的例子如10.6.2所示的图3.4.7.2 6 接受者操作特性曲线r回eiveroperating cbaracteristic curve ROC曲线G/T 29268. 1-20 12/ISO/IEC 19795-1 :2006 以判别阔值函数为参数，以错误接受率(如被接受的假冒者尝试为z轴，以对应的正确接受率(如被接受的本人尝试为y轴而绘制的曲线。注:ROC曲线的例子如10.6.3所示的图4.4.7.3 累积E配特性曲
26、钱cumulative match characteristic curve CMC曲线一个辨识测试任务中的图形化结果展示方式，X轴记录辨识排名，y轴记录正确识别率达到或低于排名的正确辨识概率。注:CMC曲线的例子如10.6.4所示的图5.4.8 统计术语4.8. 1 方差variance v 描述统计数据分布范围的量。注1:如果E(X)是随机变量X的分布的平均数，则其方差V(X)=E(X一)2J，其中=EXJ. 注2:如果已知方差，那么这个方差说明的是估计值与真实值间的接近程度。4.8.2 置信区间confidence interval 描述参数z的下限估计值L和上限估计值U，并且z处于L和
27、U之间的概率为一给定的值(如95%)。示例z如果L.UJ是参数z的95%的置信区间，那么概率(xL.U)= 95%。注2测试集越小，置信区间越大。5 通用生物特征识别系统5. 1 通用生物特征识别系统概念圄由于存在众多不同的应用和技术，给出一般的生物特征识别系统的概括模型是很困难的。但是，在所有的系统中，有些元素是常见的。生物特征样本是由传感器从用户获得的。传感器输出的信息传送到处理器，处理器提取出独特但可重复的样本后，丢弃其他信息。该样本作为一个模板保存在数据库中，或和已有的一个或多个数据库中的模板进行比对，以便确认是否有匹配。最终依据模板与模板或模板与特征之间的相似度给出身份判别。图1说明
28、了一般生物特征识别系统的信息流以及组成系统的各个子系统z数据采集子系统、数据处理子系统、存储子系统、比对子系统和决策子系统。此图说明了系统的注册过程、辨识过程和验证过程。应指出的是，在任何真正的生物特征识别系统，这些概念的组件可能不存在或可能不直接对应的物理组件。例如，质量控制可以放在分割之前或者特征提取之后。7 GB/T 29268.1-2012月SO/IEC19795-1: 2006 注册数据库模板II I 模板一一啊一生成决策比对比对一一仨一一模板续援存储数据采集(-一一一-另一二一-一一一刀候选9四/I气/不愿院i雕, / F F 信号处理呈现辨识成功?1 决策续费鲁验证成功?果-iv
29、蛐验重新采集传感暴辨识结果一一一 -注册通用生物恃征识到系统的组戚图1通用生物特征识别系统的构成5.2 数据来集于系统数据采集子系统采集图像或者通过生物特征传感器采集用户的生物特征。该系统输出图片或生物特征信号作为生物特征样本。5.2. 1 传输子系统(不包含在摄念固中)传输子系统(不一定显式存在于生物特征识别系统在各个子系统之间传送信息。样本、特征或模板可能使用标准的生物特征数据交换格式进行传输生辑特征样本可能在传输之前被压缩和/或加密，并在使用前被解压缩和/或解密。一个生物特征样本可能在传输信道中由于噪声或压缩解压缩过程产生信息损失。建议在传输和存储中使用加密技术来保护生物特征数据的真实性
30、、完整性和可信性。5.2.2 信号处理子系统信号处理子系统从生物特征样本中提取显著的特征。该处理可能包括从生物特征信号中定位用户的生物特征(通常此过程称为分割、特征提取和质量控制，确保提取的特征是可识别和可重复的。质量控制拒绝接受样本时，信号采集子系统可能会采集新的样本。在注册过程中，信号处理子系统通过提取到的生物特征创建一个模板。通常注册过程要求通过多个特征产生一个模板。有时模板也只包含一个特征。5.2.3 数据存储子系统数据存储子系统把模板保存在注册数据库中。每个模板与注册用户的其他信息一一对应。应指出8 5.2.4 GB/T 29268.1-2012/ISO/IEC 19795-1 :2
31、006 的是，在被存储在数据库中之前，模板可能被转换为生物特征识别数据交换格式。模板可能存储在生物特征采集设备中，或一个便携式存储媒介如智能卡，或在个人电脑或本地服务器，或一个中央数据库中。5.2.5 比对子系统在比对子系统中，生物特征同一个或多个模板进行比对后，相似度将被传送到决策子系统中。相似度表明了特征与模板之间的拟合程度。在某些情况下，特征可能和模板采用相同的存储形式。在验证模式下，输入的特征仅和被声称的库中的模板进行比较，输出一个相似度。在辨识模式下，一些或全部的库中模板将同输人的特征进行比较从而产生多个相似度。5.2.6 决策子系统决策子系统使用多个相似度或一个相似度，对验证或辨识
32、的结果提供一个决策。在验证模式下，特征与模板是否匹配是由它们之间的相似度是否超过指定门限决定的。此决策模式可以允许进行多次尝试，确认用户是否为其所声称的身份。在辨识模式下，当某些相似度超过指定的门限时，或者某个相似度是所有相似度中最大的h个时，确认对应的注册身份为可能的辨识决策。注z从概念上讲，如果把多种模态的样本、模板、得分当作一个样本、模板、得分并在决策时采用融合的方式，多模态生物特征识别系统和单模态生物特征识别系统具有相同的处理方式，5.2.7 管理子系统(不包含在概念圈中)管理子系统负责管理生物特征识别系统的总体策略、执行和应用，以及有关法律、司法和社会的限制和要求。说明性的例子包括z
33、一在数据采集后给用户提供反馈信息p要求用户提交其他信息z存储和转换生物特征模板或生物特征交换数据z一一根据决策系统或相似度的结果提供最终的决策z一一设置门限值;一一配置生物特征识别系统的采集装置F一一控制工作环境和非生物特征识别技术数据的存储s一一为最终用户提供隐私保障措施z一一与其他系统进行交互。5.2.8 接口(不包含在概念图中)生物特征识别系统可能会通过API画数接口、硬件接口或者协议接口与外部应用程序或系统连接。5.3 通用生物特征识别系统的功能5.3. 1 注册注册过程中，系统为使用者生成相应的注册模板并将其存储在系统中。这个过程一般包括z一一数据采集z-一分割与特征提取z质量评价(
34、如果不合格则重新采集); -一模板生成(可能使用多个特征)，可能转换为生物特征识别数据交换格式z9 GB/T 29268.1-2012/ISO/IEC 19795-1 :2006 一一测试注册是否成功(或模板是否可用); 一一若初始注册不合格，可能允许重复注册尝试(视注册策略而定。5.3.2 验证身份验证是验证某使用者的真实身份是否与其声称的身份一致(如我是已经注册的勺。验证的结果可以是接受或者拒绝。如果不是接受错误声明(错误接受)或者是拒绝正确声明(错误拒绝)，输出的验证结果被认为是错误的。值得注意的是，某些生物特征识别系统允许一个用户注册多个特征(例如，一个虹膜系统可能允许最终用户注册左右
35、眼两个虹膜图像，而指纹系统可能最终用户注册两个或两个以上的手指作为备份，以防一个手指受伤的情况。验证一般包括以下步骤z一一数据采集z一一分割与特征提取P一一质量评价(如果不合格则重新采集h示例g比对输人特征与其所声称的身份的对应模板F判断相似度是否超过确定的门限z根据决策策略和比对得分判断是否匹配。在一个允许三次尝试的验证系统中，采集失败与错误匹配的任意三次组合会导致一个错误拒绝。如果在三次尝试中，有一个样本被接受并且与声称的身份的模板错误匹配，就会产生一个错误接受。5.3.3 拚识身份辨识的过程是试图确定某使用者是否已经注册在系统中，如果是则确定其身份。辨识提供一个可能为空或只包含一个辨识用
36、户的候选列表。当待辨识用户已往册，并且其注册的身份在候选列表中，识别过程被认为是正确的。如果已注册的待辨识用户不在候选列表中(错误拒绝辨识)，或者未注册的待辨识用户产生一个非空的候选列表(错误接受辨识)。身份辨识通常包括以下步骤:一一数据采集:一一分割与特征提取z一一质量评价2一-一特征提取(如果不合格则重新采集); 一一比对输入特征及系统中的待比对模板p一一基于是否有相似度最高的k个和/或相似度是否超过门限判断是否有匹配上的身份z一一根据决策策略和输出的一组比对得分做出辨识决策。注1:在全自动系统中，被标定的待辨识用户很可能与具有最高相似得分提供超出特定阔值的模板一致.当有人工操作员时，系统
37、可能会为操作者提供一个包含前r个匹配项的候选列表以便决策.通过人工操作员判断可能的匹配项，从而确定系统的实用性能指标不在本部分的范围内.注2:如果所有的待辨识人员均在一个已注册过的辨识系统中，永远不会出现错误接受这样的辨识错误。在已知识别闭集的退化情况下，性能测量通常以正确识别率的大小来衡量，该正确识别率与系统返回的候选列表大小相关.5.4 注册、验证和辨识过程上述生物特征识别功能取决于每一个用户的具体情况。在系统策略允许的情况下，该过程可能包括一次或多次的尝试(见图2)。例如，系统策略允许最多三次尝试验证，那么工作过程可能是一次成功尝试、第一次失败尝试和第二次成功尝试、或者前两次失败尝试和第
38、三次成功尝试。GB/T 29268.1-2012/ISO/IEC 19795- 1 :2006 每个尝试可能包含多次数据采集，这取决于样本质量、传感器操作以及采集次数限制和超时设置。例如z一次注册过程可能需要采集几次生物特征样本。生物特征验证系统通常使用一个样本序列来进行一次尝试。例如za) 在一系列样本中找到最佳匹配的样本sb) 不断采集样本直到出现一个匹配样本或超时Fc) 直到出现一个满足质量要求的样本或者超时。一次尝试可能包括多次样本来集第1次呈现第2次呈现第N次呈现在典型的决策策略中，生物特征数据获取失败N次后将导致一次尝试失败5.5 性能测量5.5. 1 错误率一个识到过程可能包括多
39、次尝试。这取决于系统是否允许或需要多个样本第1次尝试第2次尝试第N次尝试在典型的决策测略中，N次尝试失败将导致一次酬过程失败固2采集、尝试和识别一次用户识别过程可能包含多次尝试第1次过程第2次过程第Nrx.过程验证决策和辨识决策的错误是由匹配错误(即错误接受和错误拒绝)或样本采集错误(即注册失败错误和采集失败错误)引起的。这些基本错误组合形成最终识别错误取决于所需的比较次数、验证中所声称身份的真假、以及最终决策策略，例如系统是否允许多次尝试。注z虽然生物特征识别系统的性能历来是由错误率一一错误接受率和错误拒绝率所衡量的，但这些错误率在不同的文献中的定义存在矛盾.大规模辨识系统的相关文献中，往往
40、把输入的样本错误匹配到另一个用户的模板的情况定义为错误拒绝飞在访问控制方面的文献中，把这种情况定义为错误接受，错误的匹配率和错误的不匹配率一般不宜与错误接受率和错误拒绝率等同使用。错误匹配率和错误不匹配率用比对的次数计算，而错误接受率和错误拒绝率用识别系统给出接受和拒绝的次数计算.此外，错误接受和错误拒绝应包括错误采集。5.5.2 晌应速度响应速度是指单位时间内能够处理的用户数。此项指标适用于所有的生物特征识别系统与设备。足够的响应速度是任何生物特征识别系统的重要性能指标。在访问控制系统中，响应速度通常是由用户交互过程中能够采集到达到质量要求的生物特征的时间所决定。在身份辨识系统中，响应速度通
41、常由提交的样本与数据库中待比较的模板进行比对的时间所决定。因此，系统类型的不同，导致人机交互速度和计算机处理速度成为影响响应速度的主要因素。对计算机处理速度的测量准则在相关的计算机标准中有详述，故在此不做考虑。对人机交互速度的测量需要精确定义交互的开始和终止。这个定义应在进行测试前给出并附在测试报告中。测试报告还应包含人机交互的简短操作清单。5.5.3 性能评价类型测试生物特征识别系统涉及到了测试数据的采集，这些测试数据包括注册在系统中的样本和用在GB/T 29268. 1-20 12/ISO/IEC 19795-1 :2006 验证或辨识中匹配得分的样本。测试数据可以是在线实时采集的或者离线
42、存储于数据库中的。a) 在对技术的评价中，对所有算法使用同一个标准测试集。测试数据由一个通用的传感器进行收集，即一个传感器采集样本，所有算法都是用同样的样本进行测试。然而，在这个测试集上的表现是取决于该测试集的采集环境和采集对象的。在测试之前可能会分发一部分数据用来对算法进行优化调整，但实际参与最后测试的数据应是不包含已分发的数据的。测试通常是利用脱机数据进行的。由于测试集是固定的，所以对技术的评价结果是可重现的;b) 在对方案的评价中，测试是在模拟真实使用的情况下对整个系统进行测试，每个参与测试的系统都有各自的传感器，它们采集到的数据是略有不同的。因此如果将多个系统进行比较，宜要求它们的传感器所处的环境及测试对象是相同的。根据每个设备的存储能力不同，这种测试可能是离线和在线测试相结合的。测试结果只在可严格重现测试场景的情况下方可重现Fc) 在对实际操作的评价中，根据系统的存储能力不同，离线测试可能是不可实现的。一般来说，实际操作测试由于各种因素的影响导致了测试环境具有不可重现性。因此，绝对真实是难以确认的，特别是当系统在没有管理员、操作员或观察员监督的情况下运行的测试.6 策划评价6. 1 总则作为测试的第一步，以下事项应首先确定za) 待评价的系统、应用、环境zb) 待评价的指标zc) 测试数据
