1、ICS 03.060 A 11 备案号 JR 中 华 人 民 共 和 国 金 融 行 业 标 准 JR/T 01112014 证券期货业数据通信协议应用指南 Securities and futures industry data communication protocol application guide 2014 - 12 - 26发布 2014 - 12 - 26实施 中国证券监督管理委员会 发 布 JR/T 01112014 I 目 次 前言.V 引言.VII 1 范围.1 2 规范性引用文件.1 3 术语和定义、缩略语.1 3.1 术语和定义.1 3.2 缩略语.1 4 指南使用
2、说明.2 4.1 概述.2 4.2 使用原则.2 4.2.1 概述.2 4.2.2 推荐性.2 4.2.3 收敛演进.2 4.2.4 最优化.3 4.2.5 可验证.3 4.2.6 路径规划.3 4.2.7 容忍特例.3 4.3 使用限制.3 4.3.1 概述.3 4.3.2 系统限制.3 4.3.3 技术限制.3 4.3.4 环境限制.3 4.3.5 成本限制.4 5 协议演进说明.4 5.1 概述.4 5.2 协议演进目标.4 5.3 协议演进路线.5 5.3.1 自愿转换.5 5.3.2 并存过渡.6 5.3.3 强制转换.6 5.4 协议演进建议.6 5.4.1 协议演进发起.6 5.
3、4.2 协议演进分工.6 5.4.3 协议演进分析.6 5.4.4 协议演进评价.7 JR/T 01112014 II 6 协议应用指南.7 6.1 概述.7 6.2 应用方法论.7 6.2.1 业务需求分析.7 6.2.2 数据通信特征提取.8 6.2.3 协议筛选.8 6.2.4 协议最优化分析.8 6.2.5 协议验证.8 6.3 应用流程.9 6.3.1 概述.9 6.3.2 子流程一:业务需求分析.9 6.3.3 子流程二:数据通信特征提取.10 6.3.4 子流程三:协议筛选.10 6.3.5 子流程四:协议最优化分析.10 6.3.6 子流程五:协议验证.10 7 应用优化指南.
4、10 附录A(资料性附录) 数据通信特征说明.11 附录B(资料性附录) 主要数据通信业务的特征值表.13 附录C(资料性附录) 主要数据通信协议的特征值表.28 附录D(资料性附录) 数据通信协议筛选决策树.38 附录E(资料性附录) 协议应用案例.41 参考文献.54 图1 数据字典.5 图2 基于特征决策树的数据通信协议应用方法论示意图.7 图E.1 托管行与资产管理公司之间电子对账业务协议验证图.43 图E.2 投资顾问系统和量化交易系统间数据交换图.44 图E.3 量化交易系统与投资顾问系统对接协议验证图.47 图E.4 一线通平台银期转账业务协议验证图.52 表1 数据通信协议演进
5、目标.4 表2 业务需求分析任务列表.9 表A.1 数据通信特征定义表.11 表A.2 数据内容特征说明表.12 表B.1 主要数据通信业务的特征值表.13 表C.1 主要数据通信协议的特征值表.28 表D.1 数据通信协议筛选决策树.38 表E.1 托管行与资产管理公司之间电子对账业务协议特征表.42 表E.2 托管行与资产管理公司之间电子对账业务协议筛选结果.42 表E.3 量化交易系统与投资顾问系统对接协议特征表.45 JR/T 01112014 III 表E.4 量化交易系统与投资顾问系统对接协议筛选结果.46 表E.5 Level2行情传输业务协议特征表.48 表E.6 Level2
6、行情传输业务协议筛选结果.49 表E.7 Level2行情传输业务协议验证运行环境表.49 表E.8 一线通平台银期转账业务协议特征表.51 表E.9 一线通平台银期转账业务协议筛选结果.51 JR/T 01112014 IV JR/T 01112014 V 前 言 本标准按照GB/T1.12009给出的规则起草。 本标准由中国证券监督管理委员会提出。 本标准由全国金融标准化技术委员会(SAC/TC180)归口。 本标准起草单位:中国证券监督管理委员会信息中心、深圳证券通信有限公司、上海证券交易所、 深圳证券交易所、上海证券通信有限公司、深圳证券信息有限公司、上海金融期货信息技术有限公司、 大
7、成基金管理有限公司。 本标准主要起草人:张野、罗凯、钱宗保、马晨、谢文海、王书芳、张兴东、王宏、林国彪、吴韶 平、曾海泉、吴凌坤、黄天寿、史学勇、郑永康、骆经玮。 JR/T 01112014 VI JR/T 01112014 VII 引 言 随着证券期货行业多年的快速发展,业务模式从最初的手工报单柜台发展到基于信息技术的自动化 处理,不同市场参与方系统之间需要进行复杂的数据交换与指令通信,大量的数据通信需求催生出了多 种数据通信协议。 数据通信协议规范了各参与方之间交换信息的业务概念、逻辑关系与规则、元素数据类型、通信报 文组织形式与数据格式、通信报文传输机制等内容,使得各参与方能够依据统一的
8、规范定义、生成、封 装、编码、传输、解析数据通信报文,大大提高了信息交换的质量和效率,促进了业务的创新与发展。 各参与方为了满足不断创新与发展的业务需求,针对不同的业务需求制定了多种数据通信协议,导 致数据通信协议的数量快速增加,协议之间的差异较大,一些相同的业务概念在不同的协议中存在不同 的逻辑关系、规则、元素数据类型、通信报文组织形式与数据格式,一些协议也采用了不同的通信报文 传输机制,行业内的数据通信协议显现多元化、发散式发展的趋势,提高了系统间通信的复杂性和运行 风险,增加了维护成本和开发周期,急需从行业角度整体规划。 本标准提出数据通信协议渐进式收敛演进的目标、原则、方法、流程与路线
9、,通过科学实用的原则 与方法,指导市场各参与方的系统选择最适宜的数据通信协议,降低系统间通信的复杂性和运行风险, 减少系统维护成本和开发周期,同时促进行业数据通信协议的收敛演进,逐步达成协议演进目标。统一 且标准的数据通信协议将会极大地提高业务运行的效率,有力地支持业务创新与发展,而业务创新与发 展也会反作用于数据通信协议的创新与发展,两者相辅相成,互相促进,将会在行业内形成一个良性的 循环,共同促进业务与数据通信协议的健康有序发展。 JR/T 01112014 VIII JR/T 01112014 1 证券期货业数据通信协议应用指南 1 范围 本标准给出了数据通信协议渐进式收敛演进的目标、路
10、线、建议、方法与流程等内容,描述了数据 通信特征,以及主要数据通信业务与协议的特征值,总结出数据通信协议筛选决策树等内容,确立了证 券期货行业内及行业间机构,在制定数据通信解决方案过程中,选择现有数据通信协议或制定新数据通 信协议时应遵守的原则。 本标准适用于证券期货行业内及行业间机构,在选择或制定数据通信协议时参考。 2 规范性引用文件 下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件,仅所注日期的版本适用于本文 件。凡是不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。 GB/T 27926.1-2011 金融服务 金融业通用报文方案 第1部分:库输入输出方法和格式
11、规范 3 术语和定义、缩略语 3.1 术语和定义 下列术语和定义适用于本文件。 3.1.1 特征 characteristic 某一事物自身所具备的特殊性质,是区别于其他事物的基本征象和标志。 3.1.2 特征值 characteristic value 对特征进行量化后的取值,主要以取值范围或集合的形式表现,可为单值、多值、区间值等。 3.1.3 收敛演进 convergent evolution 事物向目标逐步聚集、靠拢,最终接近或达成目标。 3.1.4 协议演进目标 protocol evolution target 证券期货业实际应用的数据通信协议,根据行业统一规划与设计,收敛演进的目
12、标,为一组数据通 信协议集合。 3.2 缩略语 下列缩略语适用于本文件。 ASN.1 抽象语法标记1 (Abstract Syntax Notation One) BIN 二进制文件 (Binary File) CSRC 中国证监会 (China Securities Regulatory Commission) JR/T 01112014 2 CSV 逗号分隔值 (Comma Separated Values) DBF 数据库文件 (DBF DataBase File) FAST 适流金融信息交换协议 (FIX Adapted for Streaming Protocol) FIX 金融信息
13、交换 (Financial Information eXchange) FIXML 金融信息交换标记语言 (Financial Information Exchange Markup Language) FIXT 金融信息交换会话协议 (FIX Session Protocol) FIXTV 金融信息交换标记=值编码 (Financial Information Exchange Tag=Value Encoding) FTD 期货交易数据通信协议 (Futures Trading Data Exchange Protocol) GPB 谷歌协议缓冲区 (Google Protocol Buf
14、fers) JSON JavaScript对象表示法 (JavaScript Object Notation) SBE 金融信息交换简单二进制编码(FIX Simple Binary Encoding) SQL 结构化查询语言 (Structured Query Language) STEP 证券交易数据通信协议 (Securities Trading Exchange Protocol) SWIFT 环球同业银行金融电讯协会(Society for Worldwide Interbank Financial Telecommunication) TXT 文本文件 (Text File) XB
15、RL 可扩展商业报告语言 (eXtensible Business Reporting Language) XML 可扩展标记语言 (eXtensible Markup Language) 4 指南使用说明 4.1 概述 目前行业内及行业间使用的数据通信协议有数十种之多,鉴于每种协议都有其自身的特征,其所承 载的数据与报文也因业务的发展各有不同,特制订本标准用于指导如何分析和选择技术系统的数据通信 协议,从而满足业务创新与发展的需求。 本标准将定期进行回顾、研究与更新,持续吸收数据通信协议领域最新的研究成果,反映行业内及 行业间应用数据通信协议的发展趋势与最佳实践。 4.2 使用原则 4.2.
16、1 概述 无论是现有技术系统的升级改进,还是将来新系统的开发建设,都存在数据通信协议选择与决策的 需求。本标准基于决策树方法,对行业内及行业间主要业务和数据通信协议进行特征识别、提取、抽象 与归纳,通过对数据通信特征进行分析决策,构建数据通信协议筛选决策树,形成了一套基于数据通信 协议特征决策的应用方法论。 4.2.2 推荐性 本标准属于推荐性行业标准,不具有强制性,也不具有法律上的约束性。行业内及行业间机构可根 据自身实际情况,自愿依据本标准选择适用的数据通信协议。 4.2.3 收敛演进 JR/T 01112014 3 本标准提出行业数据通信协议收敛演进的目标、路线与建议,从行业角度整体规划
17、数据通信协议的 数据字典、报文类别、数据格式和传输机制,促使数据通信协议收敛演进到几种主要的公开通信协议, 进一步提高通信效率、降低行业整体通信成本。 4.2.4 最优化 本标准规范的协议应用方法论中,要求对筛选出来的协议进行最优化分析,即综合分析行业应用情 况、遗留系统、周边环境、总体拥有成本、实施周期、风险管理及评估等多种因素,选择最优的协议。 4.2.5 可验证 本标准规范的协议应用方法论中,要求对通过协议最优化得出的协议进行验证,以确保其能够满足 业务需求。验证方法主要包括反向推演和模拟测试。 4.2.6 路径规划 随着行业的持续发展,行业内数据通信协议最终将收敛演进到若干个主流的协议
18、(簇)集,本标准 将对主流的协议(簇)集进行中长期规划,按照规划路径持续演进,逐步达成协议演进目标。 4.2.7 容忍特例 本标准提供的原则与方法,是根据业务需求筛选协议的通用指南,但现实情况中会有其它更复杂的 客观因素需要考虑和权衡,因此对于某些特殊需求或特定场景,本标准将不再完全适用。 当某些特殊需求或特定场景随着业务的发展转为常规需求,本标准将对此类需求进行分析,根据分 析结果进行调整和更新,用于指导同类需求的分析与协议应用。 4.3 使用限制 4.3.1 概述 本标准在某些特殊需求或特定场景下将不再完全适用,因此在使用本标准前,首先必须确定自己对 于哪些因素拥有主导权,又对于哪些因素没
19、有主导权。对于自己没有主导权的那些因素来说,就会产生 应用限制。具体来说,有以下一些使用限制需要考虑。 4.3.2 系统限制 这类限制一般针对的是有遗留系统的场景,即某遗留系统所使用的数据通信协议并非最优,通过本 标准可以筛选得到更优的协议,但是由于该遗留系统的某些限制导致无法或者不值得将当前的数据通信 协议变更为更优的协议,例如某些系统之间的数据通信仅仅局限于少数特定的系统之间,且系统特性导 致这些交互在较长时间内是不会变动的;某些系统即将达到自己的生命周期,即将下线被新系统替换等。 对于新开发的系统和仍然可以进行变更的系统而言,通常不存在此类限制,应当尽可能的遵循本标 准的应用原则与方法。
20、 4.3.3 技术限制 技术限制是指由于技术上的原因,导致必须使用某些数据通信协议。常见的技术限制包括协议可选 范围的限制、应用主机平台的限制、通信线路的限制等,例如新开发的系统所运行的操作系统平台本身 对某些协议支持力度不够,没有提供相应的开发接口或者限制某些协议的使用等,导致数据通信协议的 选择范围受限。 4.3.4 环境限制 JR/T 01112014 4 环境限制是指新开发系统所处的技术生态环境对数据通信协议选择所带来的限制。这类限制大多来 自于与新开发系统进行对接的系统的技术与管理限制,例如新开发的系统要接入国外的交易系统平台, 由于国外的交易系统平台开放的数据通信协议已经固定,而且
21、受国外机构的技术与管理限制约束,接入 必须使用相应的协议,否则无法进行数据通信。在这种情况下,可以不采用根据本标准得出的数据通信 协议,而根据实际情况选用特定的数据通信协议。 4.3.5 成本限制 成本限制是指由于系统开发或者变更造成的各类成本所导致的限制,例如对于新开发的系统,在通 过本标准筛选得出数据通信协议后,发现该协议存在专利费问题,或应用该协议的系统建设费用很高, 如导致的成本增加不可接受,即产生成本限制;对于现有系统的改造,通过本标准筛选得出更优的数据 通信协议后,发现用该协议替换掉现有协议所需的实施改造成本过大,无法承担,也会产生成本限制。 因此,在采用本标准筛选得出的数据通信协
22、议之前,必须对实施成本做出较为准确的估算,以判断是否 会产生成本限制。 5 协议演进说明 5.1 概述 随着信息技术的持续发展,一些新的数据通信协议不断出现,协议演进与更迭是证券期货业必须面 对的现实,但在过程中应当选定适当的协议演进路线,逐步向协议演进目标收敛演进。 5.2 协议演进目标 数据通信协议从逻辑上由高至低可分为数据字典、报文类别、数据格式、传输机制共四个层次,各 层次协议演进的目标如下: 表1 数据通信协议演进目标 数据字典 业务概念、数据类型、报文概念 交易 结算 信息披露 监管报送 行业间 其它 报文类别 FIX、FTD ISO 20022 XBRL XBRL、新制 定 IS
23、O 20022、行业间 报文类别 新制定 FIXTV、FIXML、 SBE、ASN.1、GPB、 FAST XML、DBF XML XML、DBF、 CSV XML XML 数据格式 JSON、CSV、DBF、新制定 传输机制 FIXFIXT、FDEP、PROP、DCOM、HTTPHTTPS、新制定 以上4个层次的说明如下: a) 数据字典(Data Dictionary):GB/T 27926.1中库的组成部分,包含了在进行业务过程建模 和报文定义时,可利用的所有项,包括业务概念(Business Concept:具有业务含义的字典项)、 数据类型(Data Type:明确规定业务元素或报文
24、元素有效取值范围的项)和报文概念(Message Concept:用于报文定义的字典项),具体如下图所示: JR/T 01112014 5 图1 数据字典 b) 报文类别(Message Category):根据不同类别的报文定义标准和语法,规范化描述的报文定 义(Message Definition:报文结构的规范化描述)和报文规则(Message Rule:在报文定义 级上规定的特定限制)。其中,报文定义包括报文组件(Message Component:组成报文定义 的可复用的字典项)和报文元素(Message Element:报文组件的特性,在报文组件内具有唯 一含义);报文规则包括报文
25、定义级上规定的特定限制; c) 数据格式(Data Format):即报文定义和报文规则的编排格式,常见的有XML、FIX标签值、 JSON、CSV、DBF等格式; d) 传输机制(Transport Mechanism):即报文传输的定义,以及通信会话的机制,常见的有 FIXFIXT、HTTPHTTPS、FDEP等传输机制。 5.3 协议演进路线 协议演进可以分成自愿转换、并存过渡、强制转换三条路线,其中前两条路线可以重叠或并行,也 可以做为第三条路线的过渡,以降低强制转换所带来的冲击与影响。 5.3.1 自愿转换 数据字典 业务概念 数据类型 报文概念 变更历史记录 业务联系 业务组件 业
26、务元素 规则 业务参与者 业务角色 报文组件 报文元素 规则 数据类型 数据类型表示形式 编码 关系到 扮演 来源于 来源于 基于 其值为 类型为 类型为 JR/T 01112014 6 行业内参与方根据本标准得出更优的新数据通信协议后,可以自愿将现有协议转换为更优的新协 议。可以直接将现有协议转化成新协议的情况是: a) 当现有协议和新协议的数据字典、报文类别相同或等价时,协议转换的成本较低,能够比较容 易、高效地建立并应用新协议,替换现有协议; b) 新协议优势明显,现有协议已明显落后,行业已经明确形成应当采用新协议的共识。 协议转换应当在风险可控的原则下,实现技术改造。协议转换过程中,可
27、根据具体情况存在适当的 过渡期,逐步实施。协议转换如牵涉参与方较多或业务覆盖面较广时,建议业务主管机构统筹协调。 5.3.2 并存过渡 行业内参与方根据本标准得出更优的新数据通信协议后,如新协议的优势相比现有协议不够明显、 或周边系统转换为新协议的成本较高时,可以同时支持两种协议,允许参与方依据自身情况,评估两种 协议的优缺点后,自主选择最适合的协议,最终由市场淘汰封闭的私有协议,达成演进目标。 在新协议与现有协议并存的时间内,新协议需要体现自身在高效率、安全、以及技术创新等方面的 优势,逐步优化发展成为行业内的共识与目标。与此同时,陈旧、低效、高风险的协议应该逐步过渡转 换到新协议。 5.3
28、.3 强制转换 当现有协议阻碍了行业技术进步与发展、增加了用户成本、且存在安全风险等情况时,应通过强制 手段,用新协议取代现有协议。以下情况建议进行协议的强制转换: a) 系统需与国际标准协议(如FIX等)对接,但现有协议无法对接或对接成本较高; b) 现有协议持续无序发展,无法收敛演进到协议演进目标; c) 现有协议存在安全风险。 新协议与现有协议之间的强制转换,应当从顶层设计开始,由上至下逐步完成数据字典、报文类别、 数据格式和传输机制各层次内容的定义。建议由行业主管部门统筹规划,在风险可控的原则下,组织完 成协议转换。 5.4 协议演进建议 5.4.1 协议演进发起 协议演进的动力大多来
29、源于开展新业务、调整现有业务模式或发起技术系统升级改造等。当现有协 议无序发展造成行业应用成本过高,或明显不利于业务开展时,建议尽快发起协议演进。 5.4.2 协议演进分工 协议演进涉及不同层次,相应的分工如下: a) 业务层次:对于开展新业务或调整业务模式,协议制定与修订的发起方建议为业务主管机构或 执行机构的业务部门,在定义业务概念时引用行业数据模型标准中的数据字典,定义报文类别 时引用行业报文库,规范业务相关的数据字典和报文类别; b) 技术层次:对于建设或改造系统、制定数据通信协议技术解决方案,协议制定与修订的发起方 建议为业务主管机构或执行机构的技术部门,在制定技术方案时依据业务层次
30、关于数据字典和 报文类别的结论,规范技术相关的数据格式与传输机制。 5.4.3 协议演进分析 JR/T 01112014 7 行业内数据通信协议标准在立项或制订编制说明时,建议分析向本标准演进目标演进的具体思路与 可行性,内容建议如下: a) 如立项标准符合演进目标,内容应包括向本标准演进目标演进的具体思路与可行性; b) 如立项标准不符合演进目标,内容应包括不能向本标准演进目标演进的原因与后续计划。 5.4.4 协议演进评价 行业内数据通信协议标准在立项与评审过程中,建议考虑系统实施成本、业务推出时间、系统改造 计划等多种因素,对协议演进分析进行综合评审,得出客观的协议演进评价结论。 6 协
31、议应用指南 6.1 概述 本标准综合分析了行业现有数据通信类业务的需求,以及现有的各种公开和私有数据通信协议,总 结归纳了主要数据通信业务与协议的特征,制定出“基于特征决策树的数据通信协议应用方法论”。通 过该方法论,各参与方可以科学有效地进行数据通信业务的需求分析与数据通信特征提取,用于数据通 信协议的筛选、决策、最优化与验证。 6.2 应用方法论 本方法论的名称为“基于特征决策树的数据通信协议应用方法论”,用于指导行业内机构在选择或 应用新的数据通信协议时,进行业务需求分析、提取协议特征,并根据这些特征及优先级,通过数据通 信协议筛选决策树筛选得出最优的协议(族)集,或基于该协议(族)集开
32、发新的协议。 本方法论的流程图如下: 图2 基于特征决策树的数据通信协议应用方法论示意图 本方法论的说明如下: 6.2.1 业务需求分析 即全面深入地了解业务需求,分析归纳出业务类别、业务内容、业务参与方、业务开展时间、当前 应用的数据通信协议、是否涉及跨机构的数据通信。如果不涉及跨机构的数据通信,则需求分析结束, 本标准将不适用于此业务;否则进一步分析跨机构数据通信的应用范围、通信层次、数据内容、信息安 全、交互方式、数据通信量、数据结构化、有效载荷率、数据载体、数据字符集等内容。 验 证 最优化 筛 选 决 策 特征 提取 常规 分析 一、业务 需求分析 二、数据 通信特征 提取 三、协议
33、 筛选 四、协议 最优化分 析 五、协议 验证 JR/T 01112014 8 常用的业务需求分析方法有: a) 查阅资料:查阅与业务需求相关的历史文档、书籍、法律法规、业务规则、业务方案等资料, 收集相关信息,进行汇总分析后,了解业务背景、业务目标、业务限制、业务规则等内容; b) 调研:向业务相关方发放调查表,或召开调研会,详细了解业务需求,收集整理来自不同参与 方的观点与建议; c) 询问:对于业务需求中的重点或难点问题,向专业人士询问,快速获取专业知识与专业意见, 确保需求分析的正确性与完整性; d) 收集数据:如果条件允许,尽可能收集业务相关的数据,为需求分析提供数据支持,充实并验 证需求分析结果。 6.2.2 数据通信特征提取 即在详尽的业务需求分析基础上,按数据通信特征的优先级,逐项提取业务的数据通信特征。数据 通信特征说明参见附录A。 附录B列出了当前行业内已经存在的主要数据通信业务及其相应的数据通信特征,供提取业务的数 据通信特征时参考。随着业务与数据通信协议的发展,需要持续对附录A和附录B进行补充和完善。 6.2.3 协议筛选 即按照决策树的方法,结合附录C和附录D,对业务的数据通信特征进行分析与决策,筛选出适合 的数据通信协议。随着数据通信协议的发展,需要持续对附录C和附录D进行补充和完善。 6.2.4 协议最优化分析 协议筛选