1、 大数据平台总体架构和技术要求 General architecture and technical requirements of big data platform Q/GDW Q/GDW 11702 2017 ICS 35.100.01 国 家 电 网 公 司 企 业 标 准 2018 - 03 - 05 发布 2018 - 03 - 05 实施 国家电网公司 发布 Q/GDW 11702 2017 I 目 次 前 言 . II 1 范围 . 1 2 术语和定义 . 1 3 缩略语 . 4 4 平台架构要求 . 5 4.1 总体架构 . 5 4.2 功能架构 . 5 5 平台功能要求 .
2、 6 5.1 数据接入 . 6 5.2 数据存储计算 . 7 5.3 统一分析服务 . 9 5.4 安全管理 10 5.5 运维管理 11 5.6 跨域协同 12 6 平台技术要求 12 6.1 总体要求 12 6.2 性能要求 12 6.3 可靠性要求 13 6.4 易用性要求 13 6.5 可扩展性要求 14 6.6 连续性要求 14 6.7 安全要求 14 编制说明 . 15 Q/GDW 11702 2017 II 前 言 为规范国家电网公司企业级大数据 平台（以下简称大数据平台）建设应用，明确大数据平台 总体 架构 和技术 要求，提升公司内外部数据资源整合处理和价值挖掘水平，支持公司一
3、体化、专业化、扁平化、集约化管理，增强数据价值创造力，制定本标准。 本标准由国家电网公司信息通信部提出并解释。 本标准由国家电网公司科技部归口。 本标准起草单位：全球能源互联网研究院、中国电力科学研究院、国网信息通信产业集团有限公司、南瑞集团有限公司、国家电网公司信息通信分公司、国网山东省电力公司、国网江苏省电力公司、国网浙江省电力公司、国网上海市电力公司。 本标准主要起草人：王继业 、曾楠 、高昆仑 、郑晓崑 、朱力鹏、胡斌、饶玮、周爱华、戴江鹏、杨佩、潘森 、蒋静 、王宇飞、刘贺 、邓春宇 、刘鹏 、季知祥、邹保平、陈宏、章剑涛、苏志勇 、潘兴棋 、季胜鹏 、唐胜 、 王璇、赵子岩 、李伟
4、良 、陈玉峰、 何金陵 、黄海潮、谢若承。 本标准首次发布。 本标准在执行过程中的意见或建议反馈至国家电网公司科技部。 Q/GDW 11702 2017 1 大数据平台 总体 架构 和技术 要求 1 范围 本标准规定了信息管理大区内 企业级 大数据平台的 总体 架构、功能要求和 技术 要求。 本标准适用于公司 企业级 大数据平台规划、设计、开发、建设、运维等环节。 2 术语和定义 下列术语和定义适用 于本文件。 2.1 采集 量测数据 acquired measurement data 由测量单元产生的带有时间标签的数据列。 2.2 大数据 big data 具有数量巨大、种类多样、流动速度快
5、、且多变等特征并且难以用传统数据体系结构有效处理的包含大量数据集的数据。 2.3 大数据平台 big data platform 国家电网公司 IT架构的底层基础设施，实现数据存取中心、计算中心、分析中心和服务中心四大功能，提供海量数据存储处理、计算处理、分析挖掘等基础性 服务，支持公司 采集量测、在线监测、离线分析和实时计算等类型 业务应用 建设的 平台。 2.4 批量计算 batch computing 同时使用多种计算资源解决计算问题的过程 ， 用于解决传统的离线数据处理问题 。 2.5 列式存储 columnar storage 按单列而不是多行进行的数据连续存储方式。 2.6 数据接
6、入 data access Q/GDW 11702 2017 2 利用某种装置或工具，将系统外部数据源输入到系统内部的一个过程。 2.7 数据集市 data mart 满足特定的部门或者用户的需求，按照多维的方式进行存储，生成面向决策分析的数据集合，根据数据来源可分为独立型和从属型。 2.7.1 独立型数据集市 independent data mart 不依赖企业级数据仓库而直接从操作型环境获取数据的一类数据集市。独立型数据集市增长到一定规模之后，由于没有统一的数据仓库协调，会导致信息孤岛的产生，同时也会加大维护的难度。 2.7.2 从属型数据集市 dependent data mart 从
7、企业级数据仓库获取数据的一类数据集市。从属型数据集市在体系架构上比独立型数据集市更稳定，国家电网公司大数据平台采用从属型架构建设数据集市。 2.8 明细 数据 层 detail data layer 在数据仓库中 用于存储将 贴源历史 区存储的数据经过编码统一、数据同源、数据 规范化后形成的企业级业务明细数据 。 2.9 数据挖掘 data mining 一种从大量、不完全、有噪声、模糊、随机的业务应用数据中，提取隐含的、事先未知的、具有潜在价值的信息和知识的过程。 2.10 数据仓库 data warehouse 针对企业数据整合和结构化数据存储需求而组织的集中化、一体化的数据存储区域，是由
8、覆盖多个主题域的企业信息组成，侧重于数据的存储和整合 。 2.11 分布式文件系统 distributed file system 一种文件管理系统，其物理存储资源通过计算机网络与节点相连，提供简化、高可用的方式来存 储、分析、处理 文件 。 2.12 贴源历史区 landing historical area 大数据平台 用于全量存储 公司总部 与 省（市）公司 两级纵向交换的数据 。 Q/GDW 11702 2017 3 2.13 纵向历史区 longitudinal historical area 大数据平台 用于全量存储来自源端业务系统的结构化数据，为后续清洗转换提供原始基础数据 。
9、2.14 机器学习 machine learning 使用某些算法指导计算机，利用已知数据得出适当的模型，并利用此模型对新的情境给出判断的过程。 2.15 大规模并行处理数据库 massively parallel processing database 在数据库非共享集群中，每个节点都有独立的磁盘存储系统和内存系统，业务数据根据数据库模型和应用特点划分到各个节点上，每台数据节点通过网络互相连接，彼此协同计算，作为整体提供数据库服务 。 2.16 内存数据库 main memory database 全部或活动事务存取的数据放于内存中进行处理操作的数据组织。 2.17 内存计算 memory
10、computing 一种将位于硬盘中的待处理数据全部转移到内存中进行多次迭代计算、分析的处理方式，满足海量数据实时分析需求。 2.18 多维分析 multidimensional analysis 对数据进行维度化分析后的度量聚集统计，从而找出同类性质的统计项之间的数学联系的分析过程。 2.19 关系型数据库 relational database 关系型数据库是建立在关系模型基础上的数据库，借助于集合代数等数学概念和方法处理数据库中的数据 。 2.20 流计算 stream computing 一定时间窗口内的流动数据到达后不进行存储，而是直接导入内存进行业务逻辑计算、生成计算结果的处理方式
11、。 Q/GDW 11702 2017 4 2.21 结构化数据 structured data 存储在数据库里，可用二维表结构来逻辑表 达实现的行数据。 2.22 半结构化数据 semi-structured data 既不是完全无结构的，也不是传统数据库系统中有严格结构的数据。 2.23 轻度汇总层 summarized Data 在数据仓库中 用于存储将数据仓库明细数据层的数据进行数据轻量汇总、轻量合并等数据处理后的数据 。 2.24 非结构化数据 unstructured data 相对于结构化数据而言，无法用数据库二维逻辑表来表现的数据 ，如文本、图像、音频和视频等。 2.25 统一权
12、限管理平台 Identity and Safety Control Platform 国家电网公司实现对人员身份的统一认证、统一管理、统一授权、以及合规性管理、安全审计等功能的系统平台。 2.26 信息通信一体化调度运行支撑平台 SG-I6000 国家电网公司对信息通信基础环境、软硬件设备、信息系统进行实施运行监测，实现资源监测、资源管理、调度管理、运行管理、检修管理、客服管理、灾备管理及辅助分析等功能的统一运维作业平台 。 3 缩略语 下列缩略语适用于本文件。 API：应用程序编程接口（ Application Programming Interface） FTP：文件传输协议（ File
13、Transfer Protocol） GE：千兆以太网（ Gigabit Ethernet） JDBC： Java数据库连接（ Java Data Base Connectivity） MPP：大规模并行处理（ Massively parallel processing） NFS：网络文件系统（ Network File System） ODBC：开放数据库连接（ Open DataBase Connectivity） OLAP：联机分析处理（ On-Line Analytical Processing） PB：拍字节（ Peta Byte） RPC：远程过程调用协议（ Remote Proc
14、edure Call Protocol） Q/GDW 11702 2017 5 ROLAP：基于关系数据库的 OLAP（ Relational On-Line Analytical Processing） SQL：结构化查询语言（ Structured Query Language） 4 平台架构要求 4.1 总体架构 大数据平台为业务系统大数据存储、计算等运行提供统一的平台支撑，其总体架构包括数据接入、数据存储计算、统一分析服务、运维管理、安全管理、跨域协同等模块，并提供各种形式的服务对数据应用提供支撑。 大数据平台总体架构图如图 1所示 。 图 1 大数据平台总体架构示意图 4.2 功能架
15、构 4.2.1 概述 大数据平台功能架构如图 2所示，总体上应用包括数据接入、数据存储计算、分析服务、安全管理、运维管理和跨域协同六大功能。 Q/GDW 11702 2017 6 图 2 大数据平台功能框架 4.2.2 功能描述 大数据平台 各 功能 描述如下： a) 数据接入，通过结构化数据接入、采集量测数据接入、非结构化数据接入等数据接入手段从业务应用（如 ： 营销系统、 ERP 系统）、日志文本文件、外部数据（如 ： 气象数据、宏观经济数据等）接入大数据平台。 b) 数据存储计算，主要包括数据存储与数据计算两部分，其中数据存储 包括 贴源历史 区 、纵向历史区 、数据仓库、采集量测数据存
16、储、非结构化数据存储和数据集市；数据计算包括流计算、内存计算和批量计算。 c) 统一分析服务，面向各类分析应用提供统一的数据接口服务、数据挖掘服务、自助式分析服务。 d) 运维管理，实时监测大数据处理全过程中的整体运行状态、资源使用情况和接口调用情况等性能指标并对关键系统险情进行告警，支持大数据组件安装、配置和状态管理，可实时性监控和调度任务计划，可对大数据集群的计算资源和存储资源进行配置和管理。 e) 安全管理，解决从大数据环境下的数据采集、存储、分析、应用等过程中产生的 诸如身份验证、授权过程和输入验证等安全问题，支持对访问的终端及客户端进行认证及操作日志审计等功能。 f) 跨域协同，通过
17、提供域资源管理、域作业管理等，实现跨域大数据的融合和协同计算 。 5 平台功能要求 5.1 数据 接入 5.1.1 概述 大数据平台应提供统一、规范的数据接入方法， 支持从 内外 数据源向平台导入结构化数据（如 ： 关系库记录）、半结构化数据（如 ： 日志、邮件等）、非结构化数据（如 ： 文件、视频、音频、网络数据流等）等不同数据类型、不同时效的数据，并提供这些数据的整合方式 。 5.1.2 结构化数据接入 5.1.2.1 数据定时抽取 应支持关系型数据库与大数据平台 之间的数据交换与整合。具体功能应包括： Q/GDW 11702 2017 7 a) 数据源配置， 支持各种主流关系型数据库；
18、b) 全量或定量的数据抽取规则配置，支持手动触发和定时抽取； c) 数据转换，提供完整的数据加工、转换、处理功能； d) 数据加载，支持批量加载、并行加载等方式，支持加载过程中的事物控制； e) 高效数据传输，具备高比率的数据压缩，支持断点续传，支持数据传输过程中的安全加密。 f) 监控管理 ，支持对任务运行情况的动态监控 ，提供日志、告警等功能 。 5.1.2.2 数据库 同步 复制 应支持 从 关系型数据库 复制 增量数据到平台。具体功能应包括： a) 数据源配置，支持各种主流关系型数据库； b) 数据转换 ，支持关系型数据库和大数据平台之间的数据类型匹配转换； c) 在线日志或归档日志的
19、数据复制，不应依赖源数据库的触发器和规则，减少对源数据库的影响； d) 高效数据传输，具备 高比率的数据压缩 ，支持 断点续传 ，支持 数据传输过程中 的安全 加密。 e) 监控管理 ，支持对任务运行情况的动态监控，提供日志、告警等功能。 5.1.3 采集量测 数据接入 应至少提供 API接口和实时消息队列两种方式实现业务应用系统数据的实时 接入 。前者，业务系统通过 API接口将业务数据推送至大数据平台，后者，大数据平台通过统一分布式实时消息队列实时接收业务系统发送的业务 数据。 5.1.4 非结构化 数据接入 应支持对海量系统日志、数据交换文件、照片、视频等文件数据的 接入 。具体功能应包
20、括： a) 各类数据源的 接入 配置，至少应包括 console（控制台）、 RPC（远程调用）、 text（文本文件）、 tail（ Linux 文件结尾显示命令）、 syslog（系统日志）， exec（命令执行）等； b) 支持文件导入功能，实现数据导入至大数据平台的相应存储 ； c) 对数据存储目标的配置，至少应包括分布式文件系统、分布式列式存储等； d) 数据格式转换，支持对数据的简单格式转换，提供对 word 等文档转换为 pdf 文件、图片转换成 缩略图等功能 ； e) 文件排重，具备各类文件的排重能力 ，文件标识应唯一 ； f) 监控管理 ， 对数据从采集、处理到存储的全过程监
21、控 ，提供日志、告警等功能 。 5.2 数据存储 计算 5.2.1 概述 大数据平台应 提供业务各类异构海量数据的存储功能 ， 并 应提供不同计算方案以满足业务的不同需求 。 5.2.2 数据存储 5.2.2.1 采集量测数据存储 应提供海量采集量测数据的高效存储。具体功能应包括： a) 列式存储， 支持使用面向列的存储模型存放数据 ； b) 内存存储， 支持将数据加载至内存中，可直接进行数据的读写操作 ，同时内存中存放的数据定期同步至磁盘进行数据的持久化 ； c) 线性扩展 ,支持分布式 动态 扩展 ，同时保持 数据均衡分布 ； d) 在线快速读写 ,具备快速的数据读写操作能力 ； e) 监
22、控管理 ,节点状态管理和监测。 Q/GDW 11702 2017 8 5.2.2.2 非结构化 数据 存储 应提供基于分布式文件的非结构化数据 高效 存储。具体功能应包括： a) 文件存储 ,支持 文件 多副本、分块存储； b) 文件树管理 ,支持 层次型文件组织结构管理； c) 线性扩展 ,支持分布式 动态 扩展 ，同时保持 数据均衡分布 ； d) 批量加载 ,支持 批量加载 的 数据准备 方式 ； e) 监控管理 ,节点状态管理和监测。 5.2.2.3 贴源历史区 /纵向历史区 应提供 贴源历史区 ，用于 全量存储来自源端业务系统的结构化数据，为后续清洗转换提供原始基础数据； 应提供 纵向
23、历史区 ，用于全量 存储 公司总部 与 省（市）公司 两级纵向交换的数据 。具体功能应包括： a) 分片处理，提供分库、分表等数据分片处理功能； b) 数据闪回， 支持对 误操作造成的数据丢失 进行快速恢复； c) 批量数据导入 ， 支持通过 ETL 工具、格式化文件加载、自定义脚本等方式，将数据批量导入到贴源历史区 或 纵向历史区 中 ； d) 连接池 ， 应用程序可通过连接池获取与数据库的连接 ； e) 事务处理，提供事务处理及分布式事务处理功能； f) 数据备份与恢复，根据实际需求，提供手动和自动备份功能 。 5.2.2.4 数据仓库 按层级可分为明细数据层和轻度汇总层，应提供面向企业级
24、主题的各类结构化数据的高效存储，存储经过清洗转换后的结构化数据，为公司各类分析应用提供统一的结构化数据支撑。具体功能 应 包括： a) 数据存储 ， 支持结构化数据分布式存储； b) 对象管理 ， 提供数据库、表空间、表、索引、视图、存储过程、自定义函数等常用数据库对象的创建、修改和删除操作；支持数据库用户的创建、删除操作以及用户权限的分配与回收； c) 数据分析 ， 支持 ROLAP 的星型模型、雪花模型等，内置常用的 OLAP 函数； d) 存储过程和自定义函数 ， 支持基于存储过程和自定义函数的编程语 言实现数据库内的各类分析统计功能； e) 数据加载 ， 支持以规范格式方式将数据导入到
25、数据库中，并可通过 HDFS 文件方式将 Hadoop大数据平台的数据导入到数据仓库中； f) 数据导出 ， 可以根据查询条件将符合条件的查询结果数据导出至指定文件中； g) 管理工具 ，支持通过命令行工具和图形化工具对集群进行有效管理和维护工作。 5.2.2.5 数据集市 数据集市的数据由数据仓库的数据经过处理转换后形成，直接支撑前端的应用需求。数据集市区存储的数据主要是主题分析数据。具体功能应包括： a) 数据定义， 提供定义数据库的三级模式结构、两级映像以及完整性约束和保密 限制等约束； b) 数据操作 ， 实现用户对数据的增、删、改等操作； c) 数据存储管理 ， 提供数据组织、存储、
26、管理和保护功能。 d) 数据库维护 ， 提供数据库的数据载入、转换、转储以及性能监控等功能； e) 可视化管理 ， 提供图形化管理工具（企业管理器、查询分析器、备份恢复工具、系统监控工具、Web 管理平台）；各类界面工具需提供人性化设计，方便用户管理。 5.2.3 数据计算 5.2.3.1 批量计算 Q/GDW 11702 2017 9 应支持分布式计算、批量数据处理等基础功能，适用于非实时、无交互的数据应用场景。具体功能应包括： a) 任务定义，支持多种数据来源及输出，包括关系数据库、分布式文件系统、分布 式列式存储等，满足各业务系统根据业务需求进行各类型统计分析任务的定义； b) 任务提交
27、，支持将已定义的任务提交至大数据存储计算组件计算集群中，实现任务在集群中的快速安装、部署； c) 任务调度，支持配置任务的执行时间、间隔、次数，并根据平台各计算资源的使用情况进行任务的合理调配； d) 任务监控，支持任务整个生命周期的监控，从任务的启动、执行以及任务的结束，及时了解任务的执行情况，同时，能够监控任务执行过程中的资源使用情况。 5.2.3.2 流计算 应支持流数据的内存实时计算，适用于对动态产生的数据进行实时计算并及时反馈结果，但对 计算结果允 许在一定 偏离 范围 内 的应用场景 。具体功能应包括： a) 任务定义，支持多种数据来源及输出，包括关系数据库、分布式文件系统、分布式
28、列式存储等，满足各业务系统根据业务需求进行各类型实时计算任务的定义； b) 任务提交，支持将已定义的任务提交至大数据存储计算组件计算集群中，实现任务在集群中的快速安装、部署； c) 任务监控，支持任务整个生命周期的监控，从任务的启动、执行以及任务的结束，及时了解任务的执行情况，同时，能够监控任务执行过程中的资源使用情况。 5.2.3.3 内存计算 应支持结构化数据的内存计算，适用于高响应计算场景。具体功能应包括： a) 任 务定义，支持多种数据来源及输出，包括关系数据库、分布式文件系统、分布式列式存储等，满足各业务系统根据业务需求进行各类型统计分析任务的定义； b) 任务提交，支持将已定义的任
29、务提交至大数据存储计算组件计算集群中，实现任务在集群中的快速安装、部署； c) 任务调度，支持配置任务的执行时间、间隔、次数，并根据平台各计算资源的使用情况进行任务的合理调配； d) 任务监控，支持任务整个生命周期的监控，从任务的启动、执行以及任务的结束，及时了解任务的执行情况，同时，能够监控任务执行过程中的资源使用情况。 5.3 统一 分析 服务 5.3.1 概述 大数据平台应 对外提供服务 用于实现业务应用对平台中数据 的接入和 分析 ，主要包括数据接口服务、数据挖掘服务、自助分析服务 ,以及提供对这些服务的管理功能 。 5.3.2 数据接口服务 应 提供上层业务对底层数据的访问能力， 支
30、持采集量测数据 统一 应用程序接口 。 具体功能应包括： a) 数据存取服务 ， 支持大数据平台多种类型的数据存取操作，包括分布式文件、列式数据库、分布式缓存和关系型数据库等； b) 数据计算服务 ， 提供大数据 存储计算组件数据计算能力的统一接口服务，包括批量计算、内存计算和 流计算； c) 数据分析服务 ， 为业务应用提供数据挖掘、多维分析、模型运行等标准化 的数据分析功能； Q/GDW 11702 2017 10 d) 跨库查询服务 ， 具备跨本地不同数据库联合查询功能，实现多个查询、多 张表或视图联接或合并，为存储于不同组件中的数据提供关联查询服务。 5.3.3 数据挖掘服务 应提供各
31、类专用分析算法以及自定义算法插件 ， 支持面向历史数据的挖掘和趋势预测 ， 支持面向实时的判别和实时分析 ， 支持面向未来的预测和模拟等场景应用。 具体功能应包括： a) 数据访问， 支持常用关系数据库的 JDBC 访问 ,支持对文本文件访问； b) 数据预处理 ， 提供数据清洗、数据转换、数据集成、数据计算、数据抽样、数据分隔等数 据预处理手段 ； c) 数据挖掘算法 ， 根据业务数据应用 需求创建数据挖掘模型的一组试探法和计算逻辑 ； d) 模型评估 ， 采用各种评估方法从数据 挖掘模型中找出一个最好的模型 ； e) 模型部署应用 ， 包括模型基本信息管理、模型发布等。 5.3.4 自助式
32、分析服务 自助式分析 服务提供对数据的自助式分析能力。具体功能应包括： a) 数据源管理，实现 对各类数据源的维护； b) 数据建模，实现原始业务数据到自助式分析数据的转换； c) 可视化设计器，提供直观、易用的拖放式界面，能 通过选择主题相关的表及相应的图表、文字等展现形式， 设置布局、样式等信息， 对数据信息进行集中、动态、实时、交互展现。 5.3.5 服务管理 应支持已发布的 数 据存取服务、计算服务、分析挖掘服务的统一管理。具体功能应包括 ： a) 服务状态、执行情况和服务质量等监控； b) 支持服务接口增加、删除、修改等维护操作。 5.4 安全管理 5.4.1 概述 大数据 平台 应
33、 提供 身份鉴别 、 访问控制 、 安全审计和隐私保护 等安全控制手段，增强业务系统数据在平台和应用中的安全性 。 5.4.2 身份鉴别 应支持对用户身份合法性的鉴别，支持对非法访问的安全审计。具体功能应包括： a) 组件身份认证，组件包括数据采集、数据存储、数据计算、数据分析、平台服务等； b) 身份鉴别安全策略配置，包括账号生命周期、口令复杂度等规则。 5.4.3 访问控制 应通过数据 和文件的访问权限控制及其他安全措施，确保大数据平台的数据不被非法复制、读取、修改，同时支持集群服务器和大数据平台组件的访问控制。具体功能应包括： a) 访问控制安全策略配置，严格限定用户对敏感资源的访问权限
34、以及用户应用操作权限，对关键资源访问按照数据库表、关键记录、数据字段级别进行控制，应用权限按照功能模块、应用界面、操作按钮进行分级细化； b) 权限申请、审批、变更、撤销等操作流程制定； c) 用户权限粒度控制。 5.4.4 安全审计 应支持用户行为、系统资源异常访问等重要安全事件的审计，审计记录的内容应至少包括事件的时间、日期、发起 者相关信息、访问类型、访问描述和访问结果。具体功能应包括： Q/GDW 11702 2017 11 a) 日志级别设置； b) 完善的操作日志记录； c) 提供对操作日志进程及日志记录的保护，避免进程被意外停止，避免日志记录被意外删除、修改或覆盖等。 5.4.5
35、 隐私保护 应确保平台中用户隐私数据不被泄漏和非法利用。具体功能应包括： a) 有效的数据隐私保护算法 库 ； b) 多个可选择的 高强度加密方案； c) 数据 完整性验证； d) 当 数据在传输过程中其完整性受到破坏时 ，提供 鉴别信息检测 功能 。 5.5 运维管理 5.5.1 概述 大数据平台应提供 配置管理、集群管理、 作业 管理、日志管理 和 监控告警功能，形成统一平台管理，实现 平台自动化安装和自动化运维 。 5.5.2 配置管理 应支持 对平台的存储资源、计算资源进行管理配置。 具体功能应包括： a) 服务、组件运行参数配置，包括：内存大小、日志路径等； b) 存储资源、计算资源
36、配置，包括：资源使用策略、资源使用权限等，并支持对各业务应用所能使用的平台资源进行配置。 5.5.3 集群管理 应支持向导式安装部署，并能根据节点的角色和服务器配置定制各节点的组件服务。具体功能应包括： a) 可视化、向导式的安装部署； b) 组件服务启停操作； c) 集群资源使用情况及各组件运行状态监测； d) 根据节点角色和服务器配置定制各节点组件服务 。 5.5.4 作业管理 应支持统一的作业管理和运行调度。具体功能应包括： a) 作业任务发布流程管理； b) 作业任务关闭、启动； c) 作业任务资源配额设置； d) 作业任务状态监测和资源使用情况查看； e) 统一任务调度 工具 ，并支
37、持多种调度方式。 5.5.5 日志管理 应支持集群系统与组件运行日志管理。具体功能应包括： a) 统一的运行日志归类、整理和展现； b) 运行日志分析，并支持系统异常错误提示。 5.5.6 监控告警 应支持集群环境健康状况监控，支持关键指标的险情告警。具体功能应包括： a) 监控页面按需配置，如：关键指标阈值、告警策略、告警方式设置等； Q/GDW 11702 2017 12 b) 预先定制的运维指标实时监测和图表 展现，支持集群环境健康状况的整体直观展现； c) 关键指标险情告警，并支持多种告警方式，如：邮件告警、短信告警等； d) 告警信息实时收集； e) 告警日志上报 。 5.6 跨域协
38、同 5.6.1 概述 应支持公司总（分）部、各省（市）两级大数据协同计算能力，实现域资源管理及域作业管理，并提供跨域监控，实现策略化的跨域权限管理 。 5.6.2 域资源管理 应支持远程域资源的管理 与 监控。具体功能应包括 ： a) 支持跨域计算集群和跨域存储集群基本信息管理及域资源操作权限策略配置； b) 提供域集群资源、域存储空间、域作业运行状况监控。 5.6.3 域作业管理 应支持批量计算、内存计算、查 询计算等跨域计算作业的管理 与监控 。具体功能应包括 ： a) 支持跨域计算作业配置、发布等操作； b) 提供跨域计算任务全过程监控及跨域流程协作。 6 平台技术要求 6.1 总体要求
39、 6.1.1 大数据平台应支持公司大数据 采集 量测、在线监测、离线分析和实时计算等类型业务应用。 6.1.2 大数据平台应支持大数据量情况下的应用系统水平扩张、应用高可用性的服务输出能力 。 6.1.3 为保障大数据平台高效可靠运行，应满足以下技术 选型 要求： a) 支持 PB 级以上、多类型数据存储和处理，包括结构化数据、半结构化数据、非结构化数据等； b) 支持系统间灵活的信息交互的需要，保持一定的技术先进性 ； c) 支持集群规模灵活扩展； d) 支持主流应用构建技术及算法自定义； e) 支持与统一权限管理平台的功能权限集成； f) 在 系统 运行 指标 方面 支持与 信息通信一体化
40、调度运行支撑平台 集成； g) 具备完善的整体数据安全和隐私保护措施。 6.2 性能要求 6.2.1 平台响应性能 大数据平台进行多用户并发操作时，应满足如下要求： a) 首页访问平均响应时间不得超过 3 秒；系统登录平均响应时间不得超过 5 秒； b) 数据存取接口类服务并发数大于 200 个，数据计算接口类服务并发数大于 50 个，跨库查询接口服务并发数大于 50 个 ； c) 执行简单查询、添加和删除业务时，平均响应时间不得超过 5 秒； Q/GDW 11702 2017 13 d) 执行复杂的综合业务（同时包括查询、添加、删除等操作请求）时，平均响应时间不得超过 7秒； e) 应用服务
41、器和数据库服务器的日常 CPU 平均利用率均不超过 65%，且 CPU 利用率满足不得连续30 秒超过 80%； f) 应用服务器的日常内存平均使用率不超过 70%，且内存使用率满足不得连续 60 秒超过 80%的要求； g) 实时数据 接入 最低延迟不超过 30 秒； h) 各系统事务失败率不超过 0.1%。 6.2.2 数 据 写 入性能 大数据平台数据 写 入性能应满足如下要求： a) 平均 单节点 文件解析写入消息队列 速度大于 30MB 每秒 ； b) 平均 单节点 从消息队列写入 列式存储速 度大于 10MB 每秒 ； c) 平均 单节点 结构化数据 的 写入 速度大于 20MB
42、每秒； d) 平均 单节点 非结构化数据 的 写 入速度大于 30MB 每秒； 6.2.3 数据 读取 性能 大数据平台数据读取性能应满足如下要求： a) 亿行级别的数据表间关联，关联结果 在 1 千万 条数据 以内的情况下， 处理 时间在 10 秒 以内 ； b) 平均单节点分布式文件系统对数据的 下载 速度大于 25MB 每秒。 6.2.4 数据 计算 性能 大数据平台数据计算性能应满足如下要求： a) 流计算平均数据处理速度 大于 10 万条 每秒，吞吐量 大于 50MB 每秒； b) 内存计算平均 数据处理吞吐量 大于 1GB 每分钟； c) 批量计算平均 数据处理吞吐 量 大于 1G
43、B 每分钟。 6.3 可靠性要求 大数据平台在可靠性方面应满足如下要求： a) 连续 7 24 小时不间断工作； b) 大规模用户上线使用时，不降低已有用户体验； c) 出现故障时 ,应及时告警； d) 具备自动或手动恢复措施，以便在发生错误时能够快速地恢复正常运行； e) 软件系统故障时，自动恢复时间小于 15 分钟，手工恢复时间小于 4 小时； f) 分布式存储节点发生故障时，应确保数据完整，且不影响数据存取的正常服务； g) 分布式计算节点发生故障时，应确保计算结果正确，且不影响数据分析计算的正常服务和流转； h) 分布式消息队列节点发生故障时，应确保消息不丢失 ，且不影响消息正常提交和
44、消费； i) 分布式任务调度节点发生故障时，应确保任务计划按时调度和执行。 6.4 易用性要求 大数据平台在易用性方面应满足如下要求： a) 针对每种类型的用户提供较为清晰的工作界面，界面组织条理清晰，便于用户查找需要的功能； b) 大数据平台基本工作界面上应提供日志管理、配置管理、集群管理、插件系统、调试工作台等功能； Q/GDW 11702 2017 14 c) 提供用户自助服务门户，为每类用户提供至少 一个功能汇集界面，对该类型用户关注的主要功能和信息进行统一展现； d) 提供数据探测功能，业务用户可通过平台进行可视化的拖拽。 6.5 可扩展 性要求 大数据平台在可 扩展性方面应满足如下
45、要求： a) 提供 标准化 应用开发 API， 便于系统的二次开发和与其它系统进行数据与信息的交换 ； b) 支持与第三方采集 和分析 工具无缝连接、快速集成； c) 具备业务处理的灵活配置，能随着业务功能的变化灵活重组与调整 。 6.6 连续性 要求 大数据平台在 连续性 方面应满足如下要求： a) 在同一机房内，分布式数据存储应遵循文件块副本数为三的设计准则，即将一个副本存放在本地机架节点上，一个副本存放在同一个机架的另一个节点上，最后一个副本放在其他机架的节点上； b) 提供主要网络设备、通信线路和集群系统的硬件冗余，保证平台的高可用性； c) 提供异地数据备份功能，利用通信网络将关键数
46、据定时批量传送至备用场地； d) 分布式集群应采用集中管理的方式； e) 提供简单易用的备份软件，支持向导式的备份操作和提示，以便用户在最短时间内对相关数据进行保护； f) 提供基于任务计划形式的统一调度管理的备份功能，可实时跟踪、监控和查看备份作业的执行情况； g) 建立对业务系统的数据保护机制，全面防护数据泄密和篡改。 6.7 安全要求 大数据平台 安全主要包括 数据安全、应用安全、主机安全、网络安全和物理安全，均 应满足 公司信息系统 安全 等级保护 第三 级 安全技术 要求。 Q/GDW 11702 2017 15 大数据平 台 总体 架构 和技术 要求 编 制 说 明 Q/GDW 1
47、1702 2017 16 目 次 1 编制背景 17 2 编制主要原则 17 3 与其它标准的关系 17 4 主要工作过程 17 5 标准结构和内容 17 6 条文说明 18 Q/GDW 11702 2017 17 1 编制背景 本标准依据国家电网公司关于下达 2016年度公司第一批技术标准制修订计划的通知（国家电网科 2015 1240号）的要求编写。 大数据成为推动智能电网创新发展的关键核心技术，为公司分析决策类应用、实时采集类应用提供统一支持，在电网生产、经营管理和优质服务三大领域日益广泛应用。为统一支持公司 大数据应用建设，需在充分分析现有数据中心平台组件待优化点基础上，开展公司大数据
48、平台组件的研究，以实现统一为公司各类应用建设提供海量 数据接入 、存储计算处理、分析挖掘等基础性支持功能。 本标准编制的主要目的是指导公司大数据平台的规划建设， 明确数据 接入、数据存储计算、统一 分析 服务 、安全管理 、运维 管理 和跨域协同 的主要内容，同时提出 平台的若干技术要求 ，帮助公司有效实现海量数据的集中整合，构建更加合理、更加优化的 IT基础架构 。 2 编制主要原则 在本标准的制定过程中，遵循以下原则： a) 坚持先进性与实用性相结合、统一性与灵活性 相结合、可靠性与经济性相结合的原则，以标准化为引领，服务公司科学发展； b) 认真研究国内外现行相关的 IEEE 标准、行业
49、标准，体现信息技术特性和功能拓展的最新发展； c) 充分调研国内外主流厂商大数据平台建设成果，研究其在平台接入服务方面已经完成的工作和思路，借鉴其在平台接入服务方面成果和经验； d) 严格按照实际的电力业务需求及其发展趋势，制定出切实可行的技术规范。 3 与其它标准的关系 本标准与相关技术领域的国家现行法律、法规和政策保持一致。 本标准不涉及专利、软件著作权等知识产权问题。 4 主要工作过程 2016 年 1 月，在南京 组织召开 标准编制 启动会， 并成立编写小组，对大数据平台相关技术标准进行资料收集和分析 。 2016 年 2 月，在南京组织召开标准编制研讨会，明确修编思路。 2016 年 3 月 ，在南京组织进行标准集中编制， 并 对标准编制草案进行内部评审，于 3 月 21 日 形成初稿 。 2016 年 3 月， 国网信通部 在北京召开国网企标推进会， 听取标准 编制情况汇报。 2016 年 4 月， 国网信通部 在北京 组织专家 召开 初稿审查 会， 并给出修订意见 。 2016 年 5 月，按专家评审意见进行修编形成征求意见稿， 采用函件方式，广泛、多次向国网公司主管部门及省公司专家、研究 院征求意见和建议。 2016 年 6 月，公司信息与通信技术标
