1、 ICS 33.020 M 21 YD 中华人民共和国通信 行业标准 YD/T XXXXXXXX -发布 -实施 中 华 人 民 共 和 国 工 业 和 信 息 化 部 发 布 电信数据服务平台 第 8 部分：用户管理要 求 Telecom data service platform part 8: user management requirements 2020-06-15 报批稿 I 目 录 前 言 .III 1 范围 .4 2 规范性引用文件 .4 3 术语定义及缩略语 .4 3.1 术语和定义 .4 3.2 缩略语 .5 4 电信数据服务平台用户管理通用业务流程 .5 4.1 电信数
2、据服务平台用户管理框架核心技术 .5 4.2 电信数据服务平台用户角色定义 .5 4.2.1 服务需求人员 .6 4.2.2 系统管理人员 .6 4.2.3 数据管理人员 .6 4.2.4 数据加工人员 .6 4.2.5 数据建模人员 .6 4.3 电信数据服务平台用户管理框架通用业务流程 .7 5 电信数据服务平台用户管理框架通用功能参考模型 .8 6 电信数据服务平台用户管理框架技术功能要求 .9 6.1 用户权限管理 .9 6.1.1 功能概述 .9 6.1.2 角色管理 .10 6.1.3 用户管理 .10 6.1.4 权限托管 .10 6.2 数据权限管理 .10 6.2.1 功能概
3、述 .10 6.2.2 样本数据展现 .11 6.2.3 关系型数据权限配置 .11 6.2.4 文件数据权限配置 .11 II 前 言 电信数据服务平台系列行业 标准，该标准的结构和名称预计如下： 电信数据服务平台 第 1部分：总体技术要求 ； 电信数据服务平台 第 2 部分：术语和参考模型 ； 电信数据服务平台 第 3 部分：功能及技术规范 ； 电信数据服务平台 第 4 部分：平台功能测试规范 ； 电信数据服务平台 第 5 部分：多方可信计算环境功能及技术要求 ； 电信数据服务平台 第 6 部分：数据网关技术要求 ； 电信数据服务平台 第 7 部分：数据服务开放 ； 电信数据服务平台 第
4、8 部分：用户管理要求 ； 本部分按照 GB/T 1.12009 给出的规则起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。 本部分由中国通信标准化协会提出和归口。 本部分 起草单位 ： 中国联合网络通信集团有限公司、中国信息通信研究院、中国移动通信集团有限 公司、中国电信集团有限公司 本部分 的主要起草人 ： 许丹丹、张第、魏进武、魏凯、王晓霞、潘思宇、刘颖慧、刘楠、刘寒、姜 春宇 3 电信数据服务平台 第 8 部分：用户管理要求 1 范围 本部分规定了电信数据服务平台的用户管理的功能参考模型 、 通用业务流程 、 资源与数据隔 离等功能模块技术要求。
5、本部分适用于电信运营商及相关电信数据服务商的数据服务平台用户管理的需求分析 、 架构 设计和平台建设。 2 定义与缩略语 2.1 术语和定义 下列术语和定义适用于本文件。 2.1.1 业务用户 application user 按照数据应用或数据业务的粒度访问电信数据服务平台的用户或用户组。 注：业务用户是逻辑意义上的用户概念，用来描述现实社会环境中的用户群体，即参与同一个 数据应用开发等任务的所有自然人集合，既可以是某个创新团体，也可以是某个公司内的一个 组织机构或部门。业务用户和数据应用是一对一的关系，实现数据应用场景的同时，仍可确保 数据的隔离。 2.1.2 技术用户 developer
6、 user 利用电信数据服务平台实际进行数据应用或数据业务开发等具体工作的用户。 注：技术用户是物理意义上的用户概念，用来描述实际进行数据清洗、加工、分析、建模等具 体工作的用户个体。多个技术用户构成一个业务用户，技术用户和业务用户是多对一的关系。 在本标准中，如无特别说明，用户通常用来表示技术用户。 2.1.3 角色 role 电信数据服务平台上具有同一任务属性、同一职位担当，以及同一平台访问权限的身 份描述。 注 ： 根据数据生产加工流程的主要环节，电信数据服务平台的角色包括但不限于服务需求人员 、 系统管理人员、数据管理人员、数据加工人员、数据建模人员等。 2.1.4 作业 job 运行
7、在电信数据服务平台上，与数据 ETL相关的软件代码任务。 2.1.5 结果数据 result data 满足服务需求，经过数据网关脱敏合规后的开放数据。 2.2 缩略语 4 下列缩略语适用于本文件。 API 应用程序编程接口 Application programming interface ETL 抽取、转换、装载 Extract transform load FTP 文件传输协议 File transfer protocol HDFS 分布式文件系统 Hadoop distributed file system SCP 安全复制 Secure copy SQL 结构化查询语言 Struct
8、ured query language 3 电信数据服务平台用户管理通用业务流程 3.1 电信数据服务平台用户管理框架核心技术 电信数据服务平台，在管理平面上，实现一体化用户运营管理。如图 1所示。用户运营 管理框架核心技术要求包括： a） 面向用户提供输入数据 、 计算能力 、 加工作业引擎 、 分析挖掘能力以及结果数据审 核能力的交付； b） 用户数据加工作业管理， 提供 MapReduce/Spark/类 SQL 等作业引擎，由调度框架 实现作业级的用户资源调度与隔离； c） 实现用户间结果数据的隔离与标识； d） 支持挖掘能力 、 模型使用及模型运行等按用户调用 ， 实现用户级建模 、
9、 训练及模型 运行。 3.2 电信数据服务平台用户角色定义 根据电信数据服务平台的职能分工，用户管理的角色包括但不限于 以下几类 ： 服务需求 人员 、 系统管理人员 、 数据管理人员 、 数据加工人员 、 数据建模人员等 。 其中角色与业务用 户 、 技术用户的映射关系如下图 1 所示 。 数据应用与业务用户是一对一的映射关系 ， 业务用 户与技术用户是一对多的映射关系 ， 技术用户和角色支持一对一 、 一对多 、 多对一 、 多对多 的映射关系。 图 1 角色与业务 /技术用户映射关系 3.2.1 服务需求人员 服务需求人员就是对数据服务提出需求的用户 。 服务需求人员包括业务用户和技术用
10、户 。 其中 ， 服务需求人员是数据服务的需求用户 ， 每个需求用户对应数据应用 ， 可以申请数据提 取、数据加工、数据建模等服务需求， 获取合规检查通过的数据文件 ； 不同需求用户间的资 5 源隔离 ， 可以独立设定不同服务需求人员的取数优先级 、 服务元数据查看权限 、 服务数据取 数权限（数据脱敏 /合规检查规则）、文件上传 /下载 FTP。 3.2.2 系统管理人员 系统管理人员是指系统运维支撑和系统设置的管理人员 ， 主要负责系统基础环境配置管 理和系统状态监控及维护等。 系统管理人员可以进一步划分为系统管理员和运维人员， 其中 ： 系统管理员作为超级管 理员，具有系统的全部权限。支
11、持根据业务用户和技术用户的对应关系，完成用户的新增 、 属性修改和删除等 生命周期管理 ； 支持新建和删除其他角色，并将不同的系统操作权限组合 赋予不同的系统角色。 运维人员负责系统日常运营和维护 ， 支持对平台及系统基础设施等资源进行纳管 、 升级 和配置，负责跟踪系统日志和系统组件运行状态，并完成对异常报错的处理。 3.2.3 数据管理人员 数据管理人员是指平台中面向数据访问和数据使用权等进行管理的人员 ， 主要负责审核 服务需求用户的需求 ， 向不同用户分配其数据应用所需的数据访问和加工处理权限 ， 及跟踪 和管理数据加工作业所产生的中间过程及结果数据权属操作等。 数据管理人员主要负责以
12、下任务： a） 应支持按照预定义的数据应用需求 ， 将系统预置共享数据 文件的访问权限 （读权限 ） 分配给该应用的用户或用户组； b） 应支持将系统预置共享数据库中的数据信息按照数据表的粒度 ， 向相应的用户提供 只读访问权限； c） 应支持将数据提供方上传的数据文件访问权限（读 /写权限）分配给数据提供方授 权的用户或用户组 ， 含数据加工作业所产生的中间过程数据及加工 结果数据 （作业 提交者即为数据提供方 ） ； d） 宜 支持通过 FTP、 SCP、 Sqoop 等多种主流协议或接口格式 ， 完成电信数据服务平 台与外部系统的数据交换、数据加载等前置数据准备工作。 3.2.4 数据加
13、工人员 数据加工人员是指使用电信数据服务平台中提供的作业加工环境， 完成数据生产加工 ETL 任务的一类技术用户 ， 主要负责 MapReduce、 Spark、 SQL 等数据脚本的在线编辑或离 线开发 ， 提供数据应用所需的数据清洗 、 数据过滤 、 格式转换等实际数据处理操作 ， 并支持 将加工处理后的结构化数据加载到数据库实例或相应的库表中。 3.2.5 数据建模人员 数据建模人员是指使用电信数据服务平台中提供的建模工具及已有模型 ， 完成数据分析 等任务的一类技术用户 ， 主要负责数据模型创建 、 模型演算 ， 以及必要的数据可视化展现等 ， 提供数据预测、标签定义、模型修正等数据分
14、析支撑。 3.3 电信数据服务平台用户管理框架通用业务流程 电信数据服务平台用户管理框架 通用业务流程如图 2 所示。 根据角色定义和职能分工的不同 ， 用户管理框架的通用业务流程主要包括管理配置和功 6 能操作两个阶段 ， 其中管理配置阶段主要由管理员完成 ， 功能操作阶段主要由使用该平台的 各类用户完成。 系统管理人员负责以下业务： a） 系统管理员登录后台管理员页面 ， 根据数据应用需求添加相应的角色 ， 服务需求经 审核通过后，赋予该角色对应的系统功能权限，完成系统角色与系统功能的映射 ， 角色定义应彼此独立，能够覆盖全部系统操作功能，且具有较高的复用性； b） 系统管理员根据数据应用
15、开发的实际需求 ， 完成业务用户和技术用户的创建 ， 即完 成应用开发团队或组织机构的建立 ， 并将实际使用平台的各技术用户划分到其所归 属的业务用户范畴中，同时为各技术用户赋予角色。 c） 系统管理员为各业务用户配置基础设施资源，包括但不限于计算集群、存储空间 、 数据库 、 优先级等 ， 归属于同一业务用户范畴下的技术用户共享所分配的基础设施 。 数据管理员 、 数据加工人员 、 数据建模人员等角色的业务流程需要在系统管理员完成对 应的角色创建后开始执行。 数据管理人员负责以下业务： a） 数据管理员通过数据管理页面 ， 根据数据应用开发需求 ， 为对应的业务用户配置其 可访问的数据权限，
16、 包括 HDFS 的文件数据系统及关系型数据库中的结构化数据 （数据表粒度 ） 。 b） 数据管理员能够通过数据管理界面完成系统暂缺数据的导入 ， 或 将 FTP、 SCP 等文 件传输访问权限赋予需要添加数据来源的业务用户或技术用户。 以上业务流程属于管理配置阶段 ， 数据加工人员和数据建模人员的业务流程属于功能操 作阶段。 数据加工人员、数据建模人员负责以下业务： a） 数据加工人员通过作业加工页面 ， 检查已分配的数据资源是否满足应用开发或数据 加工需求 ， 若满足 ， 则通过电信数据服务平台提供的图形化作业在线编辑能力完成 数据 ETL 加工处理，或通过离线数据作业加载的方式将预编译的
17、数据加工脚本上 传至电信数据服务平台并执行 ， 作业执行过程中的中间数据以及作业执行完毕后的 结果数据统一保存在系统管理员为该用户分配的存储空间和存储节点上 ， 同时作为 公共数据供同一业务用户归属下的所有技术用户共享使用； b） 数据加工人员还能够通过作业加工页面完成个人信息管理功能 ， 即对技术用户个体 的基本信息进行添加、删除、变更等生命周期管理； c） 数据建模人员登录数据建模页面 ， 利用电信数据服务平台提供的预置模型 ， 或集成 的建模工具完成模型建立 、 模型演算和数据预测等 ， 并通过平台的可视化组件形成 基础数据图表展现能力。 d） 系统管理员负责对平台上运行的作业状态进行实
18、时监控。 7 图 2 用户管理框架通用业务流程 4 电信数据服务平台用户管理框架通用功能参考模型 电信数据服务平台用户 管理框架的通用功能参考模型如图 3 所示。 电信数据服务平台用户管理包含界面层、管理功能层和基础架构层三个组成部分。 界面层 包含前台用户 web/命令行界面和后台管理界面两个功能模块，主要面向系统管 理员和平台用户提供友好的交互式操作接口和图形化访问能力。 管理功能层是电信数据服务平台用户管理框架的核心部分 ， 包含用户权限管理 、 数据权 限管理、作业调度管理、资源配置管理等功能模块。 各个功能模块负责的具体任务如下： a） 用户权限管理负责完成业务用户和技术用户的生命周
19、期管理 ， 通过角色定义的方式 实现系统功能组件、系统工具与技术用户之间的映射 和权限分配 ； 用户权限管理允 许系统管理员在业务用户中指派二级管理员 ， 并由二级管理员完成业务用户的权限 管理。 b） 数据权限管理负责关系型和非关系型数据的权限配置 ， 即根据数据应用的研发需求 ， 将其所需的原始数据访问权限分配给与该数据应用相匹配的业务 用户 ； 数据权限管 理模块支持将可开放给用户使用的公共数据以样本方式进行展现 ， 提供清晰地数据 描述和字段解释。 c） 作业调度管理负责完成数据加工作业的解析和执行 ， 支持作业的在线可视化编辑和 离线作业包的加载、 解析 ； 作业调度管理同时提供基于
20、工作流的作业可视化编排能 力 ， 并根据工作流自动化审核作业的前后依赖关系 ， 以及对加工作业中需访问的数 8 据范围、资源许可等用户权限进行合规性检查。 d） 资源配置管理负责完成各用户基础设施资源的分配 ， 包括集群划分 、 私有存储空间 隔离、计算节点隔离和数据库表隔离等。 基础架构层最大化的复用已有大数据领域的开源技术和开源框架 ， 包含 :HDFS分布式存 储系统、 Yarn资源管理框架、 HBase、 MapReduce、 Spark、 ElasticSearch等通用大数据技术 组件，为数据能力开放提供基础环境支撑。 图 3 用户管理框架通用功能参考模型 5 电信数据服务平台用户
21、管理框架技术功能要求 5.1 用户权限管理 5.1.1 功能概述 用户权限管理实现基于角色的用户管理功能 ， 完成用户和角色的生命周期管理 ， 支持面 向用户的批量权限分配，包括角色管理、用户管理和权限托管等功能。 5.1.2 角色管理 电信数据服务平台中用户的操作权限是通过角色来控制的 ， 角色可以理解为具备一定操 作权限的用户组。 用户管理框架对于用户权限中角色的管理主要从以下几个方面进行： a） 应支持系统管理角色的预定义 ， 包括超级管理员 、 运维管理员 、 数据管理员等系统 管理角色，其中超级管理员拥有全部系统权限，且不可修改； b） 应支持角色的新增 、 修改 、 注销 、 查看
22、 、 停用 、 启用等生命周期管理 ， 角色注销或 停用时需要判断是否有用户与该角色绑定 ， 仅允许注销或停用不包含任何用户的角 色；查看角色时能够展现出映射至该角色的所有用户； c） 应支持对角色进行电信数据服务平台中系统功能 、 技术组件和系统工具等模块的权 限分配 ， 新增角色时必须要为该角色分配系统权限 ， 且角色之间的系统权限组合不 能完全相同（可以是某角色权限分配的子集 ） 。 9 5.1.3 用户管理 用户管理包括对业务用户和技术用户两种粒度的基本管理 ， 用来描述参与数据应用研发 的实际技术人员和其社会归属关系。 用户管理框架对于用户权限中用户的管理主要从以下几个方面进行： a
23、） 应支持对业务用户的新增 、 修改 、 注销 、 查看 、 停用 、 启用等生命周期管理 ， 新增 业务用户时需同时为该业务用户指派系统基础设施能力 ， 包括存储空间和计算集群 等 ； 注销或停用某业务用户时 ， 同时注销或停用归属于该业务用户的所有技术 用户 ； b） 应支持对技术用户的新增 、 修改 、 注销 、 查看 、 停用 、 启用等生命周期管理 ， 新增 技术用户时需要为该用户指定其所属的业务用户 ， 并为该用户分配系统已定义的某 一角色； c） 应支持业务用户和技术用户的角色变更 ， 其中业务用户的角色变更同时作用于归属 于该业务用户的所有技术用户； d） 应支持技术用户在不同
24、的业务用户间进行迁移 ， 且迁移前后该用户的系统功能权限 保持一致（由其角色决定 ） ； e） 宜支持业务用户和技术用户归属关系的可视化展现，如树形或层级式展现。 5.1.4 权限托管 权限托管是指系统超级管理员为业务用户指派二级管理员 ， 并由二级管理员负责该业务 用户所需角色和归属技术用户的部分管理功能。 用户管理框架对于用户权限中权限的管理主要从以下几个方面进行： a） 应支持二级管理员的新增 、 修改 、 注销 、 查看 、 停用 、 启用等生命周期管理 ， 并指 定二级管理员可以管理的业务用户范围； b） 应支持二级管理员操作向超级管理员的透传 ， 且超级管理员能够对二级管理员定义
25、的角色 、 技术用户 ， 以及用户与角色的映射关系进行调整 ， 当超级管理员与二级管 理员的配置不一致时，以超级管理员的管理配置为准。 5.2 数据权限管理 5.2.1 功能概述 数据权限管理实现与数据应用开发相关的数据权限隔离 ， 确保不同业务用户可访问的数 据资源满足应用开发需求，且数据不越界、不越权。 5.2.2 样本数据展现 样本数据展现是指将电信数据服务平台预存的 、 可对外开放的数据以列表等方式对外统 一呈现，供业务用户选择必要的数据资源进行数据应用设计和研发。 用户管理框架对于数据权限中样本数据展示的管理主要从以下几个方面进行： a） 应支持结构化样本数据的列表或层级式展现； b
26、） 应支持非结构化样本数据以文件方式提供小规模数据下载 ， 或将样本数据进行结构 化格式转换后，以列表形式展现； c） 应能够提供数据资源的相关描述 ， 包括但不限于原始数据类型 、 数据意义 、 元数据 信息、数据字段含义解释，以及数据脱敏处理原则等； d） 宜支持 通过 RESTful API 等方式与其他元数据系统对接 ， 继承或呈现第三方元数据 平台开放的元数据信息。 5.2.3 关系型数据权限配置 10 关系型数据权限配置是指将结构化数据开放给业务用户访问的相关功能。 用户管理框架对于数据权限中关系型数据权限配置的管理主要从以下几个方面进行： a） 应支持关系型数据以数据库的形式对外
27、开放 ， 即面向所有业务用户提供该数据库的 只读访问权限； b） 应支持关系型数据以数据表的形式对外开放 ， 数据表的权限控制支持按照虚拟用户 组或视图的方式实现； c） 应支持对主流商用关系型数据库，及开源数据库的普遍支持， 包括但不限于 Oracle、 DB2、 MySQL 等。 5.2.4 文件数据权限配置 文件数据 权限配置是指将 HDFS 中以文件格式保存的数据开放给业务用户。 用户管理框架对于数据权限中文件数据权限配置的管理主要从以下几个方面进行： a） 应支持 将 HDFS 中保存的原始数据以文件的形式对外开放，文件类型包括但不限 于 txt、 csv、 pdf、 xls 等； b） 应支持 将 HDFS 中保存的原始数据以文件夹或文件目录的形式对外开放，开放某 目录的数据访问权限等同于对该文件目录下的所有文件进行相同的权限配置操作 。
