DB50 T 1177 -2021 智慧交通 物联网数据服务平台 数据管理通用要求.pdf

1、I C S 3 5 . 0 4 0 C C S L 8 0 DB50 重 庆 市 地 方 标 准 D B 5 0 / T 1 1 7 7 2 0 2 1 2 0 2 1 - 1 1 - 3 0 发 布 2 0 2 2 - 0 3 - 0 1 实 施 重 庆 市 市 场 监 督 管 理 局 发 布 智 慧 交 通 物 联 网 数 据 服 务 平 台 数 据 管 理 通 用 要 求D B 5 0 / T 1 1 7 7 2 0 2 1 I 目 次 前 言. I I 1 范 围. 1 2 规 范 性 引 用 文 件. 1 3 术 语 和 定 义. 1 4 缩 略 语. 2 5 数 据 采 集. 2

2、6 数 据 预 处 理. 2 7 数 据 存 储. 3 8 数 据 交 换. 3 9 数 据 处 理. 4 1 0 数 据 分 析. 4 1 1 数 据 服 务. 5D B 5 0 / T 1 1 7 7 2 0 2 1 II 前 言 本 文 件 按 照 G B / T 1 . 1 2 0 2 0 标 准 化 工 作 导 则 第 1 部 分 ： 标 准 化 文 件 的 结 构 和 起 草 规 则 的 规 定 起 草 。 请 注 意 本 文 件 的 某 些 内 容 可 能 涉 及 专 利 。 本 文 件 的 发 布 机 构 不 承 担 识 别 专 利 的 责 任 。 本 文 件 由 重 庆 市

3、经 济 和 信 息 化 委 员 会 提 出 并 归 口 。 本 文 件 起 草 单 位 ： 重 庆 市 城 投 金 卡 信 息 产 业 （ 集 团 ） 股 份 有 限 公 司 、 中 国 电 子 技 术 标 准 化 研 究 院 、 重 庆 市 公 安 局 、 重 庆 市 公 安 局 交 通 管 理 局 。 本 文 件 主 要 起 草 人 ： 张 鹏 、 彭 滨 鸿 、 王 文 峰 、 赵 明 、 宋 鸿 、 陈 占 锋 、 许 汝 峰 、 张 伟 、 刘 立 国 、 胡 芮 嘉 、 易 佳 、 廖 汝 秋 、 刘 玉 印 、 李 春 雨 、 钟 添 翼 、 徐 龙 、 徐 立 松 、 魏 丽

4、丽 、 杨 民 、 辜 继 东 、 蒋 川 、 张 璋 、 耿 力 、 刘 倩 颖 、 王 思 翔 。D B 5 0 / T 1 1 7 7 2 0 2 1 1 智 慧 交 通 物 联 网 数 据 服 务 平 台 数 据 管 理 通 用 要 求 1 范 围 本 文 件 规 定 了 物 联 网 数 据 服 务 平 台 数 据 管 理 通 用 要 求 ， 包 括 数 据 采 集 、 数 据 预 处 理 、 数 据 存 储 、 数 据 交 换 、 数 据 处 理 、 数 据 分 析 以 及 数 据 服 务 。 本 文 件 适 用 于 物 联 网 数 据 服 务 平 台 中 数 据 管 理 的 设 计

5、 、 选 型 和 验 收 。 2 规 范 性 引 用 文 件 下 列 文 件 中 的 内 容 通 过 文 中 的 规 范 性 引 用 而 构 成 本 文 件 必 不 可 少 的 条 款 。 其 中 ， 注 日 期 的 引 用 文 件 ， 仅 该 日 期 对 应 的 版 本 适 用 于 本 文 件 ； 不 注 日 期 的 引 用 文 件 ， 其 最 新 版 本 （ 包 括 所 有 的 修 改 单 ） 适 用 于 本 文 件 。 G B / T 3 5 2 9 5 - 2 0 1 7 信 息 技 术 大 数 据 术 语 3 术 语 和 定 义 下 列 术 语 和 定 义 适 用 于 本 文 件 。

6、 3 . 1 集 群 c l u s t e r 一 组 相 互 独 立 的 、 通 过 高 速 网 络 互 联 的 计 算 机 或 服 务 器 。 3 . 2 R F I D 过 车 数 据 R F I D p a s s i n g d a t a 车 辆 经 过 R F I D 读 写 器 时 ， R F I D 读 写 器 从 经 过 车 辆 的 电 子 牌 中 读 取 的 数 据 信 息 。 3 . 3 结 构 化 数 据 s t r u c t u r e d d a t a 一 种 数 据 表 示 形 式 ， 按 此 种 形 式 ， 由 数 据 元 素 汇 聚 而 成 的 每 个

7、 记 录 的 结 构 都 是 一 致 的 并 且 可 以 使 用 关 系 模 型 予 以 有 效 描 述 来 源 ： G B / T 3 5 2 9 5 - 2 0 1 7 ， 2 . 2 . 1 3 3 . 4 非 结 构 化 数 据 u n s t r u c t u r e d d a t a 不 具 有 预 定 义 模 型 或 未 以 预 定 义 方 式 组 织 的 数 据 。 来 源 ： G B / T 3 5 2 9 5 - 2 0 1 7 ， 2 . 1 . 2 5 3 . 5 分 布 式 计 算 d i s t r i b u t e d c o m p u t i n g 一

8、 种 覆 盖 存 储 层 和 处 理 层 的 、 用 于 实 现 多 类 型 程 序 设 计 算 法 模 型 的 计 算 模 式 。 注：分布式计算结果通常加载到分析环境。M a p R e d u c e 是数据分布式计算中默认的处理构件。 来 源 ： G B / T 3 5 2 9 5 - 2 0 1 7 ， 2 . 1 . 2 2 D B 5 0 / T 1 1 7 7 2 0 2 1 2 4 缩 略 语 下 列 缩 略 语 适 用 于 本 文 件 。 A P I : 应 用 程 序 编 程 接 口 （ A p p l i c a t i o n P r o g r a m m i n

9、g I n t e r f a c e ） C P U : 中 央 处 理 器 （ C e n t r a l P r o c e s s i n g U n i t ） G P U : 图 形 处 理 器 （ G r a p h i c s P r o c e s s i n g U n i t ） J D B C ： J a v a 数 据 库 连 接 （ J a v a D a t a B a s e C o n n e c t i v i t y ） L L R P ： 底 层 读 写 器 协 议 （ L o w L e v e l R e a d e r P r o t o c o

10、l ） R F I D ： 射 频 识 别 （ R a d i o F r e q u e n c y I D e n t i f i c a t i o n ） S Q L ： 结 构 化 查 询 语 言 ( S t r u c t u r e d Q u e r y L a n g u a g e ) 5 数 据 采 集 5 . 1 概 述 数 据 采 集 是 通 过 数 据 采 集 接 口 以 主 动 采 集 数 据 方 式 或 采 集 源 定 时 推 送 数 据 方 式 获 取 原 始 数 据 。 5 . 2 原 始 数 据 原 始 数 据 分 为 以 下 三 类 数 据 ： a )

11、业 务 数 据 ： 包 括 读 写 器 、 摄 像 头 、 道 闸 设 备 等 获 取 的 数 据 信 息 ； b ) 管 理 数 据 ： 包 括 支 撑 平 台 信 息 、 故 障 信 息 、 告 警 信 息 和 网 络 信 息 等 ； c ) 其 他 数 据 ： 包 括 公 共 信 息 、 政 府 信 息 等 第 三 方 数 据 。 5 . 3 业 务 过 程 数 据 采 集 的 业 务 过 程 包 括 ： a ) 静 态 数 据 采 集 ： 相 关 政 府 部 门 将 公 共 信 息 、 政 府 信 息 等 第 三 方 数 据 传 输 至 数 据 服 务 平 台 ； b ) 动 态 数

12、据 采 集 : 1 ） 读 写 器 、 摄 像 头 、 道 闸 设 备 等 将 采 集 到 的 业 务 数 据 传 输 至 数 据 服 务 平 台 ； 2 ） 读 写 器 管 理 系 统 、 摄 像 头 管 理 系 统 等 将 采 集 到 的 故 障 信 息 、 告 警 信 息 等 管 理 数 据 传 输 至 数 据 服 务 平 台 。 5 . 4 功 能 要 求 数 据 采 集 功 能 要 求 如 下 ： a ) 不 同 物 理 位 置 的 采 集 节 点 应 能 够 形 成 采 集 集 群 ， 可 以 进 行 统 一 的 管 理 ， 例 如 采 集 数 据 的 汇 总 、 转 发 、 扩

13、容 ； b ) 应 支 持 负 载 均 衡 ， 可 平 滑 扩 展 ； c ) 应 支 持 不 同 类 型 规 格 的 R F I D 读 写 器 ； d ) R F I D 读 写 器 应 支 持 时 间 同 步 功 能 ； e ) R F I D 读 写 器 应 支 持 L L R P 及 其 扩 展 协 议 ； f ) 宜 提 供 线 性 扩 展 功 能 。 6 数 据 预 处 理D B 5 0 / T 1 1 7 7 2 0 2 1 3 6 . 1 概 述 数 据 预 处 理 是 对 输 入 的 原 始 数 据 进 行 解 密 、 去 重 、 清 洗 （ 校 正 、 补 齐 ） 、 转

14、 换 等 操 作 。 6 . 2 功 能 要 求 数 据 预 处 理 模 块 功 能 要 求 如 下 ： a ) 应 提 供 数 据 抽 取 、 解 密 、 去 重 、 清 洗 、 转 换 和 加 载 处 理 功 能 ； b ) 应 提 供 按 照 需 求 将 存 放 在 分 布 式 文 件 系 统 、 数 据 库 中 的 文 件 或 数 据 进 行 抽 取 的 功 能 ； c ) 应 提 供 对 清 洗 后 的 数 据 按 照 分 析 模 块 的 要 求 进 行 转 换 操 作 （ 如 列 转 换 、 行 转 换 、 表 转 换 等 ） 的 功 能 。 7 数 据 存 储 7 . 1 概 述

15、 数 据 存 储 是 将 来 源 不 同 的 数 据 分 别 存 入 特 定 的 数 据 库 中 以 供 抽 取 使 用 。 7 . 2 功 能 要 求 数 据 存 储 模 块 功 能 要 求 如 下 ： a ) 应 提 供 数 据 上 传 、 数 据 下 载 、 目 录 查 看 、 目 录 创 建 、 目 录 删 除 、 权 限 修 改 等 操 作 的 功 能 ； b ) 应 提 供 标 准 、 开 放 的 数 据 访 问 A P I 对 数 据 进 行 操 作 的 功 能 ； c ) 应 提 供 对 相 应 权 限 用 户 进 行 授 权 的 功 能 ； d ) 应 提 供 数 据 加 载

16、 工 具 或 者 功 能 ， 满 足 系 统 和 传 统 关 系 型 数 据 库 、 其 他 文 件 系 统 之 间 交 换 数 据 和 文 件 ； e ) 应 提 供 专 门 区 域 存 储 第 三 方 数 据 ， 以 实 现 物 理 隔 离 ； f ) 应 具 备 关 键 节 点 （ 部 件 ） 高 可 用 性 设 计 与 要 求 的 能 力 ； g ) 应 具 备 存 储 R F I D 过 车 数 据 至 少 一 年 的 能 力 ； h ) 应 具 备 存 储 图 片 的 原 始 数 据 至 少 三 个 月 、 图 片 的 结 构 化 数 据 至 少 一 年 的 能 力 ； i ) 应

17、 具 备 存 储 视 频 流 数 据 至 少 一 个 月 的 能 力 ； j ) 宜 提 供 数 据 自 动 备 份 和 手 动 备 份 功 能 ； k ) 宜 提 供 数 据 批 量 更 新 、 删 除 等 多 种 数 据 管 理 功 能 ； l ) 宜 提 供 流 式 的 实 时 数 据 入 库 和 实 时 查 询 功 能 。 8 数 据 交 换 8 . 1 概 述 数 据 交 换 主 要 通 过 数 据 交 换 平 台 ， 快 速 稳 定 的 将 其 他 系 统 或 部 门 的 异 地 、 异 构 数 据 库 的 数 据 整 合 、 交 换 ， 完 成 数 据 集 中 整 合 ， 形 成

18、 相 关 的 数 据 库 来 支 撑 智 能 交 通 数 据 的 挖 掘 及 分 析 。 8 . 2 功 能 要 求 数 据 交 换 模 块 功 能 要 求 如 下 ： a ) 应 提 供 一 个 平 台 级 的 数 据 集 成 框 架 ， 可 以 实 现 从 一 个 系 统 采 集 数 据 ， 对 数 据 进 行 加 工 处 理 ， 将 需 要 的 数 据 提 交 给 另 一 个 系 统 使 用 ；D B 5 0 / T 1 1 7 7 2 0 2 1 4 b ) 应 简 单 易 用 ， 适 合 业 务 人 员 安 装 、 配 置 、 部 署 、 监 控 、 管 理 ； c ) 应 支 持

19、跨 地 域 、 跨 部 门 、 跨 层 级 的 数 据 交 换 技 术 支 撑 体 系 的 快 速 建 设 。 为 参 与 交 换 的 组 织 机 构 及 其 人 员 、 交 换 设 施 、 交 换 资 源 、 交 换 模 式 、 交 换 流 程 、 交 换 安 全 等 交 换 要 素 提 供 运 行 、 管 理 的 技 术 支 撑 ； d ) 应 支 持 完 全 松 耦 合 的 数 据 交 换 架 构 ； e ) 应 支 持 多 种 数 据 抽 取 和 数 据 处 理 模 式 ； f ) 应 支 持 跨 网 络 的 管 理 和 数 据 交 换 ， 平 台 整 体 架 构 支 持 跨 网 络

20、数 据 转 发 。 对 于 交 换 节 点 间 不 可 直 接 连 通 的 情 况 ， 可 通 过 某 个 中 间 节 点 做 路 由 连 通 ， 可 通 过 节 点 的 管 理 代 理 功 能 ， 实 现 节 点 的 跨 网 管 理 和 数 据 交 换 ； g ) 应 实 现 平 台 管 理 中 心 对 跨 地 域 不 同 部 门 的 交 换 设 施 、 交 换 流 程 的 远 程 配 置 与 部 署 功 能 ； h ) 应 支 持 不 同 协 议 格 式 数 据 的 交 互 ； i ) 应 支 持 数 据 质 量 控 制 ： 支 持 数 据 过 滤 、 数 据 格 式 转 换 等 功 能

21、； j ) 应 支 持 分 布 式 数 据 库 、 关 系 数 据 库 和 文 本 文 件 等 数 据 源 ； k ) 应 支 持 类 S Q L 编 程 接 口 ； l ) 第 三 方 数 据 交 换 时 应 遵 守 最 小 化 原 则 （ 即 在 最 小 的 范 围 内 交 换 最 少 的 数 据 ） 。 9 数 据 处 理 9 . 1 概 述 数 据 处 理 是 基 于 平 台 需 求 ， 对 进 行 过 预 处 理 的 数 据 进 行 统 计 、 融 合 或 逻 辑 运 算 ， 形 成 二 次 处 理 后 的 扩 展 数 据 。 9 . 2 功 能 要 求 数 据 处 理 模 块 功

22、能 要 求 如 下 ： a ) 应 支 持 C P U 、 内 存 、 G P U 等 异 构 资 源 调 度 和 配 置 ； b ) 应 支 持 计 算 框 架 的 水 平 扩 展 ； c ) 应 支 持 任 务 优 先 级 调 度 ： 能 够 定 义 不 同 优 先 级 的 任 务 ， 使 得 后 启 动 的 高 优 先 级 任 务 可 以 获 取 运 行 中 的 低 优 先 级 任 务 释 放 的 资 源 ； d ) 应 支 持 对 全 局 资 源 的 集 中 管 理 ； e ) 应 支 持 静 态 资 源 分 配 策 略 和 动 态 资 源 分 配 策 略 ； f ) 应 提 供 匹

23、配 组 织 的 层 次 结 构 ， 支 持 多 层 次 的 队 列 资 源 管 理 功 能 ； g ) 应 支 持 资 源 管 理 、 作 业 调 度 和 数 据 加 载 及 各 种 分 布 式 计 算 框 架 调 度 ； h ) 应 支 持 结 构 化 和 非 结 构 化 数 据 处 理 ； i ) 应 支 持 数 据 压 缩 与 解 压 ； j ) 应 支 持 历 史 数 据 查 询 ； k ) 宜 具 备 支 持 按 照 任 务 间 依 赖 关 系 自 动 调 度 任 务 ， 提 高 处 理 系 统 的 自 动 化 程 度 的 能 力 ； l ) 宜 具 备 支 持 根 据 作 业 需

24、求 动 态 分 配 计 算 资 源 ， 自 动 管 理 回 收 资 源 的 能 力 ； m ) 宜 具 备 支 持 自 动 完 成 作 业 调 度 ； n ) 宜 具 备 对 复 杂 任 务 的 调 度 的 能 力 。 1 0 数 据 分 析D B 5 0 / T 1 1 7 7 2 0 2 1 5 1 0 . 1 概 述 数 据 分 析 负 责 将 原 始 数 据 及 处 理 过 的 数 据 ， 加 工 成 后 续 决 策 、 管 理 等 工 作 需 要 的 数 据 ， 包 括 ： 实 时 路 况 信 息 、 疑 似 违 章 信 息 、 区 间 测 速 信 息 等 。 1 0 . 2 功 能

25、 要 求 数 据 分 析 模 块 功 能 要 求 如 下 ： a ） 应 实 现 低 延 迟 ， 能 够 满 足 城 市 交 通 临 界 值 监 测 ； b ） 应 实 现 分 布 式 ， 各 处 理 组 件 应 是 分 布 式 的 ， 而 且 处 理 延 迟 低 ； c ） 应 支 持 事 务 拓 扑 ， 保 证 消 息 不 丢 失 ， 且 严 格 有 序 ； d ） 应 保 证 每 个 消 息 至 少 能 得 到 一 次 完 整 处 理 。 任 务 失 败 时 ， 负 责 从 消 息 源 重 试 消 息 ； e ） 应 支 持 水 平 扩 展 。 1 1 数 据 服 务 1 1 . 1 概

26、 述 数 据 服 务 负 责 完 成 对 涉 及 车 辆 基 础 数 据 的 计 算 及 分 析 等 业 务 功 能 开 发 ， 并 将 功 能 对 外 进 行 发 布 ， 可 供 其 他 系 统 进 行 调 用 及 二 次 开 发 。 1 1 . 2 功 能 要 求 数 据 服 务 模 块 功 能 要 求 如 下 ： a ） 应 实 现 车 辆 的 流 量 、 速 度 、 轨 迹 等 数 据 运 算 ； b ） 应 提 供 车 辆 类 型 统 计 分 析 功 能 ； c ） 应 按 时 间 段 进 行 车 流 、 车 型 等 数 据 的 统 计 分 析 ； d ） 应 对 外 提 供 符 合 标 准 的 服 务 接 口 。 _