1、 信息共享交换平台建设方案 TONGTECH 2014 -2- 目录 1 .建设目标 . 3 2 .建设原则 . 3 3 .平台架构 . 4 3.1 平台总体逻辑架构图 . 4 3.2 平台功能架构图 . 6 3.3 部署拓扑图 . 7 4 总体技术要求 . 9 4.1 基础支撑软件选型 . 9 4.2 技术路线要求 . 9 4.3 总体性能需求 . 11 5 .建设内容 . 11 5.1 数据共享交换子系统 . 11 5.2 共享数据目录管理子系统 . 25 5.3 共享数据管理子系统 . 26 5.4 平台服务门户 . 27 5.5 安全保障建设 . 28 5.6 标准规范建设 . 30
2、6 投资概算 . 31 -3- 1 .建设目标 项目的建设目标是在 政务信息规划 整体框架下，依托现有政务网络资源， 建设覆盖 全市所有政府部门的信息共享交 换平台 （以下简称“平台”） ， 建立相关部门信息资源的互联互通和共享的管理制度，规范相关系统、数据、技术接口形式，形成可持续发展的运行长效机制。 通过平台建设，可以打通 分散在 政务外网 、 政务专网的 各应用系统之间实现信息交互，为“政务主题 应用”服务，满足 合肥信息资源中心 建设需要。并可以为基于城市级 人口、法人 、 空间地理 形成 城市 基础信息库、专题信息库， 为经济建设和社会发展提供辅助决策提供服务。 2 .建设原则 平台
3、作为 合肥信息资源中心 跨部门 业务协同 的重要基础设施，在建设实施过程中应遵循标准性、安全性、稳定性、可扩展性等原则 。建设标准上应遵循国家和行业信息化建设有关标准及要求，体现以下原则： （ 1） . 标准性 设计应该遵循相应的国际、国内、地方或行业标准。 按照 国标 GB/T 21062政务信息资源交换体系 、 GB/T 21063 政务信息资源目录体系、 GB/T 28168 消息传输等相关规范，以及 当前 国际 主流的 Webservice、 SOA参考架构等进行设计，并建立数据交换标准规范体系，保障平台可靠稳定长效运行。 （ 2） . 安全性 项目建设应对数据、应用的安全性进行充分考
4、虑，充分利用 接入系统认证、用户角色管理、数据加解密、服务安全认证、签名验签、操作事后审 计、 内外网不同网段之间等安全技术手段确保平台安全可靠运行。 （ 3） . 稳定性 为保障平台的稳定可靠运行，平台建设 的底层核心技术是关键。 核心技术必须是经过多年验证应用的成熟技术，必须采用 成熟、稳定、可靠的商用 中间件技术支撑软件。 （ 4） . 可扩展性 随着 合肥信息资源中心 建设 的逐步推进，接入系统类型和部门逐步增多，平台必须 支持 大规模运行需要，并随着业务应用发展进行接入量 、 并发量 的 动态扩展，不 影 响已完成平台的运行 。 -4- （ 5） . 易用性 平台建设充分考虑 面向用
5、户的易用性，将底层技术 核心 进行二次封装，采用B/S架构实现数据交换 的 Web配置、共享数据 目录和 共享 服务的 B/S 注册管理及调用 。 3 .平台架构 3.1 平台总体 逻辑架构图 平台 采用多层体系架构设计，通过基础支撑和功能应用子系统实现 遵循 SOA体系的、分层的、松耦合、服务化的先进性设计。 不但有利于保证平台的业务无关系和相对独 立性，使平台和业务分离开来，独立于各部门业务应用系统之外，而且 有利于保证平台的先进性、灵活性、稳定性、可用性和可扩展性，有利于平台的快速建设实施、迅速应用见效。平台总体框架如下图所示： 数 据 共 享 交 换信 息 共 享 交 换 平 台展现层
6、标准规范体系安全保障机制信息资源层元 数 据 库虚拟化基础设施层操 作 系 统 、 数 据 库 等 软 件 基 础 设 施平台支撑层应用服务层数 据 共 享 交 换多 维 数 据 服 务网 络 、 服 务 器 、 存 储 等 硬 件 基 础 设 施公 务 员领 导其 他共 享 数 据 目 录 子 系 统数 据 共 享 交 换 子 系 统共 享 信 息 库 管 理 子 系 统虚 拟 化 平 台数 据 目 录 库 前 置 信 息 库 共 享 信 息 库管 理 库E S B 服 务 总 线消 息 服 务 总 线E T L 数 据 集 成数 据 库适 配 器文 件适 配 器协 议适 配 器功 能适 配
7、 器配 置 监 控运 行 管 理数 据整 合应用系统数据资源委办局专网其他支撑平台安全体系平 台 服 务 门 户数 据 报 表数 据 交 换 用 户 管 理信 息 发 布J E E 容 器-5- 合肥信息资源中心 信息共享交换 平台 为应 用系统、数 据资源、其他平台、委办局专网应用系统数据集成 服务。 总体架构分为基础设施层、信息资源层、平台支撑层、应用服务层、标准规范体系、安全保障体系和 平台服务门户 七 大 部分。 1) 基础设施层 基础设施层主要包括平台建设所需的网络环境、服务器、存储及其他设备，基础设施支持基于云计算的虚拟化技术，确保为平台提供稳定可靠的硬件环境，是支撑平台正常运行所
8、必须的重要物理设施 。 2) 信息资源层 信息资源层 实现数据存储 管理， 平台提供前置库服务、元数据库、数据目录库、共享信息库等信息资源 。 3) 平台支撑层 平台 支撑 层 是平台的核心技术模块， 平台建设所需的 JavaEE 应用服务器中间件为平台和平台应用管理提供基础运行环境支撑 ； 数据 集成中间件、 集成适配器、 消息中间件、数据集成中间件 ETL等所需的关键技术及中间件软件 。 4) 应用服务层 共享交换应用服务层主要由数据共享交换 子 系统 、 共享数据 目录 子 系统、 共共享 数据 管理 子 系统 组成。为平台提供所需的 交换、数据 目录 及 共享库 等功能。 5) 标准规
9、范体系 平台需要建设 统一的标准规范 体系 ， 涵盖数据、技术、管理三个维度，是平台各系统得以顺利建设和长效运行的保障 。 6) 安全保障机制 确保平台安全运行的保障机制，信息安全贯穿于平台的各个 层面，平台各子系统的建设都必须具有相应安全保障措施，以保确保信息资源安全、应用系统安全、用户权限安全 。 7) 平台 服务门户 提供一个共享服务统一出口，实现 平台用户管理、 各子系统的应用集成，并实现数据 目录的条件查询和共享服务的发布和申请 ， 对于平台的专题库将可以提供多种 展现方式包括统计报表、 指数指标、 柱状图、饼状图、折线图等多种方式。 -6- 3.2 平台 功能架构 图 平台将面向基
10、础支撑、数据交换服务、数据资源 共享 服务、信息共享库管理提供包括基础支撑中间件、平台服务门户、数据共享交换 子 系统、共享 数据目录子 系统，以及 共享信息库功能模块 。功能架构如下： 信 息 共 享 交 换 平 台数 据 共 享 交 换 子 系 统统 一 W e b 配 置统 一 监 控 管 理交 换 基 础 信 息 配 置交 换 业 务 配 置交 换 节 点 配 置交 换 通 道 配 置交 换 网 络 拓 扑交 换 数 据 库共 享 数 据 发 布交 换 订 阅 发 布批 量 发 布 流 程交 换 环 境 监 控交 换 业 务 数 据 监 控节 点 资 源 监 控节 点 状 态 监 控系
11、 统 告 警 监 控交 换 流 程 监 控节 点 交 换 统 计数 据 交 换 统 计流 程 交 换 统 计系 统 管 理角 色 管 理机 构 管 理系 统 配 置前 置 交 换数 据 抽 取适 配 器 触 发 器 时 间 戳 标 志 位交 换 触 发定 时 实 时 手 工 触 发 条 件 触 发共 享 信 息 管 理 子 系 统安 全 机 制数 据 查 询数 据 组 织数 据 桥 接数 据 安 全服 务 安 全数 据 分 级 传 输 加 密应 用 安 全用 户 权 限操 作 审 计 节 点 认 证平 台 服 务 门 户信 息 检 索 应 用 集 成 用 户 管 理信 息 发 布交 换 中 心
12、数 据 过 滤 ： 发 布 端 过 滤 、 订 阅 端 过 滤数 据 路 由 ： 内 容 路 由 、 节 点 路 由数 据 关 联 ： 单 表 ， 主 字 表 ， 表 + 文 件 ， 文 件数 据 传 输可 靠 传 输 机 制断 点 续 传 压 缩 传 输加 密 传 输可 靠 队 列C D C 日 志基 础 支 撑 中 间 件消 息 中 间 件J e e 应 用 服 务 器集 成 中 间 件数 据 集 成 E t l共 享 数 据 目 录 子 系 统元 数 据结 构 目 录数 据 目 录 数 据 查 询数 据 注 册数 据 更 新数 据 加 工批 量 订 阅 流 程集 成 适 配 器（ 1）
13、. 平台服务门户： 平台服务 门户依托 数据共享交换平台和信息资源面向平台用户实现信息资源访问、共享利用和使用。可以 使得数据 资源 得到有效整合和标准化，规范信息系统和数据 交换与共享过程 ，使信息 交换 、信息 共享 、信息 展现、信息服务 走上一个新的台阶。 （ 2） . 数据共享交换平台 ：平台按照 GB/T 21062 政务信息资源交换体系 （国标）总体框架标准规范设计，包括交换中心、交换前置、交换传输、交换管理模块。在设计上平台基于发布、订阅理念，将每一个交换资源先 共享服务化管理，再进行订阅交换管理，实现了共享与交换的相辅相成、相互继承的问题。同时基于基础支撑中间件实现 B/S的
14、浏览器交换流程配置、管理监控，快速提升平台的易用性。 -7- （ 3） . 共享数据 目录系统 ：平台通过元数据管理实现了数据资源目录管理，解决了基础资源库的规范描述 ，方便业务数据描述清晰 。 （ 4） . 共享信息 管理系统 ： 共享信息库主要交换平台为了提供公共数据服务，通过数据交换实现 公共数据集成，并可以实现数据加工比较，结合数据目录实现结构管理，集合共享目录服务实现共享资源服务发布 。 （ 5） . 安全机制 ：作为 合肥信息资源中心 安全体系的有机组成部 分，重点强调数据安全和应用安全。数据安全包括传输加密解密、数据共享服务安全控制、数据分级、数据存储备份机制。应用安全包括用户访
15、问权限、服务共享授权、平台操作审计等安全机制。 （ 6） . 基础支撑中间件 ：整个平台基于中间件技术进行平台建设，涉及到 集成中间件集成中间件适配器、 消息传输中间件、数据集成 Etl、 JEE 应用服务器等，为平台提供稳定可靠的底层支撑。 3.3 部署 拓扑 图 平台采用中心 前置机模式部署，既可以支持传统数据中心模式，也可以支持部署云中心模式。平台统一部署在云计算中心，与政府部门之间通过政务外网联接，并建立备份区域 和 DMZ 区域。云计算 IaaS 环境提供平台运行的软件硬件设施环境，包括提供服务器、存储等基础设施的虚拟化服务，以及对外提供信息共享的云服务。 信息共享的云服务属于 PA
16、As 平台层：平台对外提供的信息以 Web服务的方式构建成信息云服务模式，以适应外部访问压力的需求，满足按需即时的信息共享服务需求。数据目录、服务目录、指标等属于数据中心应用。 部署结构按照传统模式 ，部署示意图如下： -8- 共 享 交 换 中 心存 储 阵 列中 心 前 置集 成 中 间 件 、 T L Q接 入 部 门政 务 外 网数 据 库（ 双 机 ）平 台 服 务 门 户平 台 管 理 系 统D X P工 商 局 前 置 机适 配 器 、 T L Q税 务 前 置 机适 配 器 、 T L Q公 安 前 置 机适 配 器 、 T L Q劳 动 社 保 前 置 机适 配 器 、 T
17、L Q数 据 目 录共 享 信 息 管 理T W E B数 据 加 工 处 理E T L 工 具互 联 网互 联 网 前 置 机适 配 器 、 T L Q公 用 前 置 接 入环 保 局 能 源 局安 监 局农 业 局发 改 委旅 游 局 民 政 局规 划 局商 务 局其 他 委 办局中 心 公 用 前 置适 配 器 、 T L Q其 他 部 门 前 置 机适 配 器 、 T L Q服务器 建议 配置如下： 序号 部署 部署 配置要求 数量 1 共享交换中心 平台管理系统 DXP、平台服务门户、平台数据目录、共享信息管理、应用服务器 TWEB 建议选择高端 PC Server， 8核 2CPU
18、 64G以上内存；主流操作系统 2台负载均衡 2 数据库服务器 建议选择高端 PC Server， 8核 4CPU 64G以上内存；主流操作系统、 ORACLE 数据库 2台 RAC 3 交换中心服务器 建议选择高端 PC Server， 8核 4CPU 64G以上内存；主流操作系统 1台 4 数据加工处理服务器 建议选择高端 PC Server， 8核 4CPU 64G以上内存；主流操作系统 1台 5 部门公用前置机 建议选择高端 PC Server， 8核 4CPU 64G以上内存；主流操作系统 1台 6 接入部门 前置机 建议选择高端 PC Server， 4核 1CPU、 8G以上内存
19、；主流操作系统 1套、数据库 1套。 8台 -9- 4 总体技术要求 4.1 基础支撑软件选型 操作系统：核心业务运行采用 Linux平台，管理监控采用 Windows 平台。 数据库：使用 Oracle、 SQLserver用户 比较熟悉的大型、先进、成熟的数据库系统。 中间件软件：使用国内主流、成熟稳定的 集成中间件 及适配器 、数据集成 Etl、消息中间件和 JavaEE 应用服务器中间件产品，且为了方便运维，采用统一品牌 。 4.2 技术路线要求 4.2.1 Java EE 规范 为了保证高可用性、高可靠性和可扩展性，系统必须要选择支持强大的企业级计算的成熟的技术路线。能够满足这些条件
20、的技术首推 JAVA EE企业标准。 JAVA EE5.0是目前最主流的企业级平台支撑技术，已成 IT领域的国际工业标准。合理运用 JAVA EE 技术、标准和产品，可以构建具有企业级高可 用性、高稳定性、高可靠性和高可扩展性的信息共享交换平台系统。 JAVA EE 技术的基础是 JAVA 语言， JAVA 语言的与操作系统平台无关性，保证了基于 JAVA EE平台开发的应用系统和支撑环境可以跨平台运行。 4.2.2 SOA 的体系架构 SOA（ Service Oriented Architecture，简称 SOA），即面向服务的体系架构， 提供了一种构建 IT 组织的标准和方法，并通过建
21、立 可组合 、可重用的服务体系来减少 IT业务冗余并 确保信息系统的可持续发展以及快速构建 。 SOA 的实现对技术没有限制。 SOA 是关于共享和管 理服务的结构，对所采用的技术只需要满足规范和项目需要就可以。虽然 Web服务协议是创建和部署 SOA架构的主要方式和标准，但是可以使用其他技术。 SOA可以节省组织成本，包括重复利用已存在的软件作为服务，以及增强改变 IT方案适应需求变革或灵活性的能力。 7 互联网接入 前置机 建议选择普通 PC 服务器， 4 核 1CPU、 8G以上内存；主流操作系统及数据库各 1套 1台 -10- SOA对兼容性的需求完全处在松耦，可以通过在项目实施过程中
22、为创建和部署大多数 SOA提供的端到端解决方案解决兼容性问题。 4.2.3 ESB 企业服务总线 ESB（ Enterprise Service Bus，简称 ESB），即企业服务总线， 是 SOA的骨干，在完成服务的接入，服 务间的通信和交互基础上，还提供安全性、可靠性、高性能的服务能力保障。 采用 SOA架构，基于 ESB总线进行信息系统集成，信息系统之间的交互通过ESB服务总线进行，这样可以降低应用系统之间的耦合度，消除应用系统之间技术的差异，化解点对点集成瓶颈，降低集成开发难度，提高模块复用，增进系统开发和运行效率，便于业务系统灵活重构，快速适应业务及流程变化需要。 4.2.4 WEB
23、 数据集成技术 通过 WEB数据集成技术可以支持跨地域、跨部门、跨层级的数据交换技术支撑体系的快速建设。基于 JMX标准，便于简化统一管理接口，并扩展管理功能，同 时方便开放 API供用户访问。支持多种部门交换模式，包括内部交换模式、同级部门交换模式、上下级部门交换模式。提供了一个 B/S的可视化的统一管理，配置，部署，监控界面。用户可通过此平台，进行节点管理，数据共享发布，发布资源查询，发布资源订阅，对配置的部署，运行和和监控。支持组织机构、操作人员、交换设施、交换资源、交换模式、交换流程、交换安全等管理配置。支持数据点对点交换、发布 /订阅（一对多、多对一等）交换、定时交换、实时交换等。支
24、持中心、前置机的集中统一配置管理监控，使得上级可以帮助下级单位创建部署新的交换流程 。提供了基于浏览器的管理控制台，能够对平台节点、发布 /订阅资源、进行状态查询和监控管理。 4.2.5 消息传输控制技术 数据交换平台的 SOA 架构要支持主流消息中间件。消息中间件支持智能路由、采用灵活的消息路由方式、支持基于消息内容的处理和路由、提供发布 /订阅功能、支持队列和主题两种订阅模式、提供可靠的数据或消息传输、支持开放的通讯协议。支持实时消息通讯，可以支撑万级传感器消息并发处理。 4.2.6 ETL 数据集成技术 -11- ETL 是 Extract（抽取）、 Transform（转换）、 Loa
25、d（加载）首字母的缩写。ETL 早期作为数据仓 库的关键环节其逐渐演化成数据集成的独立解决方案。 ETL 数据集成技术提供包括数据清洗过滤、数据验证、高可靠性等重要特性，主要提供数据抽取、数据转换、数据加载功能。数据抽取即从源数据源系统抽取目的数据源系统需要的数据；数据转换即将从源数据源获取的数据按照业务需求，转换成目的数据源要求的形式，并对错误、不一致的数据进行清洗和加工；数据加载即将转换后的数据装载到目的数据源。 4.3 总体性能需求 提供基于 ESB 和消息可靠传输的集群和灾备恢复能力 提供数据加工处理 ETL毫秒级响应 提供批量数据的异步通信机制，确保大数据并 发处理 支持 4GB 及
26、以上的大文件传输，对于大文件可以实现文件分割传送，并且在异常情况下有相应的补救措施。确保数据交换不重传、不漏传、不错传，平台能够满足较大规模数据传输要求。 单条数据（ 2K字节以内）传输周期小于 500ms， 10000条数据（共 2M字节以内） 5 分钟完成。 数据采集速率 30000条 /秒， 1M大小的数据包交换，基于可靠队列传输速度 95M/S（千兆网）；数据库实时交换 1000 条 /秒；串行处理数据TPS每秒事务处理量 900次以上。 采用多线程并发技术，同时提供数据压缩、断点续传、大数据切割等机制，以解决网络环境下的海量数据并发传输的性能瓶颈。 年故障时间累计小于 12小时 5
27、.建设内容 围绕建设目标，智慧 新余信息共享交换平台具体建设内容包括七 个方面：数据共享交换平台、数据 目录、 服务目录、共享信息库 管理 、 平台服务门户、标准规范体系和安全保障机制。 5.1 数据共享交换 子 系统 共享交换 子 系统是 合肥信息资源中心 信息化建设的首要 任务，以共享带动交-12- 换，以交换促进共享。统一数据交换平台采用中心 -前置模式，提供各种异构系统的数据采集发布，通过统一传输和交换服务中心，支撑跨部门、数据中心各应用的按需订阅，实现信息交换与 共享的联动，为信息系统整合、跨部门组织机构协同提供基础支撑。主要建设内容包括以下几个方面： 5.1.1 统一 Web 配置
28、 5.1.1.1 登录 /注销 在 web浏览器的地址栏输入 访问 URL，提供用户名和密码权限管理 ，基于用户管理系统，实现用户的登陆和注销 。 5.1.1.2 平台基础 定义 平台基础定义包含 用户管理、物理节点、逻辑节点、数据源四 部分，分别用于定义平台内的前置服务器 、 共享交换 逻辑节点 、共享交换数据源 ，以及节点间的关系。 一个物理服务器可以运行多个逻辑节点 ，一个共享数据源属于一个逻辑节点 。 5.1.1.2.1 机构及用户角色维护 可以维护一个树状组织结构，建立平台用户 ，每个用户属于一个机构。 5.1.1.2.2 前置机器管理 定义参与数据交换的一个物理的机器。 5.1.1
29、.2.2.1 前置机全网浏览 可以根据节点名称来进行查询，支持模糊查询。 前置机信息描述如下： 前置机名称：物理节点的名称。 IP地址：物理节点对应的服务器的 IP地址， IP必须填写实际 IP地址。 业务描述备注：物理节点的备注描述信息。（譬如能源局前置机） 5.1.1.2.2.2 新增 、修改、删除 前置机 支持 新增前置机、修改节点信息、以及 单个删除 和批量删除 节点 。 在物理节点管理界面的物理节点数据格内， 既可以单个删除节点，也可以批量或者全量选择进行批量删除。 -13- 5.1.1.2.3 交换节点管理 定义，修改，删除运行时参与数据交换的交换 节点 的配置信息。包括 节点名称
30、、管理信息（管理用户名，密码，端口）、数据交换的数据接收端口等；一个物理节点可能配置 多个逻辑节点。 5.1.1.2.3.1 交换节点 全网拓扑 提供数据 交换节点拓扑结构图 ，所有节点以树状拓扑结构来进行管理。 在交换节点拓扑图上，建立根节点，提供所配即所得的配置效果。 可以对拓扑图中的任意逻辑节点（前置交换节点）及子节点选择，实现逻辑节点配置详情查看。 支持多级节点扩展，每一级节点都可以增加子节点。形成根节点、二级节点、三级节点 的树形物理交换结构，与政府行政机构设置 形成匹配关系。 需要配置的参数说明： 节点名称：逻辑节点的名称。 节点类型：逻辑节点类型（分为管理节点和交换节点），根节点
31、必须为管理节点。 物理节点：此逻辑节点所在的物理节点。 管理代理用户名：此逻辑节点的管理代理用户名，必须和该前置机节点一致。 管理代理密码：此逻辑节点的管理代理用户的密码，必须和该前置机节点一致。 管理代理端口：此逻辑节点的管理代理端口，必须和该前置机节点一致。 消息监听端口：数据交换时消息传输接收数据的端口，前置机节点一致。 业务备注：对此逻辑节点的备注说明 . 5.1.1.2.3.2 新增 、修改、删除 交换节点 在拓扑图上可以增加新的 、修改、删除 逻辑节点，并建立 数据交换节点的 上下级关系，并建立相邻节点间的主干交换链路。 5.1.1.2.3.3 新增 、修改、删除 子节点 可以对拓
32、扑图中的任意逻辑节点 （前置交换节点）添加子节点，实现多级交-14- 换路由。添加子节点，可以直接建立上下级节点的数据交换链路，并可以直接对新增节点进行初始化。 并可以对子节点进行修改和删除。 5.1.1.2.4 交换链路创建 /删除 通过拖拽（从一个节点的拖拽到另一个节点）可在两个节点间建立用户链路 ，选中 链路， 可通过右键弹出菜单删除交换 链路。 5.1.1.2.5 共享交换数据源管理 定义，修改，删除参与数据交换的一个数 据库的信息（包括数据源名称，数据库类型，数据库驱动类名，连接 URL，用户名，密码等信息），以供共享交换流程使用。 5.1.1.2.5.1 数据源 浏览 可以根据数据
33、源名称，数据源类型，节点来进行查询，数据源名称支持模糊查询。支持通过数据源的名称的超链接打开数据源详情页面，通过详情页可以查看数据源的基本信息。 数据源支持市场上主流的数据库系统，包括 oracle、 SQLServer、 Mysql、Db2等数据库类型。 数据源的配置参数说明： 数据源名称：数据源的名称。 节点名称 ： 使用这个数据源的逻辑节点名称 数据库类型 ： 数据源的数据库类型 ，下拉框选择 驱动类名 ： JDBC的驱动类名 连接 URL： JDBC 的连接 URL 用户名 ： 数据库用户名 密码 ： 数据库用户的密码 Schema名称 ： 数据库的 Schema名称， 有效性验证 S
34、QL ： 验证数据源有效性的 SQL 语句，建议此填写运行效率比较高的语句。 数据源业务 备注 ： 数据源的描述信息。 5.1.1.2.5.2 新增、修改、删除数据源 -15- 支持新增、修改、删除数据源头。，并建立数据交换节点的上下级关系，并建立相邻节点间的主干交换链路。既可以单个删除数据源，也可以批量或者全量选择进行批量删除。 5.1.1.2.5.3 数据源初始化 /反初始化 在的在创建结构化资 源 时 ，发布模式为触发器模式时，需要对相应的数据库进行初始化操作（建立触发器数据交换用到的系统表），相应的反向操作（清理系统表及数据）叫做反初始化。 5.1.2 共享交换信息 资源 发布 通过统
35、一 Web配置，可以 实现共享信息资源发布 配置，修改，部署 /反部署，运行状态查看，启 /停发布资源。 5.1.2.1 发布资源浏览查询 实现对共享交换信息资源进行浏览，并 可以根据发布名称，逻辑节点，数据源，部署状态进行查询 。且 发布名称支持模糊查询。 查询条件定义： 发布名称：发布资源名称，支持模糊查询。 逻辑节点：发布资源的部署逻辑节点。 数据源：发布资源使 用的数据源。 部署状态：发布资源是否已部署，可选值为：所有 /已部署 /未部署。 5.1.2.2 新增 、修改 共享交换信息资源 共享交换信息资源 发布配置 参数 发布名称 ： 发布资源的名称。 是否需要回执 ：发 布资源共享出
36、的数据，订阅方收到后，是否要给回执信息 。 部署节点 ： 发布资源要部署到的逻辑节点。 生命周期 ： 发布资源共享出的数据，在数据交换过程中的生命周期，单位：秒， 0 表示无限制，超过生命周期，则认为该数据无效，则该次数据交换认为失败。 管理节点 ： 此发布资源的管理节点。 资源描述 ： 对发布资源的描述信息，以便订阅可以通过描述信息了解该-16- 发布资源。 业务 备注 ： 备注说明 资源类型 ： 发布资源类型，目前仅有“结构化数据“，即数据库类型数据，将来可能扩展。 数据源 ： 发布资源使用到的数据源，只可选择和部署节点关联的数据源。 资源模式 ： 触发器，时间戳，标志位字段， oracl
37、eCDC日志分析。 每次批处理条数 ： 每次最大处理的数据条数，触发器模式有效； 数据包大小 ： 单位： KB，每次发送数据的数据包最大值。 时间间隔 ： 轮训处理时间间隔，单位：秒；此值越大，交换实时性越差，此值越小，交换实时性越高，但系统资源占用相对加大。定时设置有 年、月、日、周、星期几、时 、分、秒几种方式。 发布数据库 表名 ： 发布资源对应的数据库的表名，即发布哪个表的数据。 发布 数据表 字段 ： 可打开发布字段设置窗口，设置要发布的字段。 发布条件 ： 可打开发布条件设置窗口，设置发布条件。 条件 关系符 ： =、 =、 、 =、 like、 not like、 is null
38、和 is not null。 时间戳的设置： 时间戳同步，根据不同数据库需要设置的 不同 发布条件 。 5.1.2.3 发布流程部署 /反部署 发布资源配置完后，只是配置了一个静态资源（静态配置），需要将该发布资源部署到对应的逻辑节点启动后才真正完成了数据的发布。 单个部署 /反部署 支持发布资源的单个 部署 /反部署发布资源。 批量部署 /反部署 提供 对应发布资源的复选框（可多选） ，支持发布资源的 可批量部署 /反部署 。 5.1.2.4 发布流程启动 /停止 发布资源部署后，需要将其启动，发布资源才会真正发布数据，实现数据交换的资源动态共享，为交换做好准备。 单个启动 /停止 支持发布
39、资源的单个 可启动 /停止发布资源。 批量启动 /停止 -17- 提供 对应发布资源的复选框（可多选），可批量启 动 /停止发布资源。 5.1.2.5 静态发布流程删除 发布资源在未部署、未启动的情况下可以进行发布流程删除。如果要删除发布资源已经被订阅则提示被哪个（些）被哪个订阅资源订阅，不允许删除。 单个删除 支持发布资源的单个 可删除该发布资源。 批量删除 支持 对应发布资源的复选框（可多选），可批量删除发布资源。 5.1.2.6 共享交换信息 资源 批量发布 针对数据交换项目中，有的系统有很多表需要发布，发布规则一致的情况，为了减少大量的人工操作， 平台 提供了批量发布资源的功能。批量发
40、布资源可以针对一个数据源的多个数据表一次性发布多个发布资源（一个表一个发 布资源，发布数据表的所有字段）。 批量发布参数配置： 逻辑节点：发布资源要部署到的逻辑节点。 是否需要回执：发布资源共享出的数据，订阅方收到后，是否要给回执信息。 生命周期：发布资源共享出的数据，在数据交换过程中的生命周期，单位：秒， 0 表示无限制，超过生命周期，则认为该数据无效，则该次数据交换认为失败。 数据源：发布资源使用到的数据源，只可选择和部署节点关联的数据源。 资源模：资源发布模式：触发器，时间戳，标志位字段， oracle 日志分析。 每次批处理条数：每次最大处理的数据条数，触发器模式有效。 数据包大 小：
41、单位： KB，每次发送数据的数据包最大值。 管理节点：发布资源的管理节点。 时间间隔：轮训处理时间间隔，单位：秒；此值越大，交换实时性越差，此值越小，交换实时性越高，但系统资源占用相对加大。定时配置有 年、月、日、周、星期几、时、分、秒几种方式。 -18- 备注：备注说明 发布表名：可以直接选择要发布的数据表。 设置完发布表后，可以逐个设置每个表的发布条件。 批量发布会根据发布的数据表的名称自动生成发布资源的名称。 5.1.3 共享交换信息 资源 订阅 通过统一 Web 配置，可以 配置，修改，部署 /反部署，运行状态查看，启 /停订阅资源 。 5.1.3.1 订阅资源浏览查询 根据订阅者权限
42、，可以在 Web控制台进行查询。 可以根据资源名称，逻辑节点，数据源，部署状态，发布资源进行查询。查询条件说明： 资源名称：订阅资源名称，支持模糊查询。 逻辑节点：订阅资源的部署逻辑节点。 数据源：订阅资源使用的数据源。 部署状态：订阅资源是否已部署，可选值为：所有 /已部署 /未部署。 发布资源：订阅资源订阅的发布资源。 5.1.3.2 新增、修改共享交换订阅流程 通过 对获取访问权限的发布资源进行订阅。 订阅名称：订阅资源的名称。 部署名称：发布资源要部署到的逻辑节点。 管理节点：此发布资源 的管理节点。 发布资源 :订阅对应的发布资源。 交换路径 :发布订阅运行时数据交换的节点路径。 数
43、据源 :订阅资源使用到的数据源，只可选择和部署节点关联的数据源。 表名 :订阅资源收到数据后要入库的数据表名称。 更新失败是否插 :收到数据入库，当执行 Update 操作没有对应的数据的时候，是否将此数据插入数据库。 字段映射 :可打开字段映射设置窗口，设置发布和订阅的字段映射关系。 订阅条件 :可打开订阅条件设置窗口，设置发订阅条件。 -19- 5.1.3.3 订阅流程部署 /反部署 订阅资源配置完后，只是配置了一个静态资源（静态配置），需要将该订阅资 源部署到对应的逻辑节点启动后，才能真正处理订阅接收。 单个部署 /反部署 支持订阅资源的单个部署 /反部署发布资源。 批量部署 /反部署
44、提供对订阅资源的复选框（可多选），支持发布资源的可批量部署 /反部署。 5.1.3.4 订阅流程启动 /停止 订阅流程部署后，需要将其启动，订阅资源才会开始交换数据。支持单个启停和批量启停。 单个启动 /停止 支持订阅资源的单个可启动 /停止。 批量启动 /停止 提供对订阅流程的复选框（可多选），可批量启动 /停止发布资源。 5.1.3.5 静态订阅流程删除 订阅流程在未部署、未启动的情况下可以进行流程删除。 单个删除 支持订阅流程的单个可删除。 批量删除 支持订阅流程的复选框（可多选），可批量删除订阅流程。 5.1.3.6 共享交换 资源 批量订阅 对于发布资源对应的数据表和订阅资源对应的数
45、据表，表结构一致的情况，为了减少用户的工作 量，平台提供批量 订阅资源功能。 批量订阅资源功能，允许用户选择一个发布节点，同时可以选择发布节点的数据源（也可选择所有数据源），并设定发布端表和订阅数据源的表之间的表映射，来批量订阅指定发布节点上的发布资源。 订阅参数配置如下： 发布节点：要批量订阅的发布资源所在的节点。 订阅节点：订阅节点 管理节点：订阅资源的管 理节点。 -20- 发布资源：订阅对应的发布资源。 交换路径：发布订阅运行时数据交换的节点路径。 数据源 ：阅资源使用到的数据源，只可选择和部署节点关联的数据源。 更新失败是否插入：收到数据入库，当执行 Update操作没有对应的数据的
46、时候，是否将此数据插入数据库。 表映射：打开字段映射设置窗口，设置发布和订阅的表映射关系，名称相同的表会自动建立映射关系。 订阅条件：可以针对每个映射关系，设定订阅条件。 批量订阅资源会自动根据订阅端的表明和发布资源的名称生成对应的订阅资源的名称。 5.1.4 前置交换 前置交换是指数据交换平台中真 正完成数据交换的一个技术实现，数据交换从整个流程上来说有数据抽取，数据处理及数据传输，通过这三个环节就完成了一个基本的数据交换的过程。 而前置交换主要是完成数据抽取和更新触发。 5.1.4.1 数据抽取 数据交换平台有多种数据抽取模式，每一种数据抽取模式都可以配置不同的数据抽取频率。可以根据项目的
47、实际需求选择不同的数据抽取模式，具体包括： 5.1.4.1.1 适配器服务 适配器服务是外系统接入平台的桥梁，是多种异构系统之间互连互通及互操作的重要组件。适配器遵循 JCA1.5 标准，真正实现了适配器的重用。常见的适配器，如结构化及非结构化文件适配器， Oracle、 DB2、 SqlServer、 KingBase、MySql、 Access、 Excel 等数据库适配器， FTP、 SMTP/POP3、 JMS、 Webservice、httphttps 等通讯类适配器等。除了系统本身集成的适配器之外，它还提供了适配器开发工具，便于用户开发适合自己需要的定制适配器，并无缝集成到开发系统
48、中。 5.1.4.1.2 CDC 日志分析 日志分析模式，是指通过分析数据库的日志来抽取数据变化增量数据 ;由于目前各个数据库日志的记录模式，开放程度都不一样，通过对目前常用的数据库-21- 分析， oracle 数据库对日志的 开放程度比较高，记录的比较详细 ，其优点对数据库侵入性低，只需要打开数据库的归档日志即可，无需在数据库上做更多的配置。 5.1.4.1.3 触发器模式 触发器模式是针对目前常用数据库都支持的一种通用模式，即通过配置工具在要进行交换的数据表上自动创建一些必要的触发器，当数据发生变化是可以定时或者实时的把发生变化的数据交换出去。 5.1.4.1.4 时间戳模式 时间戳抽取
49、模式是针对目前常用数据库都支持的一种通用模式，即要进行数据交换的数据表上要求有一个时间类型的字段，业务数据发送变化的时候此字段更新成变化时间，系统会定时扫描发生变化的数据进行交换。 5.1.4.1.5 标 志位模式 标志位抽取模式是针对目前常用数据库都支持的一种通用模式，即可以指定要进行交换的数据表中的某一个字段的值是什么时候进行交换，这里称其为标志位，当完成交换后把此字段设置成另外一种状态，即已经完成交换。 5.1.4.2 交换触发 交换流程的执行触发方式可分为定时触发，实时触发，手工触发，条件触发。 定时触发：数据交换可指定某个时间，或某个周期定时执行。 实时触发：数据交换实时进行，当系统检测到数据增量变化时实时交换数据，检测频率可设定。 手工触发：可通过手工操作来执行数据交换。 条件触发：可根据某个条件，当条件满足时来 触发交换流程
