1、 ICS 01.040.35 CCS L 70 41 河南省地方标准 DB41/T 29252025 异构数据融合技术指南 2025-08-08 发布2025-11-07 实施河南省市场监督管理局发 布 DB41/T 29252025 I 目次 前言.II 1 范围.1 2 规范性引用文件.1 3 术语和定义.1 4 总体原则.1 5 融合过程.1 6 融合表应用.4 附录 A(资料性)异构数据融合示例.5 参考文献.9 DB41/T 29252025 II 前言 本文件按照GB/T 1.12020标准化工作导则 第1部分:标准化文件的结构和起草规则的规定起草。请注意本文件的某些内容可能涉及专
2、利。本文件的发布机构不承担识别专利的责任。本文件由河南省行政审批和政务信息管理局提出。本文件由河南省大数据标准化技术委员会(HN/TC 26)归口。本文件起草单位:河南警察学院、河南日彤大数据科技有限公司、河南省公安厅、郑州轻工业大学、郑州图悦信息技术有限公司、河南英明电子科技有限公司、郑州宁润信息科技有限公司、济源职业技术学院、郑州云智信安安全技术有限公司。本文件主要起草人:党玉龙、甘琤、甘一彤、刘会霞、许伟昶、刘琦、刘晓阳、常旭辉、骆凯丽、刘兴磊、张楠、邢广东、周帅、董成成、远京辉、许天烨、高燕。DB41/T 29252025 1 异构数据融合技术指南 1 范围 本文件提供了异构数据融合的
3、总体原则、融合表设计、建立、数据导入和应用的指导。本文件适用于跨领域多源异构数据的融合处理分析应用。2 规范性引用文件 本文件没有规范性引用文件。3 术语和定义 下列术语和定义适用于本文件。信息 关于客体(如事物、事实、事件、过程)的知识,在一定的场合中具有特定的意义。来源:GB/T 5271.12020,2.01.01.01,有修改 数据 信息的可再解释的形式化表示,以适用于通信、解释或处理。来源:GB/T 5271.12020,2.01.01.02 异构数据融合 将不同来源、种类、结构的数据,融合到一个数据库表的过程。注:本文件中的异构数据仅限定为结构化数据。4 总体原则 异构数据融合宜遵
4、循以下原则:高效性:能对各类不同的数据高效入库,便于数据分析和应用;贯通性:不同类型的数据,根据其唯一号码、时间、地点等特征,可纵向贯通;扩展性:用户可以结合实际,在本文件的基础上增加、减少或修改字段;时效性:明确数据融合的频率和方式,实现数据的动态更新。5 融合过程 融合表设计 5.1.1 总体设计 DB41/T 29252025 2 将任意客体静态信息(含事物、事实的描述信息、联系信息)或动态信息(事件、过程)以多个字段的形式表示在一条数据中,多条数据组成的融合表可表示不同客体的各类信息,实现异构数据融合。5.1.2 静态信息字段定义 标识号码字段:定义1个“号码”字段,代表不同的人或物(
5、例如人的身份证号、物的唯一编码);再定义1个“关系号码”字段,用以表示和前者标识号码关联的人或物。2个标识号码都填写,即为联系信息。名称字段:定义“号码名称”和“关系名称”字段,对应2个标识号码字段的称呼(例如人的姓名、公司的名称)。数据种类字段:定义“数据种类”字段,表示来自不同源的数据表名称(例如常住人口、法人基本信息)。描述字段:事物本身具备的多个属性,主要是“备注”字段(例如学历是本科/研究生、婚姻登记是结婚/离婚)和“标签”字段(例如精神病患者、工作积极者)。其他描述字段:“数字备注”(数字小数型)、“号码备注”、“号码备注2”。5.1.3 动态信息字段定义 时间字段:定义日期类型的
6、字段“时间”,记录与数据相关的时间点(例如结婚时间、毕业时间);再定义1个日期类型的字段“时间2”,结合前者可记录具有始、末含义的时间(例如飞机起飞和到达时间);额外定义2个字符类型的字段“时间备注”“时间备注2”,记录源库中非日期类型的时间。地点字段:定义2个地点字段“地点”“地点2”,记录与数据相关的地点(例如户籍住址、事件发生地),或者记录具有始、末含义的地点(例如飞机起飞地和到达地)。地理坐标字段:定义字符类型的字段“x”“y”,记录地理坐标经度x/纬度y,根据情况可以度分秒法或十进制法写入。5.1.4 相关字段定义 所有字段名和内容字段:定义“字段名集合”字段,记录本表中所有字段及源
7、表中剩余字段的名称;另定义“字段内容集合”字段,填写与“字段名集合”中一一对应的值。也可将此2字段写入其他表,避免本表体积过大。照片链接字段:存储人/事/物图片的链接地址。上传信息字段:包含“上传时间”(日期型,由系统自动生成当前时间)和“上传人或单位”字段。源表主键字段:记录源表中的主键,便于查找原始数据记录或者数据关联。5.1.5 融合表结构 根据上述设计,形成表结构,见表1。用户可结合实际对字段进行增删改。表1 融合表结构 序号 字段名 字段含义 字段类型 长度 备注 1 zL 数据种类 字符 50 2 mc 号码名称 字符 100 3 hm 号码 字符 100 标识号码 4 gxmc
8、关系名称 字符 100 5 gxhm 关系号码 字符 100 关系标识号码 DB41/T 29252025 3 表1 融合表结构(续)序号 字段名 字段含义 字段类型 长度 备注 6 sj 时间 日期 年月日时分秒 7 sj2 时间2 日期 年月日时分秒 8 dd 地点 字符 200 9 dd2 地点2 字符 200 10 x 坐标经度x 字符 30 可做备注地点或数字备注 11 y 坐标纬度y 字符 30 可做备注地点2或数字备注2 12 bq 标签 字符 200 标签合集,用逗号隔开 13 bz 备注 字符 500 14 szbz 数字备注 数字小数 decimal(38,4)整数、小数均
9、可存储 15 hmbz 号码备注 字符 100 16 hmbz2 号码备注2 字符 100 17 sjbz 时间备注 字符 100 字符型时间,避免因源格式不对致无法入库 18 sjbz2 时间备注2 字符 100 19 zd 字段名集合 字符 2 000 用分开,可另表存储 20 nr 字段内容集合 字符 10 000 用分开,可另表存储 21 zp 照片链接 字符 300 非必要 22 UUID 源表主键 字符 50 非必要 23 sj0 上传时间 日期 24 dd0 上传人或单位 字符 100 融合表建立 融合表可在任何数据库上建立。宜优先采用分布式列式数据库构建融合表,并确保数据库支持
10、智能索引功能(自动为每个字段建立索引)。数据导入 融合表建立后,数据导入操作说明如下:a)将数据库表名(无需写“表”字)填入到“数据种类”字段(zL),将标识号码和其关联的标识号码填入 2 个标识号码字段(hm、gxhm)中,将具有始、末等含义或必用的时间、地点字段,填入到 2 个时间字段(sj、sj2)和 2 个地点字段(dd、dd2)中,以上字段为关键项;b)将未来可能需要结构化 SQL 检索的字段填入到多个描述字段(bz、bq、hmbz 等)中;但并非一定要按字段名称字义填写相应的数据,只要字段类型相符,任何描述数据均可填入,例如:“x”字段原本设计为填写 x 坐标,但如果某表无 x 坐
11、标字段,则此字段可以灵活地转为填写地点,或者其他字段内容;c)将用以说明本表所有字段含义的中文名称,填入到“字段名集合”字段(zd)中,中间用固定分隔符隔开(建议用);将与“字段名集合”字段中一一对应的值填入到“字段内容集合”字段(nr)中,中间用固定分隔符隔开。使用示例详见附录 A。DB41/T 29252025 4 6 融合表应用 在融合表基础上,可进行下述大数据分析应用:a)在融合表中仅需查询 2 个标识号码字段(hm 和 gxhm),即可实现对全部数据种类标识号码的通查;b)对 2 个时间字段(sj、sj2)、2 个地点字段(dd、dd2)进行范围检索,可实现对所有具备开始结束、出发到
12、达含义的时间、地点数据的过滤;c)通过按时间字段(sj)排序,可实现对多源数据表的统一贯通性时间排序;d)对“号码”(hm)和“关系号码”(gxhm)字段进行迭代查询,可实现类似“图数据库”(一种用于存储实体之间关系的数据库类型)的关联关系功能;e)在融合表内以不同时间地点范围的数据集进行一次性关联 join 得出的交集,相当于多个源表数据进行多次关联 join 才能得出的交集。DB41/T 29252025 5 附录A (资料性)异构数据融合示例 A.1 表 A.1 给出了静态信息与描述人的动态信息的数据示例。其中示例 1、2 是静态信息(即描述信息),示例 3、4、5 是描述人的动态信息。
13、号覆盖了隐私内容,在真实系统中,为原始数据。表A.1 静态信息与描述人的动态信息示例 字段名称 示例 1 示例 2 示例 3 示例 4 示例 5 数据种类 出生地 学历 学历 出生证明 学习成绩 号码名称 李四 李四 李四 李四 李四 号码 410102*002X 410102*002X 410102*002X 410102*002X 410102*002X 关系名称 关系号码 时间 2002/7/1 198*/7/7 9:00 2002/6/1 时间 2 198*/7/8 9:00 地点 Z 市 J 区 河南*大学 Z 市 J 区 河南*大学 地点 2 Z 市 A 医院 坐标经度 x 坐标
14、纬度 y 标签 备注 本科 硕士研究生 学位论文 数字备注 90 号码备注 号码备注 2 时间备注 时间备注 2 字段名 集合 姓名 身份证号 出生地 姓名身份证号学历 姓名身份证号毕业时间毕业院校学历 姓名身份证号出生时间办证时间出生地办证单位 姓名身份证号考试时间学校学科分数 字段内容 集合 李四410 102*002XZ 市 J区 李四4101 02*00 2X本科 李四410102*002X2002/7/1河南*大学硕士研究生 李四410102*002X198*/7/7 9:00198*/7/8 9:00Z 市 J 区Z 市 A 医院 李四410102*002X2002/6/1河南*大
15、学学位论文90 照片链接 源表主键 上传时间 2020/7/1 2020/7/1 2002/9/1 1980/7/18 9:00 2002/6/2 上传人或 单位 Z 市*服 务中心 Z 市*服务中心 河南*大学 河南 Z 市 A 医院 河南*大学 DB41/T 29252025 6 A.2 表 A.2 给出了单人简单与含始末的动态信息的数据示例。其中示例 6 是单人简单信息,示例 7、8、9 是单人含始末的动态信息。*号覆盖了隐私内容,在真实系统中,为原始数据。表A.2 单人简单与含始末的动态信息示例 字段名称 示例 6 示例 7 示例 8 示例 9 数据种类 电力缴费 乘坐火车 乘坐飞机
16、旅店住宿 号码名称 张三 李四 李四 李四 号码 DB410*410102*002X 410102*002X 410102*002X 关系名称 关系号码 时间 2025/1/23 15:00:00 2025/1/23 15:00:00 2025/1/24 09:00:00 2025/1/23 19:10:00 时间 2 2025/1/23 16:10:00 2025/1/24 11:00:00 2025/1/24 6:10:00 地点 郑州*小区 301 郑州东 郑州新郑机场 安阳*宾馆 地点 2 安阳东 上海虹桥机场 坐标经度 x 113.*37 坐标纬度 y 35.*12 标签 备注 20
17、1 数字备注 100 号码备注 号码备注 2 时间备注 时间备注 2 字段名集合 姓名户号缴费时间家庭地址缴费金额 姓名身份证号出发时间到达时间出发地到达地 姓名身份证号离港时间到港时间离港地到港地 姓名身份证号入住时间退房时间宾馆名称宾馆经度宾馆纬度入住房号 字段内容集合 张三DB410*2025/1/23 15:00:00 郑 州*小 区301100 李四41010 2*002X2025/1/23 15:00:0020 25/1/23 16:10:00郑州东安阳东 李四410102*002X2025/1/24 09:00:00 2025/1/24 11:00:00郑州新郑机场上海虹桥机场
18、李四410102*002X2025/1/23 19:10:002025/1/24 6:10:00安阳*宾馆113.*3735.*12201 照片链接 源表主键 上传时间 2025/1/23 18:00:00 2025/1/23 18:00:00 2025/1/24 18:00:00 2025/1/24 6:20:00 上传人或 单位 郑州*电力公司*州铁路局 郑州*机场*阳市公安局 DB41/T 29252025 7 A.3 表 A.3 给出了静态联系信息与动态联系信息的数据示例。其中示例 10 是静态联系信息,示例 11、12、13 是动态联系信息。*号覆盖了隐私内容,在真实系统中,为原始数
19、据。表A.3 静态联系信息与动态联系信息示例 字段名称 示例 10 示例 11 示例 12 示例 13 数据种类 夫妻 民政婚姻登记信息 购物信息 车辆违章缴费 号码名称 张三 张三 李四 王五 号码 410102*0011 410102*0011 134*444 410502*0021 关系名称 李四 李四 MM 某东专卖店 关系号码 410102*002X 410102*002X JDsMM12*3 豫 A*56 时间 2008/10/1 10:00:00 2025/1/1 19:10:00 2024/7/1 10:10:00 时间 2 2024/5/5 10:10:00 地点 Z 市 J
20、 区民政局 郑州*小区 301 Z 市交警*支队 地点 2 广州*商城 Z 市 A 路与 B 路交叉口 坐标经度 x 坐标纬度 y 标签 天生购物狂 备注 结婚登记 口红 闯红灯 数字备注 520 200 号码备注 号码备注 2 时间备注 时间备注 2 字段名集合 男方姓名男方身份证号女方姓名女方身份证号 男方姓名男方身份证号女方姓名女方身份证号登记时间登记地登记类型 姓名手机号店家名称店家 ID购物时间收货地址发货地址标签购买物品名称价格 姓名身份证号违章车辆号牌缴费时间违章时间缴费地点违章地点违章类型缴费金额违章照片地址 字段内容 集合 张三410 102*0011李四41010 2*00
21、2X 张三410102*0011李四410102*002X2008/10/1 10:00:00Z 市 J 区民政局结婚登记 李四134*444M M 某东专卖店JDsM M12*32025/1/1 19:10:00郑州*小区301广州*商城天生购物狂口红520 王 五 410502*0021 豫A*562024/7/1 10:10:00 2024/5/5 10:10:00Z 市交警*支队Z 市 A 路与 B 路交叉口闯红灯200http:/c*/a*.jpg 照片链接 http:/c*/a*.jpg 源表主键 上传时间 2008/10/7 10:00:00 2008/10/1 14:00:00
22、 2025/1/2 5:00:00 2024/7/1 11:10:00 上传人或 单位 郑州市*村委会 Z 市 J 区民政局*互联网公司 Z 市公安局 DB41/T 29252025 8 A.4 表 A.4 给出了物、单位动态信息与综合信息的数据示例。其中示例 14 是描述物的动态信息,示例15 是描述单位的动态信息,示例 16 是既含人的描述又含联系的动态信息。*号覆盖了隐私内容,在真实系统中,为原始数据。表A.4 物、单位动态信息与综合信息示例 字段名称 示例 14 示例 15 示例 16 数据种类 机动车基本信息 放射源证 传染病密接人员信息 号码名称 奔驰 河南*监测公司 钱七 号码
23、豫 A*56 豫环辐证E0217*1 137*77 关系名称 赵六 张三 关系号码 4107261980*0011 410719*105 133*33 时间 2019/8/1 10:10:00 2021/12/15 2:02:02 时间 2 2019/7/15 10:10:00 2021/12/16 11:02:02 地点 Z 市交警支队 新乡市 P 路*号 安阳市迎宾大道 地点 2 郑州市*传染病医院 坐标经度 x 4107*113.*77 坐标纬度 y 35.*33 标签 豪车 密接人员 备注 已隔离 数字备注 4500 39.5 号码备注 139*99 4101021979*0777 号
24、码备注 2 4101021982*0011 时间备注 20161226 时间备注 2 字段名 集合 车辆品牌车牌号码车主姓名车主身份证号发牌时间购买时间发证机关标签排气量车主手机号码 公司名称证件号码主体身份代码公司地址公司所在行政区划代码办证时间 密接人姓名密接人手机号确诊人姓名确诊人手机号接触日期隔离日期接触地隔离地点接触地坐标 x接触地坐标 y标签是否已隔离体温密接人身份证号确诊人员身份证号密接时照片人员 ID 字段内容 集合 奔 驰 豫A*56 赵 六4107261980*00112019/8/1 10:10:002019/7/15 10:10:00Z 市交警支队豪车4500139*9
25、9 河南*监测公司豫环辐证E0217*1410719*105 新 乡 市P路*号4107*20161226 钱七137*77张三133*33 2021/12/15 2:02:022021/12/16 11:02:02安阳市迎宾大道郑州市*传染病医院113.*7735.*33密接人员已隔离39.54101021979*07774101021982*0011http:/c*/b*.jpgUUID-123*照片链接 http:/c*/b*.jpg 源表主键 UUID-123*上传时间 2019/8/1 12:10:00 2016/12/30 2021/12/16 11:12:00 上传人或 单位 Z 市公安局*省环保厅*省卫健委 DB41/T 29252025 9 参考文献 1 GB/T 5271.1 信息技术 词汇 第1部分:基础术语
copyright@ 2008-2019 麦多课文库(www.mydoc123.com)网站版权所有
备案/许可证编号:苏ICP备17064731号-1