1、 ICS 33.040.40 L78 中 华 人 民 共 和 国 通 信 行 业 标 准 YD YD/T 20 内容分发网络技术要求 业务统计信息 The technical requirements of Content delivery network business statistics （报批稿） 20-发布 20-实施 中 华 人 民 共 和 国 工 业 和 信 息 化 部 发布 目 次 前 言 .II 1 范围 .1 2 术语定义及缩略语 .1 2.1 术语及定义 .1 2.2 缩略语 .1 3 概述 .1 4 调度统计信息 .2 4.1 命名要求 .2 4.2 统计信息格式要求
2、 .2 4.3 DNS 域名解析统计信息 .3 4.4 应用层重定向调度统计信息 .3 5 分发系统统计信息 .3 5.1 文件命名 .4 5.2 格式要求 .4 5.3 用户访问统计信息 .4 5.4 回源统计信息 .5 5.5 IPTV 业务统计信息 .6 6 系统统计信息 .8 6.1 命名要求 .8 6.2 格式要求 .8 6.3 系统操作统计信息 .8 6.4 系统运行统计信息 .9 7 统计信息采集模式 .9 8 安全性要求 .9 前 言 本标准按照 GB/T 1.1-2009给出的规则起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。 本标准由
3、中国通信标准化协会提出并归口。 本标准起草单位 ： 中国移动通信集团公司、中国信息通信研究院、中国电信集团有限公司、中兴通 讯股份有限公司、网宿科技股份有限公司 本标准主要起草人：郭嵩、聂秀英、杨崑、李昂、陈戈、缪川杨、吴慧芳 1 内容分发网络技术要求 业务统计信息 1 范围 本标准描述了内容分发网络中业务统计信息的要求，主要内容 包括 ： 业务统计信息的类型、命名及 格式要求、字段定义、采集方式及安全性要求等方面的内容。 本标准适用于内容分发网络的建设及运营。 2 术语定义及缩略语 2.1 术语及定义 下列术语及定义适用于本文件。 2.1.1 UTF-8 8-bit Unicode tran
4、sformation format 是一种针对 Unicode的可变长度字符编码，又称万国码。 2.2 缩略语 下列缩略语适用于本文件。 CDN 内容分发网络 Content Delivery Network DNS 域名系统 Domain Name System HTTP 超文本传输协议 Hyper Text Transfer Protocol IP 互联网协议 Internet Protocol FTP 文件传输协议 File Transfer Protocol URL 统一资源定位器 Uniform Resoure Locator 3 概述 CDN在运营过程中会生成大量的业务统计信息，通
5、过对业务统计信息进行统计和分析，对于 CDN 的运营维护具有重要的指导意义，并且通过制定统一的统计信息格式和要求，也有助于 CDN虚拟运营 商统一管理对接的多个 CDN系统，并可通过对各 CDN系统业务统计信息的汇总分析，对外提供各类业 务运营分析数据。通过对各类业务统计信息的采集和分析，可实现以下功能： a) 当某网元出现故障或异常告警时，可以通过排查当前网元生成的统计信息来定位问题原因； 2 b) 通过对分发子系统生成的用户访问统计信息进行采集处理可生成报表用于系统计费； c) 通过对原始统计信息进行分析 ， 可以生成 CDN运营统计数据并可提供界面展现用于指导运营 。 本标准将对 CDN
6、中各系统生成的业务统计信息提出规范性要求。依据 CDN业务统计信息记录内容 不同，将业务统计信息分为三类： a) 调度系统统计信息： DNS域名解析统计信息、应用层重定向调度统计信息； b) 分发系统统计信息：用户访问统计信息、回源统计信息及 IPTV业务统计信息； c) 系统日志：系统操作统计信息； 本标准仅定义各类业务统计信息的基本字段，在满足本标准定义的字段要求基础之上， 各 CDN 系 统应支持针对运营需求、业务需求等个性化需求对业务统计信息字段灵活扩展。 4 调度 统计信息 调度系统应按要求 ， 输出调度统计信息文件 ， 以支撑系统运营分析 ， 调度统计信息包括 DNS域名解 析统计
7、信息和应用层重定向调度统计信息。 4.1 命名要求 统计信息文件采用 CDN_Type_NodeId_DeviceId_DateTime_Index.log的方式进行命名，其中各字段 意义如下： a） CDN：固定字符串，表示该统计信息是内容分发网络的统计信息； b） Type：统计信息类型： 1) DNS代表域名解析统计信息； 2) 302代表应用层重定向统计信息； c） NodeId：内容网络节点 ID，全网唯一； d） DeviceId：设备 ID，节点内唯一； e） DateTime： 表示生成该文件生成时间，采用 UTC格式， 其格式为 ： 年年年年月月日日时时分分 秒秒，如 200
8、70703201200表示文件生成时间为 2007年 7月 3日 20时 12分 00秒； f） Index：统计信息文件序号，从 1开始递增，用于对超长的统计信息文件进行切割。 4.2 统计信息格式要求 统计信息文件采用 UTF-8文本格式。 文件中每一行作为一条记录，各条记录之间用 “回车、换行符 ”作为分隔并在文件中连续书写。 3 文件中每条记录的属性值按顺序排列，各属性间使用分隔符（建议使用 “|”）分隔，在生成文件 时若相应的属性值为空，则用大写字符串 “NULL”表示。 4.3 DNS域名解析 统计信息 DNS域名解析统计信息的属性项如表 1所示： 表 1 DNS域名解析 统计信息
9、 属性项表 字段名称 说明 请求处理时间 接收到请求的时间戳 请求源 IP 发起 DNS 解析的源 IP 地址， 支持 IPv4/IPv6 请求目的 IP 发起 DNS 解析的目的 IP 地址 ， 支持 IPv4/IPv6 目标域名 需要进行解析的目标域名 解析结果 返回给用户的域名解析结果 ， 支持多个解析地址或 CNAME 域名，多个结果之间用“， ” 分隔 生存时间（ TTL） 域名解析的生命周期 4.4 应用层重定向调度 统计信息 应用层重定向统计信息的属性项如表 2所示： 表 2 应用层重定向 统计信息 属性项表 字段名称 说明 请求处理时间 接收到请求的时间戳 用户 IP 地址 发
10、起请求的用户的源 IP 地址 ， 支持 IPv4/IPv6 用户请求 IP 地址 用户请求的 目的 IP 地址 ， 支持 IPv4/IPv6 目标 URL 用户请求的 目标 URL 目标 IP 重定向的 目标 IP， 支持 IPv4/IPv6 重定向 URL 返回给用户的重定向 后的 URL 5 分发系统 统计信息 4 5.1 文件命名 统计信息文件采用 CDN_Type_NodeId_DeviceId_DateTime_Index.log的方式进行命令，其中各字段 意义如下： a） CDN：固定字符串，表示该统计信息是内容分发网络的统计信息； b） Type：统计信息类型： 1) Acces
11、s：用户访问统计信息； 2) Source：回源统计信息； 3) IPTV： IPTV业务统计信息。 c） NodeId：内容网络节点 ID，全网唯一； d） DeviceId：设备 ID，节点内唯一； e） DateTime：表示生成该文件生成时间，其格式为：年年年年月月日日时时分分秒秒，如 20070703201200 表示文件生成时间为 2007年 7月 3日 20时 12分 00秒； f） Index：统计信息文件序号，从 1开始递增，用于对超长的统计信息文件进行切割。 5.2 格式要求 统计信息文件采用 UTF-8文本格式 。 文件中每一行作为一条记录 ， 各条记录之间用 “回车 、
12、 换行符 ” 作为分隔并在文件中连续书写 。 文件中每条记录的属性值按顺序排列 ， 各属性间使用分隔符 （建议使用 “|”）分隔，在生成文件时若相应的属性值为空，则用大写字符串 “NULL”表示。 5.3 用户访问 统计信息 边缘节点应记录用户发起的访问请求信息，并生成用户访问统计信息，统计信息的属性项如表 3所 示： 表 3 用户 访问 统计信息 属性项 字段名称 说明 记录时间 写入的时间 缓存设备信息 缓存服务器 IP 地址， 支持 IPv4/IPv6 用户 IP 地址 发起请求的用户的源 IP 地址， 支持 IPv4/IPv6 用户请求 IP 地址 用户请求的服务器 IP 地址， 支持
13、 IPv4/IPv6 HTTP 方法 HTTP 请求的 Method 字段内容 HTTP 版本 HTTP 请求的 VERSION 字段内容 HTTP 主机 HTTP 请求的 Host 字段内容 HTTP 统一资源标识符 HTTP 请求的 URI 字段内容 5 HTTP 用户代理 HTTP 请求的 User-agent 字段内容 HTTP 引用 HTTP 请求的 Referer 字段内容 HTTP 内容类型 缓存设备向用户返回的 HTTP 应答的 Content-type 字段内容 HTTP 状态码 缓存设备向用户返回的 HTTP 应答的 Status-code 字段内容 缓存命中状态 用户请求
14、是否命中缓存 缓存服务端口 程序为用户提供服务的端口号 缓存吐出流量 本次请求缓存向用户吐出的流量 请求开始时间 用户请求开始的时间 请求结束时间 用户请求结束的时间 首字节响应时间 收到用户 HTTP 请求后到向用户发送第一个字节的时间。 URL 哈希值 用户请求 URL 计算的唯一标识，仅用于缓存内部识别资源 请求断开标识 用于区分是客户侧或服务侧的因素断开请求 回源源 IP 地址 本次请求回源使用的源 IP 地址， 支持 IPv4/IPv6 回源目的 IP 地址 本次请求回源访问的目的 IP 地址， 支持 IPv4/IPv6 回源 HTTP 方法 本次请求回源的请求的 Method 字段
15、内容 回源 HTTP 主机 本次请求回源的请求的 Host 字段内容 回源 HTTP 统一资源标识符 本次请求回源的请求的 URI 字段内容 回源 HTTP 内容类型 源站向缓存返回的 HTTP 应答的 Content-type 字段内容 回源 HTTP 状态码 源站向缓存返回的 HTTP 应答的 Status-code 字段内容 回源关闭状态 缓存与源站间连接关闭状态 回源缓存控制 源站向缓存返回的可缓存状态 回源最大生命值 源站向缓存返回的 Max-age 状态 回源文件大小 回源文件的大小 缓存保存状态 本次请求的回源内容是否在缓存中进行保存 回源服务端口 回源时源站提供服务的端口号 回
16、源流量 本次请求回源产生的流量 回源请求开始时间 回源请求开始的时间 回源请求结束时间 回源请求结束的时间 源站首字节响应时间 向源站发送 HTTP 请求后收到源站返回的第一个字节的时间 。 内容提供商标识 客户 ID 名称 内容长度 源站向缓存返回的 HTTP 应答的 Content-Length 字段内容 资源大小 HTTP 请求的 Range 字段内容 断开原因 边缘节点记录原因， 0-异常挂断， 1-正常 5.4 回源 统计信息 当下级节点向汇聚节点或内容中心发起回源请求时 ， 节点应根据回源信息生成回源统计信息 ， 回源 统计信息的属性项如表 4所示： 表 4 回源统计信息 属性项
17、字段名称 说明 6 记录时间 写入的时间 缓存设备信息 缓存服务器 IP 地址， 支持 IPv4/IPv6 回源类型 主动回源或被动回源 回源源 IP 地址 本次请求回源使用的源 IP 地址， 支持 IPv4/IPv6 回源目的 IP 地址 本次请求回源访问的目的 IP 地址， 支持 IPv4/IPv6 回源 HTTP 方法 本次请求回源的请求的 Method 字段内容 回源 HTTP 版本 本次请求回源的请求的 VERSION 字段内容 回源 HTTP 主机 本次请求回源的请求的 Host 字段内容 回源 HTTP 统一资源标识符 本次请求回源的请求的 URI 字段内容 回源 HTTP 内容
18、类型 源站向缓存返回的 HTTP 应答的 Content-type 字段内容 回源 HTTP 状态码 源站向缓存返回的 HTTP 应答的 Status-code 字段内容 回源关闭状态 缓存与源站间连接关闭状态 回源缓存控制 源站向缓存返回的可缓存状态 回源最大生命周期 源站向缓存返回的 Max-age 状态 回源文件大小 回源文件的大小 缓存保存状态 本次请求的回源内容是否在缓存中进行保存 回源服务端口 回源时源站提供服务的端口号 回源流量 本次请求回源产生的流量 回源请求开始时间 回源请求开始的时间 回源请求结束时间 回源请求结束的时间 源站首字节响应时间 向源站发送 HTTP 请求后收到
19、源站返回的第一个字节的时间。 5.5 IPTV业务 统计信息 边缘节点记录 IPTV业务信息，并生成 IPTV业务统计信息，统计信息的属性项如表 5所示： 表 5 IPTV业务 统计信息 属性项 字段名称 说明 版本 话单版本号，便于后续话单格式兼容性设计。 会话编号 会话编号，最大长度 32字节字符串 用户代码 用户代码：从 AuthInfo中解析。没有则不填。 用户 IP 用户 IP地址 ： 从 AuthInfo中解析。非托管模式和 OTT服务可以从 请求数据包中获取，支持 IPv4/IPv6。 内容服务类型 内容服务类型： 00-点播， 01-直播， 02-回看 ,03-时移， 04-
20、文件， 05-其他。 访问协议 访问协议 0 x01-IPTV TS RTSP， 0 x02-HPD 0 x04-ISMA RTSP0 x08-HLS 内容编号 内容编号，内容对应的 ContentID 7 内容提供商 ID 内容提供商 ProviderID，和 ContentID一起组成 CDN全局唯一内 容标识二元组 UniContentID。 开始时间 用户请求开始时间。为北京时间。其格式为：年年年年月月日 日时时分分秒秒 +08，如 20070703201200+08 表示用户服务请求 时间为北京时间 2007 年 7 月 3 日 20 时 12 分 00 秒。 结束时间 用户请求结束
21、时间。为北京时间。其格式为：年年年年月月日 日时时分分秒秒 +08，如 20070703201200+08 表示用户服务请求 时间为北京时间 2007 年 7 月 3 日 20 时 12 分 00 秒。 节点编号 服务节点编号。 设备 IP 最终服务的设备 IP。 IPv4或 IPv6均可 。如：“ 192.18.89.1” 服务总流量 服务总流量。单位为 Mbps。 服务时长 服务时长，不包括用户暂停的时间。单位为 s。 服务结束原因 服务结束原因： 0:正常挂断 1:超时 2:服务器主动中断 3:计费 时间到 4:计费流量到 99:其它，其中 3和 4暂时预留，目前没有 计费确认接口。 异
22、常结束简单描述 服务异常结束简单描述，英文描述（ 0:正常挂断 1:超时 2:服务 器主动中断 3:计费时间到 4:计费流量到 99:其它），其中 3和 4暂时预留，目前没有计费确认接口。 时移次数 频道服务过程中进入时移的次数 ， 根据时移统计开关配置启动 。 PC业务没有就不填。对于 HLS，就是 1次。 时移时长 时移服务的时长，不包括暂停的时间，根据时移统计开关配置 启动 ， 为时延结束时间 -开始时间 。 单位 s。 PC业务没有就不填 。 时移流量 时移服务的流量。单位为 Mbps。 PC业务没有就不填。 时移最大偏移时长 用户时移过程中与直播点偏移的最大时长，根据时移统计开关 配
23、置启动，单位是 s 。 PC业务没有就不填。 调度原因 服务调度原因： 1) 本地命中服务。（本地命中） 2) http边中继边服务。（本地未命中拉流） URL 用户访问完整 PlaybackURL（含参数）。 HLS最高码率 最高的 HLS服务码率，单位为 Mbps HLS最低码率 最低的 HLS服务码率，单位为 Mbps HLS平均码率 平均的 HLS服务码率，单位为 Mbps 保留字段 1 保留字段 1 保留字段 2 保留字段 2 保留字段 3 保留字段 3 保留字段 4 保留字段 4 保留字段 5 保留字段 5 8 6 系统 统计信息 6.1 命名要求 统计信息文件采用 CDN_Typ
24、e_NodeId_DeviceId_DateTime_Index.log的方式进行命令，其中各字段 意义如下： a） CDN：固定字符串，表示该统计信息是内容分发网络的统计信息； b） Type：统计信息类型： 1) Operator：系统操作统计信息； 2) Working：系统运行统计信息。 c） NodeId：内容网络节点 ID，全网唯一； d） DeviceId：设备 ID，节点内唯一； e） DateTime：表示生成该文件生成时间，其格式为：年年年年月月日日时时分分秒秒，如 20070703201200 表示文件生成时间为 2007年 7月 3日 20时 12分 00秒； f） I
25、ndex：统计信息文件序号，从 1开始递增，用于对超长的统计信息文件进行切割。 6.2 格式要求 统计信息文件采用 UTF-8文本格式 。 文件中每一行作为一条记录 ， 各条记录之间用 “回车 、 换行符 ” 作为分隔并在文件中连续书写 。 文件中每条记录的属性值按顺序排列 ， 各属性间使用分隔符 （建议使用 “|”）分隔，在生成文件时若相应的属性值为空，则用大写字符串 “NULL”表示。 6.3 系统操作 统计信息 系统操作统计信息的属性项如表 5所示： 表 5 系统操作 统计信息 属性项 字段名称 说明 用户名 需要查看的用户的名称。 用户 IP 地址 需要查看的用户的 IP 地址 支持
26、IPv4/IPv6。 操作描述 描述该用户进行的操作。 操作结果 描述用户执行该操作后的结果。 统计信息等 级 需要查看的统计信息的级别。 统计信息级别由高到低为：关键、重要、普 9 通。 操作时间 需要查看的统计信息的操作时间。 6.4 系统运行 统计信息 系统运行统计信息如表 6所示： 表 6 系统运行 统计信息 属性项 字段名称 说明 时间 用于记录系统时间 系统行为 记录系统自身运行记录，如重启，配置加载等 行为结果 描述上述行为结果，如启动正常，配置加载失败等 原因 描述上述结果原因，如配置内容错误等 7 统计信息采集模式 调度统计信息由 CDN全局内容路由生成 ， 并存储在本地 ，
27、 支持采用 FTP/SFTP的方式周期上报至 CDN 的管理平台。 分发系统统计信息由边缘节点 、 汇聚节点及内容中心产生 ， 其中用户访问统计信息由边缘节点根据 其服务用户情况生成， 并将生成的统计信息存储在本地 ； 回源统计信息由汇聚节点及内容中心根据下级 节点发起回源请求生成，并将生成的统计信息存储在本地； 系统统计信息由边缘节点 、 汇聚节点及内容中心根据用户系统操作行为生成 ， 并将生成的统计信息 存储在本地。 CDN各子系统应按照系统配置周期性生成各类统计信息 ， 并支持对节点统计信息进行完整性校验 ， 支持采用 FTP/SFTP的方式定时上报至 CDN的管理平台 ， 也支持以 FTP/SFTP的方式作为服务器端对外提 供统计信息下载功能。 CDN各子系统支持本节点 统计信息 在非压缩状态下本地存储时长 15天 ， 超过 15天后 ， 以 ZIP压缩方 式保存不少于 6个月 。应支持根据对接系统及业务需求，延长统计信息保存时间。 8 安全性要求 统计信息中的敏感信息应加密存储，加密算法可根据需要选择 DES、 AES、 RSA等。
