1、ICS 33.160.60 M 73 YD 中华人民共和国通信行业标准 YD/TXXXX-XXXX 内容分发网络技术要求 VR 音视频服务 CDN technical specification for virtual reality media service 报批稿 （本稿完成日期： 2020 年 11 月） XXXX - XX - XX 发布 XXXX - XX - XX 实施 中 华 人 民 共 和 国 工 业 和 信 息 化 部 发 布 YD/T XXXXX2018 I 目 录 前 言 .III 1 范围 .1 2 规范性引用文件 .1 3 缩略语 .1 4 业务概述 .2 5 总体
2、要求 .3 5.1 功能体系架构 .3 5.2 功能模块 .3 5.2.1 CDN 系统 .3 5.2.2 周边系统 .4 5.3 接口要求 .4 5.3.1 客户端与 CDN 节点 VR 媒体服务接口（ E） .6 5.3.1.1 接口定义 .6 5.3.1.2 接口流程（ HTTP1.1 协议） .6 5.3.1.3 接口流程（ HTTP2.0 协议） .6 6 VR 视频传输模式 .8 6.1 概述 .8 6.2 视窗独立传输模式 .9 6.3 视窗依赖传输模式 .10 6.3.1 基于区域封装的视窗依赖传输 .10 6.3.2 基于分块的视窗依赖传输 .12 7 VR 媒体服务要求 .
3、13 7.1 概述 .13 7.2 VR 媒体服务实施要求 .14 7.3 VR 媒体封装格式要求 .14 7.3.1 视频封装要求 .14 YD/T XXXXX2018 II 7.3.2 音频封装要求 .15 7.4 VR 媒体传输协议要求 .15 7.4.1 DASH 协议信令扩展 .15 7.4.2 HLS 协议信令扩展 .18 8 VR 媒体服务流程 .19 8.1 视窗独立 VR 媒体服务流程 .19 8.2 视窗依赖 VR 媒体服务流程 .20 8.2.1 基本视角切换流程 .20 8.2.2 快速视角切换流程 .21 附录 A（资料性） DASH 协议 VR 媒体服务索引文件样例
4、 .23 A.1 视窗独立模式 DASH 协议样例 .23 A.2 视窗依赖模式 DASH 协议样例 .23 附录 B（资料性） HLS 协议 VR 媒体服务索引文件样例 .27 B.1 视窗独立模式 HLS 协议样例 .27 B.1 视窗依赖模式 HLS 协议样例 .27 YD/T XXXXX2018 III 前 言 本标准是内容分发网络技术要求系列标准之一。该系列标准的结构和名称预计如下： 内容分发网络技术要求 应用场景与需求 内容分发网络技术要求 体系架构 内容分发网络技术要求 内容路由 内容分发网络技术要求 功能性框架 内容分发网络技术要求 边缘服务节点 内容分发网络技术要求 内容中心
5、 内容分发网络技术要求 业务流程 内容分发网络技术要求 接口 内容分发网络技术要求 VR音视频服务 本标准按照 GB/T 1.1-2020给出的规则起草。 请注意本标准的某些内容可能涉及专利。本标准的发布机构不承担识别这些专利的责任。 本标准由中国通信标准化协会提出并归口。 本标准起草单位：中国电信集团有限公司、中兴通讯股份有限公司、中国移动通信集团有限公司 、 中国信息通信研究院 本标准主要起草人 ： 陈戈、黄成、白雅贤、尹之帆、朱方、聂秀英、缪川扬、陈淑、许静、江平 YD/T XXXXX2018 1 内容分发网络技术要求 -VR音视频服务 1 范围 本文件规定了内容分发网络 VR音视频服务
6、功能、编码格式、接口定义及相关的业务流程。 本文件适用于基于内容分发网络的 VR音视频业务 ， 包括网络流媒体及网络电视中的虚拟现实直播 、 点播等应用。 2 规范性引用文件 下列文件对于本文件的应用是必不可少的 。 凡是注日期的引用文件 ， 仅注日期的版本适用于本文件 。 凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。 ISO/IEC 23090-2 全方向媒体格式 Information technology Coded representation of immersive media (MPEG-I) Part2: Omnidirectional media fo
7、rmat 3 缩略语 下列缩略语适用于本文件。 CDN 内容分发网络 Content Delivery Network CMS 内容管理系统 Content Management System DASH 基于 HTTP 的动态自适应流媒体 Dynamic Adaptive Streaming over HTTP DNS 域名系统 Domain Name System EPG 电子节目指南 Electrical Program Guide FOV 视野 Field of view HTTP 超文本传送协议 Hyper Text Transfer Protocol OMAF 全方向媒体格式 Omn
8、idirectional media format RTSP 实时流媒体协议 Real-Time Streaming Protocol SOAP 简单对象访问协议 Simple Object Access Protocol SP 业务提供者 Service Provider YD/T XXXXX2018 2 URL 统一资源定位符 Uniform Resource Locator UDP 用户数据报协议 User Datagram Protocol VR 虚拟现实 Virtual Reality 4 业务概述 CDN-VR音视频媒体服务是指根据终端用户请求 ， 依靠内容分发网络提供虚拟现实音视
9、频内容服务 。 其中虚拟现实指通过展现 360度的视频为终端用户提供沉浸式体验的技术，应？支持全景视频内容，也 称 360度全景视频或沉浸式视频，应？支持用户交互性地切换观看视角，终端能够根据用户的观看视角 动态渲染图像、视频及其相关联的音频。 图 1 VR 媒体内容传输流程 如图 1所示 ， VR音视频媒体服务的整体技术架构主要由视频拼接与映射 、 视频编解码 、 存储与传输 等技术构成 。 VR媒体内容由源站提供 ， 在现实场景中采集到的视频等媒体数据经过 VR源站拼接服务器 进行拼接、投影、旋转等，成为完整视频画面，继而经过编码器编码得到 VR媒体内容源，利用内容分 发网络完成系统层封装
10、和媒体内容的分发 ； 用户通过 VR终端向 CDN节点请求 VR媒体服务，其中传输协 议访问模块完成 VR媒体索引文件的解析，终端根据传感器获取到的视窗元数据（如用户头动信息、观 看方向等）向 CDN节点请求相应的 VR媒体内容分片，并完成解封装、解码，最终根据视窗元数据完成 视频画面的渲染和音频等其他媒体资源的播放。 YD/T XXXXX2018 3 其中 VR音视频媒体内容的封装及分发服务通过内容分发网络提供，即 CDN-VR。内容分发网络中 提供 VR音视频媒体服务所需要支持的逻辑功能架构、接口要求、协议要求以及其他相关技术的参考引 用或者可能的扩展等属于本标准的规范性范畴，对应的章节组
11、织如下： -CDN-VR功能体系架构定义在第 5章，包括总体架构、功能模块定义、接口要求和流程。 -CDN-VR传输模式要求定义在第 6章 ， 包括基于全景传输的虚拟现实基本传输模式 ， 以及基于主视 场或者辅助视场的多码流切换的虚拟现实视点自适应传输模式。 -CDN-VR媒体服务要求定义在第 7章，包括 VR媒体内容封装格式要求、 VR媒体传输协议要求等 。 -CDN-VR媒体服务流程定义在第 8章 ， 包括视窗独立 VR媒体服务流程 、 视窗依赖 VR媒体服务流程 等。 5 总体要求 5.1 功能体系架构 CDN-VR功能体系架构图及相关接口如图 2所示。 图 2 CDN-VR 总体逻辑架
12、构 5.2 功能模块 5.2.1 CDN 系统 内容中心节点：负责业务系统对接实现 CDN内容接入、管理、存储和主动分发，其中内容处理模 块增加 VR内容处理功能 ， 完成 VR直播媒体流和点播内容的切片 、 转码 、 转封装等预处理 ， 为服务节点 提供 VR媒体内容。内容中心节点具体包含以下功能： YD/T XXXXX2018 4 a) 内容接入：根据 CMS的内容注入指令获取指定内容，注入到内容存储上，并在内容管理模块 进行登记；或者不通过 CMS注入内容，而是使用回源方式接入内容源； b) 内容分发：根据内容管理模块的调度策略进行内容的分发传送； c) 内容路由 ： 接收下级节点的内容
13、定位与请求，根据负载均衡策略分配合适的设备提供服务，对 节点内设备进行负载均衡； d) 内容存储 ： 根据内容管理模块中的策略存放在线媒体内容，并可根据缓存策略存放、更新媒体 内容； e) 内容处理 ： 对注入的内容进行预处理 ， 如切片 、 转码 、 转封装等处理 ， 针对 VR媒体服务增加 VR 内容转码、转封装功能。 边缘服务 节点 ：作为 CDN服务的主要实体，负责接收终端请求，校验并向用户提供本地缓存的 VR 内容服务 ， 如果内容未命中则向上级节点获取或重定向 ， 为各业务终端提供包括视窗独立传输 、 视窗依 赖传输在内的多种格式 VR媒体服务； 全局内容路由 ：作为 CDN入口，
14、主要负责根据调度策略对用户请求进行统一调度，管理所辖区域 内 CDN各节点内容的分布情况，根据用户请求，查询和管理 CDN各节点的负载情况，对节点内设备进 行负载均衡，选择合适的设备提供服务； 运维管理 ： 负责对 CDN的 业务质量监控、故障分析定界、内容管理等功能，实现对 CDN-VR业务的 监控和管理。 运营管理及适配 ：负责接收适配统一运营管理系统指令转换成 CDN内部的网络管理操作，并且负 责 CDN内部网络管理、业务管理、报表统计等功能。 5.2.2 周边系统 CDN-VR周边系统主要包括业务系统、 VR源站、终端。 a) 业务系统：与 CDN对接的 SP系统，主要实现业务认证鉴权
15、计费等业务管理的功能； b) VR源站：提供 VR内容源，提供回源服务、 DNS Cname服务等， VR内容源主要依靠拼接服务器及 编码器生成 ， 拼接服务器实现原始全景视频内容的旋转 、 投影等格式转换 ， 编码器负责视频 、 音频 等媒体内容的编码功能。 c) VR终端 ： 向 CDN请求获取媒体内容服务，实现 VR媒体内容播放，终端系统主要包括接入引擎、解 封装器 、 解码器 、 渲染器 、 传感器几个模块 ， 完成用户运动信号 、 视窗元数据获取 ， 负责媒体传输 协议解析，以及 VR媒体内容解封装、解码、渲染等功能。 5.3 接口要求 根据 CDN-VR逻辑架构 ， 接口基本功能要
16、求参见 2015-1634T-YD内容分发网络技术要求 功能体 系架构，其中接口 B、接口 E在基本功能基础上针对 VR媒体服务进行功能扩展，以适应 VR媒体传输 模式，除接口 B、接口 E外的其他接口都复用了原有的功能要求。 YD/T XXXXX2018 5 外部接口要求如表 1所示，接口 B、接口 E增加 VR扩展功能。 表 1 外部接口要求 接口 接口名称 接口协议 接口功能及 VR相关扩展功能 A 外部业务系统与源站系统间接口 SOAP+XML 该接口把 VR媒体相关元数据信息引入 CDN； B 源站系统与 CDN接口 SOAP+XML、 FTP、 HTTP、 UDP、 RTSP 该接
17、口功能为把 VR媒体内容 源及相关元数据引入 CDN，包 括直播源引入与点播内容注入 两种方式； 针对 VR媒体服务新增多版本 VR内容源支持， 包括 ： 全方向 视频、分块编码视频、多版本 非均匀映射全方向视频等。 C 外部业务系统与 CDN管理接口 SOAP+XML 该接口功能为管理配置、资源上报、 VR业务管理信息 D CDN管理系统与 CDN媒体服务模块间接口 SOAP+XML 该接口负责管理 VR媒体服务状态信息； E 客户端与边缘服务节点媒体服务功能模块间接口 RTSP HTTP1.1 HTTP2.0 负责 VR媒体的服务与传输； 针对 VR媒体服务新增视窗依 赖传输模式、视窗独立
18、传输模 式。 F 客户端与全局路由间接口 DNS、 HTTP、RTSP VR媒体服务定向信息交互 、 客户端对媒体控制请求信息交互 ； 内部接口要求如表 2所示。 表 2 内部接口要求 接口 接口名称 接口协议 接口功能及 VR相关扩展功能 a 节点管理与内容中心节点之间的接口 HTTP 该接口功能为节点资源信息、 网络拓扑信息、注册认证信息 管理及交互； b 媒体存储与媒体服务功能模块之间的接口 RTSP、 HTTP 该接口功能为 VR媒体服务所 需数据的读取 ， 支持视窗依赖 、 视窗独立两种模式下的媒体内 YD/T XXXXX2018 6 容读取。 5.3.1 客户端与 CDN 节点 V
19、R 媒体服务接口（ E） 5.3.1.1 接口定义 客户端与 CDN节点 VR媒体服务接口定义如表 3所示： 表 3 接口定义 接口名称 客户端与 CDN节点 VR媒体服务接口（ E） 接口描述 客户端与 CDN之间用于 VR媒体服务的接口 ， 支持 VR视频视窗独立 传输模式以及 VR视频视窗依赖传输模式 接口协议 HTTP1.1和 HTTP 2.0 接口方向 CDN - 客户端 5.3.1.2 接口流程 （ HTTP1.1 协议） 客户端与 CDN间基于 HTTP 1.1协议 VR媒体服务接口流程如图 3所示： 图 3 E 接口示意图（ HTTP1.1 协议） 5.3.1.3 接口流程（
20、HTTP2.0 协议） YD/T XXXXX2018 7 客户端与 CDN间基于 HTTP 2.0协议 VR媒体服务接口应支持 HTTP2.0协议 ， 基于 HTTP2.0协议的服务 器推送流程如图 4所示： 图 4 E 接口服务器推送流程示意图（ HTTP2.0 协议） 基于 HTTP2.0协议的客户端请求流程如图 5所示： 客户端 1 . 分块文件 1 请求消息 Stream ID = 1 推送指令 ： 分块文件 2 ， ， 分块文件 N CDN 边缘节点 2 . 分块文件 2 . N 推送承诺 Stream ID = 1 推送承诺 ： 分块文件 2 ， Stream ID 2 推送承诺
21、： 分块文件 3 ， Stream ID 4 推送承诺 ： 分块文件 N ， Stream ID 2 ( N - 1 ) 3 . 分块文件 1 响应消息 Stream ID = 1 推送应答 ： 分块文件 2 ， ， 分块文件 N 分块文件 1 ： DATA 4 . 分块文件 2 推送响应消息 Stream ID = 2 分块文件 2 ： DATA 5 . 分块文件 3 推送响应消息 Stream ID = 4 分块文件 3 ： DATA 6 . 分块文件 N 推送响应消息 Stream ID = 2 ( N - 1 ) 分块文件 N ： DATA YD/T XXXXX2018 8 图 5 E
22、 接口客户端请求流程示意图（ HTTP2.0 协议） 6 VR 视频传输模式 6.1 概述 VR视频传输模式包括：基于全景传输的虚拟现实基本传输模式，即视窗独立传输模式，以及基于 主视场或者辅助视场的多码流切换的虚拟现实视点自适应传输模式，即视窗依赖传输模式。 首先，客户端向服务器发送请求、或者服务器向客户端直接下发虚拟现实媒体呈现描述文件 /信令 信息，该媒体呈现描述文件 /信令信息中包含用户视角与虚拟现实视频文件之间的对应关系。其中，虚 拟现实视频文件包括全景视频文件以及辅助视场视频文件 ， 媒体呈现描述文件中还包括全景视频文件与 其辅助视场视频文件的对应关系 。 其次 ， 客户端根据当前
23、可用带宽 、 终端播放能力等因素向服务器请求 获取特定版本的虚拟现实全景视频文件 。 当检测到用户观看视角发生变化时 ， 客户端将根据所获取全景 视频文件的视场 FOV类型 ， 向服务器请求获取对应的下一个全景视频文件或者全景视频文件的辅助视场 视频文件。 VR音视频媒体内容传输包括以下步骤： a）现实场景音频、视频等媒体数据采集，其中视频画面由多个采集设备捕获，覆盖 360全方向； b） 360视频画面经过拼接服务器完成多个子画面拼接、投影、旋转等，成为完整视频画面，作为 整体进行视频编码，音频数据直接进行编码； YD/T XXXXX2018 9 c）编码后的视频、音频数据经过封装服务器进行
24、系统层封装，生成全方向媒体文件，或者生成全 方向媒体文件分片及媒体索引文件； d） 终端向内容分发网络服务节点请求 VR媒体服务 ， 下载全方向媒体文件 ， 或根据视窗元数据动态 请求媒体分片文件； e）终端获取媒体文件后通过解封装器获取压缩后的视频数据及音频数据； f）终端分别利用视频解码器、音频解码器等模块对压缩后的数据进行解码； g）终端结合视窗元数据，对解码后的视频数据进行投影、旋转、渲染等操作，对解码后的音频数 据直接进行渲染，呈现给终端用户。 6.2 视窗独立传输模式 支持视窗独立传输模式，视窗独立传输模式指将 360全方向视频以同等质量、完整地发送给用户 。 可以保证映射内容完整
25、保留了原始球面的所有内容 ， 保留信息量最大 。 客户端向服务器请求获取无差别 的全景视频文件，当用户观看方向发生变化时，所有的处理都在终端完成。 采用视窗独立传输模式时，服务器将球形的全方向视频映射为平面存储的格式，并按照普通 2D视 频编码方法对其进行编码和分段、封装，依靠 CDN网络进行流式传输、分发与缓存。在客户端播放过 程中 ， 播放器读取全方向视频的映射方式 ， 根据映射方式获取相应的全方向视频数据及定时元数据进行 解码和渲染等操作。 以 DASH协议传输为例 ， 视窗独立模式 VR服务流程如图 6， 其中全方向媒体封装格式及传输信令等 要求参考 7.3.1部分 VR视频封装要求中
26、基于 HEVC编码格式的视窗独立视频封装格式规范。流程描述如 下： 图 6 视窗独立模式 VR 服务流程 a）终端向内容分发网络服务节点请求 VR媒体服务，下载 manifest索引文件及 360全方向媒体分片 文件； YD/T XXXXX2018 10 b）终端获取媒体文件后通过解封装器获取压缩后的视频数据及音频数据； c）终端分别利用视频解码器、音频解码器等模块对压缩后的数据进行解码； d） 终端结合视窗元数据 ， 对解码后的视频数据进行投影 、 旋转 ， 渲染视窗 1对应的视频画面 ， 对解 码后的音频数据直接进行渲染，呈现给终端用户。 6.3 视窗依赖传输模式 在沉浸媒体的消费过程中
27、， 由于人眼视觉范围有限 ， 用户在某一时刻只能观看局部的内容 。 按需传 输 ， 利用人眼视觉系统的局限性 ， 实现在不降低视觉体验的前提下对数据量进行减少 ， 依赖用户当前的 视野对传输内容进行自适应，按需下载视频内容，即视窗依赖传输模式，也称之为 VR FOV传输。 在主视场视点自适应传输模式下 ， 虚拟现实视频中存在预先确定的主视场 。 当用户观看视角变化量 大于特定阈值时 ， 客户端确定当前用户视角并根据用户视角与视频文件的对应关系 ， 向服务器请求获取 对应于用户当前视点的全景视频文件。 辅助视场视点自适应传输模式下 ， 虚拟现实视频中存在预先确定的辅助视场 。 客户端向服务器请求
28、 获取无差别的全景视频文件 ， 当用户视角变化量大于特定阈值时 ， 客户端确定当前用户视角并根据用户 视角与视频文件的对应关系，向服务器请求获取对应于用户当前视点的全景视频文件的辅助视频文件 。 类似地 ， 在分块传输模式下 ， 客户端确定当前用户视角并根据用户视角与视频文件的对应关系 ， 向 服务器请求获取对应于用户当前视点的分块视频文件。 客户端在请求服务器获取全景视频文件或者全景视频文件的辅助视场视频文件时 ， 在请求中携带全 景视频文件或者全景视频文件的辅助视场视频文件的开始播放时间。 按照传输内容的生成方式 ， 即非均匀映射方法或者分块编码方法， ， 视窗依赖传输模式可以分为两 类：
29、基于区域封装的视窗依赖传输和基于分块编码的视窗依赖传输。 6.3.1 基于区域封装的视窗依赖传输 对于基于区域封装的视窗依赖传输模式 ， 全方向原始球面视频内容采用非均匀映射处理 。 其在对球 面内容进行采样时 ， 令球面上的像素点有不同的权重 ， 使得关键视频内容得到保留 ， 而不重要的区域被 下采样 ， 仅保留少部分关键信息 。 非均匀映射方法用于传输质量不均匀的 360全景视频 ， 用户视窗范围 内是高分辨率，其他区域是低分辨率，从而减少整体码率。如图 7，系统根据用户当前视窗数据，选择 与当前视窗匹配程度最高的视频轨道进行传输。 YD/T XXXXX2018 11 图 7 不同区域采用
30、高质量编码的多轨道视频码流 以 DASH协议传输为例 ， 基于区域封装的视窗依赖模式 VR服务流程如图 8， 其中全方向媒体封装格 式及传输信令等要求参考 7.3.1部分 VR视频规范中基于 HEVC编码格式的视窗依赖视频封装或基于 AVC 编码格式的视窗依赖视频封装。流程描述如下： 图 8 基于区域封装的视窗依赖模式 VR 服务流程 a）终端向内容分发网络服务节点请求 VR媒体服务，下载 manifest索引文件； b） 终端利用接入引擎解析 manifest索引文件 ， 读取各版本视频对应的观看方向及质量等级 ， 结合视 窗元数据向内容分发网络服务节点请求视窗 2对应的 360全方向视频，
31、即视角 2视频； YD/T XXXXX2018 12 c）终端通过解封装器获取压缩后的视频数据及音频数据； d）终端利用解码器对压缩后的数据进行解码； e） 终端结合视窗元数据 ， 对解码后的视频数据进行投影 、 旋转 ， 渲染视窗 2对应的视频画面 ， 对解 码后的音频数据直接进行渲染，呈现给终端用户。 6.3.2 基于分块的视窗依赖传输 分块传输技术将 360全方向视频按照空间划分为若干个子视频块 ， 客户端可以根据网络状况和用户 头部运动有针对性的向服务器端请求视频片段 。 分块传输仅传一部分内容 ， 或将当前视窗的高质量视频 内容以及低质量全景视频内容混合传输 ， 减少了传输数据量 ，
32、 可以自由地选择各个分块的质量 。 HEVC 编码标准支持 tile方式编码，可用一个编解码器对整个视频流进行编解码，客户端的解码复杂度低。 每个子视频块码流被封装在文件中的单个轨道中，并可用于传输。 VR播放器根据采集到的用户观 看视角 、 视窗元数据等信息选择要传输的轨道 。 当前视窗中渲染的画面质量更高 ， 即选择画质更高的子 画面视频轨道，每个轨道采用独立解码器解码。 对于基于分块的视窗依赖传输 ， 终端需支持接收多个子画面视频分片 ， 当接收到的子画面轨道包含 重叠区域 （例如 ， 高质量的子画面和低质量的背景 ） ， 但是具有由 区域质量等级元数据 指示的不同质量 等级时，渲染设备
33、可以使用区域质量等级元数据进行排序，以实现： a）根据接收到的多个子画面轨道中包含区域质量等级信息渲染质量最高的子画面 ; b） 对于对包含不同区域质量等级的多个相邻子画面边缘进行处理 ， 避免渲染过程中边缘质量下降 。 视频分块编码方式包括多种，图 9表示相同分辨率、不同质量等级视频分块编码及传输方式，基于 分块的视窗依赖传输还支持不同分辨率视频分块拼接 、 不同编码格式视频分块拼接 、 视频分块边缘重叠 等多种方式，具体规范参见 ISO/IEC 23090-2和附录 D。 图 9 基于分块的视窗依赖视频传输 YD/T XXXXX2018 13 以 DASH协议传输为例，视窗独立模式 VR服
34、务流程如图 10，其中全方向媒体封装格式及传输信令 等要求参考 7.2部分 VR媒体服务实施要求。流程描述如下： 图 10 基于分块的视窗依赖模式 VR 服务流程 a）终端向内容分发网络服务节点请求 VR媒体服务，下载 manifest索引文件； b） 终端利用接入引擎解析 manifest索引文件 ， 读取各视频分块在空间中的位置信息及质量等级 ， 结 合视窗元数据，计算以最佳方式覆盖用户视窗的分块位置信息，并向内容分发网络服务节点请求视窗 2 对应的媒体内容分片 ， 包括音频分片文件 、 低质量全景视频文件及覆盖视窗 2的高质量 分块视频文件 （分 块 7、 8、 11、 12）； c）终
35、端通过解封装器获取压缩后的视频数据及音频数据； d）终端利用解码器对压缩后的数据进行解码； e） 终端结合视窗元数据 ， 对解码后的视频数据进行投影 、 旋转 ， 渲染视窗 2对应的视频画面 ， 对解 码后的音频数据直接进行渲染，呈现给终端用户。 7 VR 媒体服务要求 7.1 概述 VR音视频媒体服务满足如下要求： a) VR音视频内容源发送的码流应符合 VR媒体编码格式规范，实现媒体内容编码及拼接； b) CDN-VR封装服务器应实现基于 OMAF的文件格式封装； c) VR音视频媒体服务应支持点播、直播、时移、回看等 CDN基本媒体服务及业务功能，应支持以 上服务过程中的视角切换； YD
36、/T XXXXX2018 14 d) VR音视频媒体服务应支持 DASH传输协议及 HLS传输协议； e) VR音视频媒体服务应支持 HTTP2.0协议； f) VR终端应支持基于 OMAF的媒体内容解封装及解码、渲染。 7.2 VR 媒体服务实施要求 为了定义 VR媒体服务实施统一规范 ， 在 VR媒体服务传输过程中定义实施要求检查点 ， 即不同内容 格式的规范集合，包括封装格式、编码格式、传输协议扩展等，用于 VR媒体服务各阶段的实施指导， 如图 11。 图 11 VR 媒体服务实施要求 VR媒体编码及封装格式遵循本章 7.3节 VR媒体封装格式要求。 VR媒体传输协议遵循本章 7.4节传
37、输协议要求。 7.3 VR 媒体封装格式要求 7.3.1 视频封装要求 VR媒体服务应支持基于 OMAF的全景视频封装格式 ， 以及如表 4所示的视频基本配置规范及更高配 置规范。 表 4 VR视频基本配置规范 媒体规范 编码格式 视频编码规范 Level 数据盒封装标识 类别 基于 HEVC编码格式的视窗独 立视频封装 HEVC Main 10 5.1 podv、 erpv hevi 基于 HEVC编码格式的视窗依 赖视频封装 HEVC Main 10 5.1 podv、 erpv与 ercm至少 一个 hevd YD/T XXXXX2018 15 基于 AVC编码格式的视窗依 赖视频封装
38、AVC Progressive Hi gh 5.1 podv、 erpv与 ercm至少 一个 avde 具体内容参见 ISO/IEC 23090-2 10.1 7.3.2 音频封装要求 VR媒体服务应支持基于 OMAF的封装格式，以及如表 5所示的音频基本配置规范及更高配置规范 。 表 5 VR音频基本配置规范 媒体规范 编码格式 音频编码规范 Level 最高采样率 3D 元数据 类别 OMAF 3D 音频基准 规范 MPEG-H Audio Low Complexity 1, 2 或 3 48 kHz 编码中已包含 oabl OMAF 2D 音频规范 AAC HE-AACv2 4 48
39、kHz 无 3D元数据 oa2d 具体内容参见 ISO/IEC 23090-2 10.1 7.4 VR 媒体传输协议要求 7.4.1 DASH 协议信令扩展 VR媒体服务应支持 DASH传输协议以及针对 VR媒体服务的信令扩展 ， 如表 6， 包括基于 HEVC编码 的视窗独立传输模式信令、基于 HEVC编码的视窗依赖传输模式信令，具体配置内容参见 ISO/IEC 23090-2 附录 B。 表 6 支持 VR媒体服务 DASH描述子 元素 XML命名空间及规范 属性 功能描述 FramePacking urn:mpeg:mpegB:cicp: VideoFramePackingTyp e v
40、alue 描述全景投影视频的左右视野视频画面帧封装格式 associationId 描述与定时元数据表示集关联的媒体资源表示集对应 ID值 Representati on urn:mpeg:dash:schema :mpd:2011 associationType 描述定时元数据表示集与媒体资源关联的类型 urn:mpeg:mpegI:omaf: 2017:pf projection_type 描述全景视频投影格式 EssentialPro perty urn:mpeg:mpegI:omaf: 2017:rwpk packing_type 描述全景视频区域封装格式 YD/T XXXXX2018 16 描述自适应集中视频内容在球面 空间中的覆盖范围 ， 可由多个空间 区域组成 shape_type 描述视频内容覆盖区域形状 view_idc_presen ce_flag 描述视频内容与视野的关联关系 是否包含在此描述子中 cc urn:mpeg:mpegI:omaf: 2017:cc default_view_id c 描述视频内容与视野关联
