1、 海康威视视频云存储解决方案 海康威视 视频云存储解决方案 第 1 页 正文 目录 第 一 章 概述 6 1.1 系统简介 . 6 1.2 设计原则 . 6 1.3 设计目标 . 7 1.4 术语及缩略语解释 . 8 1.4.1 术语解释 8 1.4.2 英文 /缩略语解释 . 9 第 二 章 总体设计 13 2.1 需求说明 . 13 2.1.1 功能性需求说明 13 2.1.2 非功能性需求说明 14 2.2 技术路线 . 15 2.3 逻辑架构 . 16 2.4 系统特点 . 18 2.4.1 高效灵活的空间管理 . 18 2.4.2 海量数据的快速检索 . 19 2.4.3 持续可靠的
2、数据服务 . 20 2.4.4 高可扩展的应用支撑 . 21 2.4.5 开放透明的兼容系统 . 22 2.5 应用场景 . 22 第 三 章 视频类云存储设计 24 3.1 系统软硬件设计 24 3.1.1 软件设计 24 3.1.2 硬件设计 32 3.2 系统物理拓扑 33 3.3 系统功能设计 35 3.3.1 视频存储功能 . 35 海康威视 视频云存储解决方案 第 2 页 3.3.2 录像管理功能 . 36 3.3.3 系统管理功能 . 36 3.3.4 运维管理功能 . 37 3.4 系统业务流程 37 3.4.1 视频存储流程 . 37 3.4.2 视频检索流程 . 38 3.
3、4.3 视频读取流程 . 39 3.5 系统项目设计 40 3.5.1 项目信息收集 . 40 3.5.2 云存储设计流程 41 3.5.3 云存储管理服务器设计 . 42 3.5.4 存储容量计算 . 44 3.6 系统软硬件总参考清单 46 第 四 章 图片类云存储设计 51 4.1 系统软硬件设计 51 4.1.1 软件设计 51 4.1.2 硬件设计 56 4.2 系统物理拓扑 57 4.3 系统功能设计 59 4.3.1 图片存储功能 . 59 4.3.2 系统管理功能 . 60 4.3.3 运维管理功能 . 60 4.4 系统业务流程 61 4.4.1 图片存储流程 . 61 4.
4、4.2 图片检索流程 . 63 4.4.3 图片下载流程 . 63 4.5 系统项目设计 64 4.5.1 项目信息收集 . 64 海康威视 视频云存储解决方案 第 3 页 4.5.2 云存储设计流程 65 4.5.3 云存储管理服务器设计 . 66 4.5.4 存储容量计算 . 68 4.6 系统软硬件总参考清单 69 第 五 章 视频、图片混合云存储设计 74 5.1 系统软硬件设计 74 5.1.1 软件设计 74 5.1.2 硬件设计 82 5.2 系统物理拓扑 82 5.3 系统功能设计 84 5.3.1 视频存储功能 . 84 5.3.2 录像管理功能 . 84 5.3.3 图像存
5、储功能 . 84 5.3.4 系统管理功能 . 85 5.3.5 运维管理功能 . 85 5.4 系统业务流程 85 5.4.1 视频业务流程 . 85 5.4.2 图片业务流程 . 85 5.5 系统项目设计 85 5.5.1 项目信息收集 . 85 5.5.2 云存储设计流程 86 5.5.3 云存 储管理服务器设计 . 87 5.5.4 云存储存储设备设计 . 89 5.6 系统软硬件总参考清单 91 第 六 章 存储技术对比分析 97 6.1.1 存储技术现状 . 97 6.1.2 存储技术对比分析 103 第 七 章 附件 107 海康威视 视频云存储解决方案 第 4 页 7.1 视
6、频云存储容量计算工具 . 107 7.2 主要硬件产品介绍 . 107 7.2.1 存储管理服务器 107 7.2.2 存储主机 108 表格目录 表 1 视频监控云存储与传统集中存储对比表 . 104 表 2 视频监控云存储与文 件云存储对比表 106 图片目录 图 1. 云存储逻辑架构图 16 图 2. CVM 软件架构 25 图 3. CVS 软件架构 . 27 图 4. CVA 软件架构 . 29 图 5. ASS 软件架构 . 31 图 6. 视频云存 储物理结构图 . 34 图 7. 视频云存储系统功能图 . 35 图 8. 视频存储流程 . 38 图 9. 视频检索流程 . 39
7、 图 10. 视频读取流程 . 40 图 11. 管理节点双机部署方式 . 43 图 12. 管理节点集群部署方式 . 44 图 13. CVM 软件架构 52 图 14. CVS 软件架构 . 54 图 15. ASS 软件架构 . 55 图 16. 图片类云存储系统物理结构 58 图 17. 视频云存储系统功能 . 59 图 18. 图片直存流程 . 62 图 19. 图片非直存流程 . 63 图 20. 图片下载流程 . 64 海康威视 视频云存储解决方案 第 5 页 图 21. 管理节点双机部署方式 . 67 图 22. 管理节点集群部署方式 . 68 图 23. CVM 软件架构 7
8、5 图 24. CVS 软件架构 . 77 图 25. CVA 软件架构 . 79 图 26. ASS 软件架构 . 81 图 27. 视频图片混合云存储物理结构图 83 图 28. 视频云存储系统功能图 . 84 图 29. 管理节点双机部署方式 . 88 图 30. 管理节点集群部署方式 . 89 图 31. CVR 直连存储图 . 99 图 32. 视频云存储拓扑图 102 海康威视 视频云存储解决方案 第 6 页 第 一 章 概述 1.1 系统简介 随着视频监控系统规模越来越大,以及高清视频的大规模应用,视频监控系统中需要存储的数据和应用的复杂程度在不断提高,且视频数据需要长时间持续地
9、保存到存储系统中,并要求随时可以调用,对存储系统的可靠性和性能等方面都提出了新的要求。在未来的复杂系统中,数据将呈现爆炸性的海量增长,提供对海 量数据的快速存储及检索技术,显得尤为重要,存储系统正在成为视频监控技术未来发展的决定性因素。 面对百 PB 级的海量存储需求,传统的 SAN 或 NAS 在容量和性能的扩展上会存在瓶颈。而云存储可以突破这些性能瓶颈,而且可以实现性能与容量的线性扩展,这对于追求高性能、高可用性的企业用户来说是一个新选择。 云存储是在云计算( cloud computing)概念上延伸和发展出来的一个新的概念,是指通过集群应用、网格技术或分布式文件系统等功能,应用存储虚拟
10、化技术将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作, 共同对外提供数据存储和业务访问功能的一个系统。所以云存储可以认为是配置了大容量存储设备的一个云计算系统。 依据云存储的技术及功能特点,海康威视公司专门针对大容量视频数据的存储和管理以及满足视频监控领域特殊的应用需求,量身设计了一套海康威视视频云存储系统(以下文章中称为海康威视视频云存储)。 1.2 设计原则 视频云存储系统的设计和实施主要遵循“技术先进性、应用高效性、开放兼容性”等方面的 原则。 1) 采用前瞻性的存储技术架构 采用以云存储为核心的 IT 技术与安防监控行业特点进行结合,进而针对性开发出具有行业属性的先进视
11、频 、图片专有云存储系统。将云存储核心技术如集海康威视 视频云存储解决方案 第 7 页 群化部署、资源虚拟化整合、分布式流数据存储等技术应用到本套云存储系统中。同时充分考虑安防监控行业的发展需要,该套云存储系统需要能够支撑未来大数据处理、智能分析处理等云计算技术的需要,实现云存储系统在安防监控领域的先进性和前瞻性。 2) 专注与应用结合的设计方式 本套云存储系统是针对安防监控行业内视频数据、图片数据存储而设计的,对视频数据的具体业务应用进行详细的应用分析后,从系统底层的流数据结构的设计一直到上层的应用调度策略设计都必须站在应用的角度考虑存储。 云存储系统需要 明确自己作为应用的支撑这一深层次的
12、角色定位,而不能再停留在传统存储和通用的文件云存储仅仅是数据存储的这一较低的层次认识。因此专注于视频和图片的应用是本套视频云存储系统的重要设计原则。 3) 提供开放和兼容的系统环境 云存储系统的开放性和兼容性是需要考虑的重要原则,本套云存储系统要成为业内领先的专业存储系统,就必须要考虑到与标准应用平台的无缝对接和第三方标准存储设备的兼容性问题。 本套云存储系统需要对应用平台提供统一的接口,可在不同的行业中与其应用平台进行良好的互动,对用户的应用提供优秀的数据保障。同时对于第三方标准存储设备,云存储系统应该做到良好的兼容性,以保护用户的前期投入提供一个开放、公平的系统环境。 1.3 设计目标 海
13、康威视视频云存储系统设计的核心目标其一是视频和图片数据在存储方面能够很好的满足用户需求;其二是为用户应用数据提供高效、稳定、快速的服务;其三是系统可以实现便捷、可靠的统一管理及运维。 1) 数据存储 海康威视视频云存储 系统 实现 百 PB级的海量存储,突破传统的 SAN或 NAS在容量和性能的扩展上存在的瓶颈,实现性能与容量的线性扩展,满足用户对高性能、高可用性的需求。 海康威视 视频云存储解决方案 第 8 页 视频云存储系统 通过 集群智能化 部署 设计 ,不同于传 统视频存储的部署模式,系统 性能全面提升,而且不再存在单机故障及性能瓶颈应用,从而实现高效实用的 存储系统 。 2) 应用服
14、务 海康威视视频云存储 系统是一套 贴合用户需求 而设计视频云存储系统 , 其先天的基因中就融入了面向应用的特质,在不断发展的趋势下这种面向应用的特质会不断 地为用户提供高效、灵活、可靠 的专业级存储服务。 3) 统一管理及运维 视频云存储系统具有高效灵活的空间管理能力, 通过全系统分层集群的设计将系统的管理资源进行整合,并根据负载均衡算法提供全高效并发处理机制,提高了系统的整体性能。 视频云存储 系统内的设备和资源的运 行情况进行统一监控 , 以标准的 SNMP协议与运维服务器进行数据交互, 能够非常便捷的实现系统整体运维 。 1.4 术语及缩略语解释 1.4.1 术语解释 云存储: 是与云
15、计算同时兴起的一个概念。云存储一般包含两个含义: 1)云存储是云计算的存储部分,即虚拟化的、易于扩展的存储资源池。用户通过云计算使用存储资源池,但不是所有的云计算的存储部分都是可以分离的。 2)云存储意味着存储可以作为一种服务,通过网络提供给用户,用户可以通过若干种方式来使用存储。 云计算:( Cloud Computing) 是一种基于互联网的计算方式,通过这种方式,共 享的软硬件资源和信息可以按需提供给计算机和其他设备。 双机热备 (双机容错) : 就是对于重要的服务,使用两台服务器,互相备份,共同执行同一服务。当一台服务器出现故障时,可以由另一台服务器承担服务任务,从而在不需要人工干预的
16、情况下,自动保证系统能持续提供服务 。 海康威视 视频云存储解决方案 第 9 页 集群( cluster)技术 : 是一种较新的技术 ,通过集群技术,可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益,其任务调度则是集群系统中的核心技术。 虚拟化: 是指计算元件在虚拟的基础上而不是真实的基础上运行,是一 种多设备虚拟整合、虚拟 应用的技术;是一种 简化 了 管理,优化资源的解决方案。 负载均衡: 一种 分布式 计算机 处理 技术,用来平衡电脑各部件或大型电脑、服务器各主机的资源使用率 。 I 帧:表示关键帧, 可以理解为这一帧画面的完整保留;解码时只需要本帧数据就可以完成
17、 。 H.264: 是 MPEG-4 标准所定义的最新,同时也是技术含量最高 、代表最新技术水平的视频编码格式之一, H.264 最具价值的部分无疑是更高的数据压缩比。 720P: 是美国电影电视工程师协会 ( SMPTE) 制定的高等级高清数字电视的格式标准,有效显示格式为 1280 720, P 是 Progressive,逐行的意思 。 1080P: 是美国电影电视工程师协会 ( SMPTE) 制定的高等级高清数字电视的格式标准,有效显示格式为 19201080, P 是 Progressive,逐行的意思 。 1.4.2 英文 /缩略语解释 A AFP: Apple 公司开发的 文件协
18、议 API( Application Programming Interface),称为应用编程接口,就是软件系统不同组成部分衔接的约定。 软件的规模日益庞大,常常会需要把复杂的系统划分成小的组成部分,编程接口的设计十分重要。 ASSN( Asynchronous Storage Service Node) 第三方存储服务节点 ASS( Asynchronous Storage Service)异构存储软件 C CIFS( Common Internet File System) 通用 Internet 文件系统在 windows主机之间进行网络文件共享 , 是通过使用微软公司自己的 CIFS
19、 服务实现的。 海康威视 视频云存储解决方案 第 10 页 CVMN( Cloud Video Manage Node) 视频云存储管理节点 CVSN( Cloud Video Storage Node)视频云存储节点 CVM( Cloud Video Manage) 视频云存储管理软件 CVN( Cloud Video Net-Snmp)视频云存储运维软件 CVS( Cloud Video Storage)视频云存储软件 CVA( Cloud Video Access) 视频云存储接入软件 F FC 协议( Fibre Channel) 提高硬盘协议的传输带宽,侧重于数据的快速、高效、可靠传
20、输 , FC 光纤通道拥有自己的协议层 。 FC SAN 网络介质为光纤通道 , 把服务器与存储设备连接起来的存储技术。 FTP( FileTransferProtocol)文件传输协议 , 使得主机 间可以共享文件。 G GUI( Graphical User Interface 图形用户接口)是指采用图形方式显示的计算机操作用户界面。 H Hot-Spare, 当一个正在使用的磁盘发生故障后 ,一个空闲、加电并待机的磁盘将马上代替此故障盘,此方法就是热备 。 HTTP ( Hypertext transfer protocol 超文本传输协议 ) 是一种详细规定了浏览器和万维网服务器之间互
21、相通信的规则 。 I IO( Input/Output) 输入 /输出 。 IP( Internet Protocol 网络之间互连的协议 ) 中文 简称为“网协” , 就是为计算机网络相互连接进行通信而设计的协议。 IPC( IP Camera)网络摄像机名称缩写。 IP SAN:是 在传统 IP 以太网上架构一个 SAN 存储网络把服务器与存储设备连接起来的存储技术。 IP SAN 其实在 FC SAN 的基础上再进一步,它把 SCSI协议完全封装在 IP 协议之中 即 iSCSI 协议 。 iSCSI 是一种由 IBM 公司研究开发的,是一个供硬件设备使用的可以在 IP海康威视 视频云存
22、储解决方案 第 11 页 协议的上层运行的 SCSI 指令集 。 J JPEG( Joint Photographic Experts Group 联合图像专家 小组) 图像压缩标准 。 M Mibs 网络中所有可能的被管理对象的集合的数据结构。 N NAS( Network Storage Technologies)基于标准网络协议实现数据传输 。 NFS( Network File System) 即网络文件系统 .网络文件系统 允许一个系统在网络上与他人共享目录和文件。 P PB 数据单位, 1PB = 1,024 TB = 1,048,576 GB R Raid( Redundant
23、Arrays of Independent Disks), 中文为 独立 冗余磁盘阵列。 RTSP( RealTimeStreamingProtocol) 实时流传输协议,是 TCP/IP 协议体系中的一个应用层协议。 S SAN( Storage Area Network) 集中式管理的高速存储网络, 由多供应商存储系统、存储管理软件、应用程序服务器和网络硬件组成。 SAS 是新一代的 SCSI 技术,和现在流行的 SerialATA( SATA) 硬盘相同,都是采用串行技术以获得更高的传输速度,并通过缩短连结线改善内部空间等。 SNMP ( Simple Network Managemen
24、t Protocol) 简单网络管理协议 , 它是 一个标准的用于管理 IP 网络上结点的协议。 SSD( SolidStateDrives) 固态硬盘 简称固盘,简单的说就是用固态电子存储芯片阵列而制成的硬盘。 T Trap 广义的 trap 即 snmp trap,指被管理设备(代理)上报的陷阱报文,海康威视 视频云存储解决方案 第 12 页 表明设备发生故障或变更的主动通知。 TB 数据单位, 1TB = 1,024 GB = 1,048,576 MB TCP( Transmission Control Protocol) 传输控制协议 , 是一种面向连接、可靠的、基于字节流的运输层 (
25、 Transport laye) 通信协议 。 U UDP( User Data Protocol) 用户数据报协议是与 TCP 相对应的协议 , 它是面向非连接的协议 , 它不与对方建立连接 , 而是直接就把数据包发送过去 。 URL( UniformResourceLocator) 称为网页地址,是因特网上标准的资源的地址。 W WEB 广泛译作 网络、互联网等技术领域 。 Web Service 是一种服务导向架构的技术 ,通过标准的 Web 协议提供服务 ,目的是保证不同平台的应用服务可以互操作。 海康威视 视频云存储解决方案 第 13 页 第 二 章 总体设计 海康威视视频云存储系统
26、是由海康威视自主研发的一套针对安防监控行业应用的专业级 云存储系统。采用软硬件一体化设计,结合先进的集群化技术、虚拟化技术、离散存储技术等,通过流式文件系统对存储资源进行虚拟化和应用化整合,为用户提供高性能、高稳定、高扩展性的数据存储服务。 2.1 需求说明 2.1.1 功能性需求说明 1) 视频功能 要求视频存储系统具备 7 24 小时大码流视频录像、快速检索、回放和管理的功能,同时,对于视频的回放,须有相应的优化,比如 I 帧序列回放等。 检索要求支持对录像按照多种方式检索,如按照类型、标签、时间段等方式。 回放要求按照类型、时间、 I 帧、正序、倒序、倍数等方式进行回放。 管理要求支持删
27、除、锁 定、标注、循环覆盖(时间、空间)等方式进行管理。 2) 图片功能 要求视频存储系统支持图片的高速写入、并发下载、图片压缩、锁定、删除等功能。 下载要求支持按时间段和 URL 的方式获取图片。 图片压缩要求能支持按照图片尺寸、大小进行压缩。 提供图片直存和非直存两种解决方案,丰富图片存储的多选性。 3) 运维管理 功能 要求支持对系统的运行状态、存储使用情况进行监控,以及对软硬件异常状态报警,便于用户处理。 海康威视 视频云存储解决方案 第 14 页 4) 系统管理功能 要求统一服务接口,系统提供的统一的服务接口便于与应用平台进行对接。 要求提供统一的管理界面,通过管理界面能 进行存储设
28、备和资源的配置。 2.1.2 非功能性需求说明 1) 可靠性需求 采用视频云存储技术, 将网络中大量各种不同类型的存储设备通过应用软件整合起来协同工作,共同对外提供视频数据存储和业务访问 。保证 单个节点失效时, 系统能够通过自动负载将业务调整到其他设备上以满足 用户业务的持续性;并且需要能够提供数据的迁移备份,在设备故障无法快速修复时依然能够支持数据的正常读取来满足业务应用的需要。 2) 稳定性需求 随着容量和存储设备的增加,如何保证海量数据存储的安全性和可靠性是传统视频存储面临的巨大挑战 ,要求存储系统具备 7 24 小时的不间断 写入的能力。在系统运行的过程中,运行压力的持续或加大系统能
29、够通过集群技术、虚拟化技术动态自动调整业务压力,将业务响应的压力进行分散来减少单点压力过大。 3) 扩展性需求 云存储系统的建设在不同的阶段可能会有不同的容量要求。随着项目的不断扩大、应用的不断加强,容量将会不断扩大。那么云存储系统需要能够提供动态扩展功能,要求对在线系统增加、减少设备时业务不中断。设备一旦融入云存储系统后立即可用作为整体存储资源的一部分进行调用,在扩展存储设备时要求能够支持对接标准第三方存储设备。 另外对于系统的扩展性,在动态调整具体监控 区域的存储资源时要求能够做到良好的灵活性,即不但能够增加存储资源的配给,也能够减少存储资源的配给工作,充分体现出良好的扩展性。 4) 可用
30、性需求 海康威视 视频云存储解决方案 第 15 页 云存储系统需要提高良好的可用性,将复杂的应用 、繁琐的操作流程简单化。对用户而言只 需要 使用 唯一的 IP 地址就能够访问和管理云存储系统。 用户在唯一的界面上就能够准确并安全地进行配置、部署、监控整套云存储系统,能够为 用户对设备状态、资源、报警、升级、扩展,维护 方面提供便捷。 5) 性能需求 要求系统提供线性递增的性能属性,容量越大性能越强;同时提供并发响应机制,加快数据业务的处理能 力。 2.2 技术路线 海康威视视频云存储系统 基于云架构 进行开发,采用面向 用户业务应用的设计思路, 融合 集群应用、 负载均衡、虚拟化、 云结构化
31、 、离散存储等技术 , 可 将网络中大量各种不同类型的存储设备通过 专业 应用软件集合起来协同工作,共同对外提供 高性能、高可靠、不间断的 数据存储和业务访问 服务。 在视频云存储系统的设计中, 采用的核心技术如下: 1) 采用 存储 全域 虚拟化技术对具有海量存储需求的用户提供透明存储构架 ,可持续扩容避免瓶颈限制,可以更有效的进行资源管理,灵活增减空间,达到最大程度上合理利用空间的效果。 2) 采用集群技术, 解决单 /多 节点失效问题,并利用负载均衡技术充分利用各存储节点的性能,提升系统的可靠性和安全性。 3) 采用离散存储技术,保障了用户高效的读写的同时保证了业务的持续性。 4) 采用
32、统一 完善的 接口 ,降低对接成本、 平台维护 成本 和用户管理的复杂度 。 5) 采用 开放的集成构架 ,使其 可兼容业界各类 iSCSI/FC 存储设备,保护用户现有存储投资资源。 6) 采用 数据备份和容灾技术 , 保证云存储中的数据不丢失, 确 证云存储 服务 的安全稳定。 7) 采用视频、图片的全直存技术方案,保证项目整体的成本控制,优化存储系统流程。 海康威视 视频云存储解决方案 第 16 页 2.3 逻辑架构 云存储系统采用分层结构设计,整个 系统从逻辑上分为五层,分别为设备层、存储层、管理层、接口层、应用层。 图 1. 云存储逻辑架构图 1) 设备层 设备层是云存储最基础、最底
33、层的部分,该层由标准的物理设备组成,支持标准的 IP-SAN、 FC-SAN 存储设备。在系统组成中,存储设备可以是 SAN 架构下的 FC 光纤通道存储设备或 iSCSI 协议下的 IP 存储设备。 2) 存储层 海康威视 视频云存储解决方案 第 17 页 在存储层上部署云存储流数据系统,通过调用云存储流数据系统,实现存储传输协议和标准存储设备之间的逻辑卷或磁盘阵列的映射,实现数据(视频、图片、附属流)和设备层存储设备之间的通信连接,完成数据的高效的写 入、读取和调用等服务。 3) 管理层 在管理层,融合了索引管理、计划管理、调度管理、资源管理、集群管理、设备管理等多种核心的管理功能。可以实
34、现存储设备的逻辑虚拟化管理、多链路冗余管理、录像计划的主动下发,以及硬件设备的状态监控和故障维护等;实现整个存储系统的虚拟化的统一管理,实现上层服务(视频录像、回放、查询、智能分析数据请求等)的响应。 4) 接口层 应用接口层是云存储最灵活多变的部分,接口层面向用户应用提供完善以及统一的访问接口,接口类型可分为 Web Service 接口、 API 接口、 Mibs 接口,可以根据实际业务类 型,开发不同的应用服务接口,提供不同的应用服务。实现和行业专属平台、运维平台的对接;实现和智能分析处理系统之间的对接;实现视频数据的存储、检索、回放、浏览转发等操作;实现关键视频数据的远程容灾;实现设备
35、以及服务的监控和运维等。 5) 应用层 从逻辑上划分,除了应用层外,剩下的四层都属于通常云存储的范畴,但是在海康威视视频云存储系统中,为了与视频监控系统的建设和应用更加紧密的结合,更加符合用户的业务需求,将应用层纳入了整个系统架构中,从根本上提高海康威视视频云存储系统的针对性。 可将行业视频监管平台、运维平台、智能 分析平台等通过相应的接口与云存储系统对接,实现与云存储系统之间的数据以及信令的交互。 行业视频监控平台可与云存储系统进行配置录像计划、配置存储策略、检索视频资源、重要录像的备份存储等指令的交互,辅助流数据、视频数据、图片数据的存取。 运维平台采用标准的 SNMP 协议实现并提供 M
36、ibs 接口,对云存储系统以海康威视 视频云存储解决方案 第 18 页 及服务进行监控管理,及时将产生的告警传递给用户。 将智能分析平台可与云存储系统进行对接,实现基础数据的读取,以及经过存储的二次分析后的片段信息,文本信息写入和检索。 2.4 系统特点 海康威视视频云存储系统通过全集群 化设计、全域虚拟化设计、分布式文件系统设计、面向应用的算法、功能设计为用户提供了更为海量的存储空间、更为庞大的前端路数支持、更为高效的处理能力、更为透明的系统环境。对于面向视频、图片等监控行业无疑是一套非常优秀的云存储系统。 2.4.1 高效灵活的空间管理 海康威视视频云存储系统具有高效灵活的空间管理能力。为
37、了突破传统存储在存储容量和系统性能上的矛盾,在管理大容量空间时通过全系统分层集群的设计将系统的管理资源进行整合,并根据负载均衡算法提供全高效并发处理机制,大大地提高了系统的整体性能。 1) 存储资源的虚拟化 对存储空间的 管理方面海康威视视频云存储系统将全域各存储节点的资源进行虚拟化后,向用户呈现出一个持续的、超大的数据资源池,将其称之为存储资源池。存储资源池的整合过程完全透明,由系统算法自行完成,将用户从繁琐的空间管理和配置中解脱出来,提高了管理效率。 2) 存储资源的在线扩展 当存储资源无法满足用户的容量需求,需要进行存储资源的扩展时,海康威视视频云存储系统能为用户提供十分便易的操作 。
38、用户只需要在集群内添加新增存储设备的 IP 地址,系统会自动辨别新增设备,对新增设备进行虚拟化整合,这样新增设备的容量就能融入集群,并作为集群内全部 存储资源的一部分为用户所用;同时,在整个存储资源的扩展过程中,视频云存储系统的录像业务正常运行,保障用户不会因为系统的扩容而中断正在进行的正常业务,从而 实现 存储资源的在线扩展 。 海康威视 视频云存储解决方案 第 19 页 云存储的系统架构保证了存储资源在线扩容的同时,可以满足容量与处理性能的线性增长,从而提供了无限制的容量增长能力。 3) 虚拟 空间 的灵活使用 用户对存储资源池的使用完全可以做到随心所欲,可以按照监控系统的需要和监控区域的
39、容量大小将存储资源池的存储资源进行分配,分配后的存储资源称为录像池。 录像池的划分采用灵活策略方式,对于已经分配好的并在线 运行的录像池策略依然能够进行调整。调整方式非常灵活,不但能够做到将录像池进行扩大,同时也能非常灵活的支持将录像池进行缩小,而这点在传统存储中则非常困难。 2.4.2 海量数据的快速检索 海康威视视频云存储系统管理着百 PB 级的存储容量空间,但是依然能够具备高效、准确、快速的数据检索能力。 1) 一体化索引设计 海康威视视频云存储系统的索引管理遵循着高效、简洁、一体化的设计思路。所有与用户业务相关的索引信息统一由海康威视视频云存储系统的视频云存储管理节点或者集群进行管理。
40、视频云存储管理集群在对索引的一体化设计上将海量数据索 引查找、筛选进行了全面的优化,大大的提高了查找速度。在规模不断扩大时性能几乎相同,均能做到毫秒级耗时。 2) 深化的应用设计 海康威视视频云存储系统本着视频云存储系统的特有性,在视频、图片的某些专有信息上也进行了独特的设计。可以支持快速的对 I 帧定位并直接读取 I 帧信息,避免了传统存储在 I 帧数据获取时反复读取视频数据再分析呈现的过程。该项设计使得海康威视视频云存储系统在数据存储索引设计与用户应用更紧密地进行了融合,使得海康威视视频云存储系统能够为用户提供更为高效的海量数据的快速检索能力。 海康威视 视频云存储解决方案 第 20 页
41、2.4.3 持续可靠的数据服务 海康 威视视频云存储系统为用户能够提供 7X24 小时不间断高效可持续的数据服务,充分保护数据安全和可靠性。 1) 集群化管理节点设计 海康威视视频云存储系统在管理层面通过部署集群化视频云存储管理节点向用户提供系统级的存储性能和可靠性。通过视频云存储管理集群将管理压力、业务压力、调度压力、检索压力等同时分担在不同的视频云存储管理节点上,不但能够使系统整体性能提升,还可以使得单台节点的压力下降。 通过这种方式单台视频云存储管理节点的系统消耗更小,也就使得使用寿命更长,可能出现故障的概率降低。即使视频云存储管理集群中部分(一台 或多台)节点出现故障,也不会影响到视频
42、云存储系统的服务,因为在视频云存储管理集群中的其他节点会主动接过故障节点的工作,继续为视频云存储系统提供管理服务。 2) 持续并发业务存取 在数据存储层面同样由于视频云存储节点也采用的集群化部署,所有的存储资源是采用虚拟化的方式由系统统一进行管理的。在数据存储时海康威视视频云存储系统采用离散存储算法,可以为用户提供系统级分散存储服务。支持将同一IPC 提供的数据流按照分片的方式分布式存储在不同视频云存储节点上。 这样即使单台或多台存储节点出现故障该 IPC 的录像数据仍然可用。在存储节点内运行管理和业务软件也可用对数据进行合理分配,同时高效的 Raid 技术在设备层面也能保证数据的高安全和可靠
43、性。 3) 高可靠的录像功能 海康威视视频云存储系统在存储节点上内置视频云接入软件,所提供的录像服务和流媒体服务也是由视频云存储管理节点统一进行调度的,每套视频云接入软件负责一部分前端的录像工作。当这台节点宕机时视频云存储管理集群会根据当前资源情况按照负载均衡策略将这部分录像任务重新进行分配,保证业务的不中断。 海康威视 视频云存储解决方案 第 21 页 2.4.4 高可扩展的应用支撑 海康威视视频云存储系统是一套为视频、图片等监控行业而设计视频云存储系统。 其先天的基因中就融入了面向应用的特质,在不断发展的趋势下这种面向应用的特质会不断地为用户提供高效、灵活、可靠、的专业级存储服务。 1)
44、数据应用性能支撑 由于视频数据具有持续时间长、数据量大等特点,在存储和读取上对存储设设备的压力会尤其的严重。传统存储在遇到视频流数据的时候往往会出现存储 /读取慢、前端支持路数底的瓶颈。而海康威视视频云存储系统就能够很好的解决这些问题。 2) 流数据存储结构设计 海康威视视频云存储系统的集群化、分布式设计使得系统的性能有很大的提升,能够并发服务以满足视频数据的高速读取需求。 海康威视视频 云存储系统的流数据结构系统也是专门为视频、图片数据而设计,能够合理将整段数据进行划分。这样设计的优点是满足视频数据的持续写入。 对于划分的粒度,通过海康威视多年视频监控行业的服务经验,同时配合对大数据服务的扩
45、展需要,以及考虑到后期数据读取和应用的频率而进行的专业调整。在具体存储空间的分配上海康威视视频云存储也是自有知识产权的设计,摒弃传统存储的分配方式而为视频、图片数据而特别设计的。 3) 高扩展性应用设计 视频录像的应用方面海康威视视频云存储也进行了充分的考虑。如支持对 I帧的快速定位、对录像标注、修改、对存储周 期采用时间和存储容量双轴线覆盖策略等。海康威视视频云存储这些专业化设计使得用户在应用过程中不再需要平台分析服务器采用反复读取完整录像后再进行分析而得出结论的方式。这样大大优化了应用的服务质量,使得监控系统的服务也更加专业、有效。同时为有云计算需求的用户提供了优质的数据基础。 海康威视
46、视频云存储解决方案 第 22 页 2.4.5 开放透明的 兼容系统 海康威视视频云存储 系统的设计理念就是通过云的概念将所有不同类型的应用、业务接口全部封闭在云内 ,为 上层业务和用户提供统一的、透明的、可调用的系统 级存储 资源。 1) 统一开发平台接口 云存储系统在软件 接口设计上采用 API 的模式 对 内部所有处理模块进行筛选,将对业务有决定性的模块按照接口的模式进行统一封装,提供给上层业务进行调用,这样云存储系统内部实现对上层业务就不再 重要,上层业务只用调用云存储系统提供的统一接口即可,大大的优化了上层业务的代码结构、简化了 操作步骤,也将应用的效率和性能进行了大幅提高。 2) 标
47、准第三方设备接入 海康威视视频云存储系统采用的是标准的设备兼容模式,支持标准 IP SAN、FC SAN存储设备的接入。海康威视视频云存储系统通过部署第三方存储服务节点的方式,将用户环境中现有或者需要使用的标准第三方存储设备统一进行管理。第三方存储设备接入到海康威视视频云存储系统后,由视频云存储管理集群统一进行管理,第三方存储设备的资源也纳入到虚拟池内进行管理。用户在使用上并不会感受到差别,真正实现透明、统一、兼容的视频云存储系统。 2.5 应用 场景 海康 威视 视频云存储解决方案 作为安防监控行业整体方案中的存储技术部分, 在确定使用云存储 方案 前需先 明确 存储业务 的 类型。当前云存
48、储 业务应用场景 分为三种类型: 纯 视频云存储 场景 、 纯 图片云存储 场景 、 视频与图片 混合类云存储 场景 。 视频云存储 场景 与图片云存储 场景的 主要区别 在于 : 视频云存储中视频数据流采用直写方式 存储到存储磁盘阵列上。 在此场景中云存储的存储节点替代了流媒体服务器的功能,将流媒体转发与存储结合,简化了系统结构。因此云存储 不需要部署流媒体服务器,可以节省项目 的整体 成本。海康威视 视频云存储解决方案 第 23 页 同时大幅提高存储系统的效率和可靠性。 图片云存储 方案 中高清抓拍相机 的图片数据流需要通过平台接入 服务器 转发 到存储磁盘阵列。 以云存储替代传统的存储方
49、式,可以最大限度的发挥存储设备的整体性能,大幅提升存储效率和可靠性。对于图片中我司的图片直存云存储方案则可省去接入服务器,效率更为优良。 混合云存储 场景 支持一套 云存储 能同时满足视频和图片数据 的 存储 要求 。 并综合视频和图片的在云存储系统中的存储优势,将复杂的业务存储场景简单化,向用户提供一体化的存储解决方案。 因此本方案针对业务应用场景进行了分类: 纯视频 类数据的云存储设计 请参考第三章;纯 图片类数据的云存储设计 请参考第四章;项目既 包含 视频存储又 包含 图片存储 的情况 请参考第五章。 海康威视 视频云存储解决方案 第 24 页 第 三 章 视频类云存储设计 海康 威视 视频云存储系统 应用于纯视频 存储 时, 主要是承担 整个系统内的视频 数据 写入 /读取工作 。 云存储系统一方面 采用 了 基于云架构 的分布式 集群 设计和虚拟化设计,在系统内部实现了多设备协同工作、性能和资源的虚拟整合 ,最大 限度 利 用了 硬件资源和存储空间。 另一方面, 通过将云存储的存储功能、管理功能进行打包,通过开放透明的应用接口和简单易用的管