XSKY 分布式存储解决方案.pdf

1、XSKY统一存储解决方案2017.5研发核心 团队 A：来自一线互联网，国内 Ceph社区贡献第一； 团队 B：来自 IT领导厂商的存储产品研发。关于 XSKY | 星辰天合 总部位于北京，在上海、深圳等地有办事处和研发中心 启明创投、北极光创投和红点投资， A轮前融资额￥ 7200万，B轮融资额￥ 1亿 2000万元； 员工 140+人，研发 +服务 100+人； 公司愿景：提供企业就绪的分布式软件定义存储产品，帮助客户实现数据中心架构革新； 产品： X-EBS分布式块存储， X-EOS分布式对象存储， X-EDP统一数据平台。XSKY 公司和团队简介Future Ready SDS 关于公

2、司 Ceph分布式存储技术中国领先者， 2016年 Ceph社区中国贡献率第一 拥有近 40个产品专利和软著 中国开源云联盟 理事会员 IDC重点关注的软件定义存储创业公司3XSKY 在 ceph社区的贡献度XSKY如何为 Ceph社区贡献源代码XSKY 开 源 贡 献 主 要 集 中 在 NVMe ，DPDK/SPDK/RDMA整合 ， BlueStore, 网络优化 ， OSD, MON 性能优化等等方面 。XSKY为 Ceph网络层 AsyncMessanger的主要贡献和维护者 。XSKY 2016 年 10 月将 Ceph 的InfiniBand/RDMA互联共享给 upstream

3、。5 完善的社区生态，高速增长的数据服务能力 成熟的数据分布算法（ CRUSH） 统一存储 API，主流云平台接口 软件定义，硬件持续革新 企业级接口， FC和 iSCSI，多路径 高性能，低延时、百亿级文件对象 持续服务，高水平 SLA和业务 QoS保证 易运维，全图形化操作， 0命令行运维 内置数据保护功能，一站式解决数据安全问题产品以 Ceph为引擎，构建企业级分布式存储产品XSKY和社区版 Ceph的关系开源 Ceph已有组件XSKY作为主力向upstream贡献组件LibRBD RADOS GWFC、 iSCSI、本地 SCSI， Librbd代理XDC（ XSKY 数据客户端）S3

4、海量小文件处理冷池休眠CPU DISK MEM NIC硬件加速层（ SPDK， DPDK等）FileStore BlueStore KvStore XStore读写缓存OSD CoreMONXSKY加速 组件（内存管理、网络通信、线程调度 、数据持久化策略 等）LibradosXSKY管理系统可视 化管理健康状态监控智能辅助故障 告警容量性能统计工作负载统计操作日志XSKY发行版独有部分市场对于 XSKY的认可IT架构变革趋势图灵奖得主 Jim Gray ：从现在起，每 18个月 ,新增的数据量等于有史以来数据量之和。至 2020年， 500亿设备实现互联4500亿 美元数据价值80% 以上的

5、数据将是 非结构化数据未来 10年内，将增加 44倍的数据和内容44ZB 数据产生互联网和物联网持续推动大数据经济企业信息化面临的挑战TOP 6问题：容量 /管理 /TCO/性能 /大数据 /利用率*数据来源：中桥国际调研咨询有限公司其他存储硬件利用率低下非结构化数据的大数据分析不能满足并行处理能力需求采购和运营成本高资源配置复杂存储容量不能满足需求 50.1%44.4%40.2%39.3%33.2%20.9%3.1%容量不足，经常需要扩容“It is data center that managing me, not I am managing it.” 管理复杂，需要专业人员TCO持续上升

6、 ， 部分设备扩容成本比新购还高性能无法满足业务要求 ， 需要购置新设备 ， 原投资浪费对云计算 、 大数据等新技术支持不足资源孤岛，无法共享，利用率低下“ 业务发展快 ， 数据量增长更快 ！ ”“ 3年前的型号厂商说停产了 ， 建议我们买新型号 。 问题是数据迁移太痛苦 ！ ”“ 现在业务都上云了 ， 要给上千个虚机配存储资源至少要花两天 ！ ”“ 各个部门都说资源不够用，但实际上很多是可以共享使用的，特别是研发，但是我们很难都监控起来”“ 如果一套存储可以一直扩展下去那样就好了 ！ ”企业的面临的 IT挑战是技术革新的推动力SDS存储的特点和优势传统存储XSKY分布式 SDS存储Faste

7、r.Slower.TRAIN STOPS!TRAIN KEEPS GOING! 软硬件捆绑 价格不透明 应用场景有限 访问接口有限 厂商之间无法兼容 控制器性能是天花板x86 标准化服务器通用服务器 + 存储软件 = Server SANSDS 软件定义存储 软硬件完全解耦 TCO 大幅度降低 应用场景广泛 访问接口自适应且灵活 不受硬件厂家限制 横向扩展 Scale Out基于通用硬件的 Server SAN存储黑盒子互联网技术引导存储变革：通用硬件 + 软件定义传统公司的数据中心 （ Yahoo, Altavista）各种专用服务器、交换机、 SAN、 NAS一线互联网的数据中心（ Goo

8、gle, Amazon， BAT）通用硬件 + SDI传统的业务数据存储策略与模型高端 FC-SAN或 AFA 大容量 IP-SAN 磁带库或蓝光设备存储目的 支撑线上业务 数据保护，按需调档 合规留存存储网络 光纤网络 以太网络 以太网络 +特殊介质￥ /TB 30000元 10000元 1000元介质失效数据删除2016数据访问热度2017 2018 2025 2035 数据压缩数据备份数据转移数据归档介质转移介质转移传统影像数据生命周期： 从在线到离线，单向流动 数据价值仅一次利用软件定义存储 “ 数据湖 ” 模型数据访问热度业务访问 分析访问 增值访问2016 2017 2018 20

9、25 2045 热数据池温数据池冷数据池SDS统一数据平台 ： 更高的数据可靠性 数据与硬件解耦合 ， 通用 |异构 数据价值排浪 可控的 |更长的数据生命周期存储公有云数据加密 高性能服务器集群 服务器、机架、 DC多级保护 OLTP业务， FC与 iSCSI接口 大容量服务器集群 分析与增值业务 在线备份 对象接口 低功耗服务器集群 合规与潜在数据红利 在线归档 对象接口，多云互通SDS全球存储市场发展趋势：分布式存储快速成长当前未来 10年全球企业分布式存储市场快速增长，预计 2027将占存储市场的 70%份额基于标准服务器的软件定义存储（ SDS）逐渐取代专用存储XSKY 产品介绍So

10、ftware Defined DeviceRadio PSP MP3 Games Camera Video软件多样化 载体标准化融合架构 Software Defined DeviceXSKY 产品线组成X-EBS 分布式块存储X-EBS 是 XSKY基于软件定义的分布式 块存储 的发行版 ， 支持包括主流虚拟化平台 （ KVM， ESXi， XEN，Hyper-V）， 主流云管平台（ Openstack、 Cloudstack、vSphere）， Docker， OLTP和OLAP数据库等 SAN存储适用的场景 。X-EBS 是专门为大并发 ， 高性能 ， 高压力 ， 弹性扩展需求的客户所量

11、身定做的解决方案产品 。应用场景 ： 虚拟化 / 数据库 / 结构化数据 / 部分替代 SANX-EOS 分布式对象存储X-EOS 是 XSKY基于软件定义的分布式 对象存 储的发行版， X-EOS 不但可以帮助运营商与云服务商实现数 10个PB规模的存储资源池，也可以帮助企业实现成本可控的中小规模水平扩展存储。X-EOS 是专门为高性价比和大容量需求型客户，量身定做的解决方案产品，对海量小文件，超大容量数据存储有良好的优化。应用场景：视频，影音，图片，流媒体 / 非结构化数据 / 性能容量比X-EDP是一个真正的统一存储，实现了同一套存储系统向上层应用同时提供块、文件和对象三种数据服务，满足

12、业务对结构化、半结构化、非结构化数据的存放需求。在融合 EBS 和 EOS， 形成统一管理的基础上， 内置数据保护功能：备份、复制、容灾、云分层等 ， 帮助企业轻松应对业务快速变化时的信息灵活、可靠存取需求。应用场景：虚拟化 / 数据库 / 结构化数据 / 低延迟 / 部分替代 SANX-EDP 分布式数据平台XSKY 产品架构体系XSKY分布式存储软件部署形式资源池分离部署架构将计算和 OSD部署在同一个节点即超融合架构 ， 部署在不同节点即分离部署架构 。两种形态，按需选择超融合部署架构 VMWare HCI 需求 ， 均需要在虚拟化服务器上安装一台 XVM XDC和 SDS管理进程均安装

13、在 XVM上 X-EBS透过 hypervisor管理宿主机相关硬件 XDC通过 iSCSI将虚拟化之后的 volume资源提供给虚拟化平台 Hypervisor利用 VMFS支撑 guest VM推荐在中小规模的 vmware 虚拟化场景使用 。 参考 Vmware超融合部署最佳实践指南 XSKY分布式存储系统场景介绍 VMware HCI 场景XSKY分布式存储系统 VMware VAAI支持X-EBS：增强的 LIBRBD，提升超融合性能使用了“增强 LIBRBD”后 1. 4K随机写 IOPS提升20%2. IO延迟降低 15%3. CPU利用率降低 40%4. 内存使用至多减少 2/

14、3接口不变 ， 每台物理机多运行更多的 VMOpenStack 创建虚拟机 创建镜像 创建块存储卷 块存储卷生命周期管理 创建卷快照及克隆块存储卷 创建拓扑、存储池 块存储卷管理与监控 批量设置块存储卷 QoS 卷快照管理 硬件资源管理与监控支持多虚拟化（ Multi-Hypervisor）Vmware ReadyVAAI支持，获得 Vmware 官方认证TAP 合作伙伴SDDC 成员OpenStack生态默认后端存储性能优化 ： 4K随机写 IOPS提升 20%； IO延时降低 15% CPU利用率降低 40% 内存使用至少减少 2/3支持在线升级支持 Xen、 Hyper-V完美的支持 X

15、en、 Hyper-V.标准 x86服务器标准 x86服务器标准 x86服务器XSKY分布式存储资源池iSCSI | FC | LibRBD | Local SCSI按需选择所需的虚拟化平台全图形化运维准备硬件安装 OS安全与密钥配置安装 XSKY软件包NTP配置Web集中配置集群 集群其他节 点就绪除去安装 Linux操作系统的时间， X-EBS本身的安装部署仅需要 23分钟两步 完成在线扩容（主机）：1、配置主机网络环境2、输入 IP安装主机两步 完成在线扩容（磁盘）：1、选择目标主机2、安装磁盘完善的软硬件监控平台，数据统计长达 90天时间GUI/CLI Restful API SNMP

16、可视化硬盘管理以可视化的视图展示硬盘的基本信息及从属关系，基本信息包括：硬盘名称、状态、容量、已使用容量、数据恢复情况、硬盘介质、 IO利用率等。从属关系包括从属服务器视图和从属存储池视图。同时支持鼠标 hover时显示硬盘详细信息。硬盘运维 硬盘点灯设置是硬盘故障定位功能，对于出现错误或告警的硬盘可以通过管理界面点灯操作定位到物理盘的位置。以便于运维人员进行排查或修复。海量硬盘如何维护？ S.M.A.R.T检测 硬盘灯告警功能 SSD寿命预警 S.M.A.R.T.（ Self-Monitoring Analysis And Reporting Technology） 功能 ，全称 即 “ 自我检测分析与报告技术 ” ，监控硬盘的可靠性、预测磁盘故障和执行各种类型的磁盘自检。监控 会 得出：“ 硬盘安全 ” 或 “ 不久后会发生故障 ” 。那么在发生故障前，至少有足够的时间让使用者把重要资料转移到其它储存设备上。哪块硬盘坏了？ 硬盘手动点灯功能