YD T 3983-2021 数据中心液冷服务器系统能源使用效率技术要求和测试方法.pdf

1、 ICS 33.040.40 M32 中 华 人 民 共 和 国 通信 行 业 标 准 YD YD/T XXXX-XXXX 数据中心 液冷 服务器系 统能 源使用效 率技 术要求和 测试 方法 Technical requirements and test methods for power usage efficiency of liquid cooling server system of data center （报 批稿） 2020-xx-xx 发布 2020-xx-xx 实施 中 华 人 民 共 和 国 工 业 和 信 息 化 部 发布 2019-1087T-YD I 目 次 前言

2、. III 1. 范围 . 1 2. 规 范性 引用 文件 . 1 3. 术 语、 定义 和缩 略语 . 1 3.1 术 语和 定义 . 1 3.2 缩 略语 . 2 4. 电 磁兼 容性 测试 . 2 5. IT 系统 测试 . 2 5.1 基 础性 能测 试 . 2 5.2 稳 定性 测试 . 3 5.3 热 工性 能测 试 . 3 5.4 开 机停 机测 试 . 4 5.5 变 负载 性能 测试 . 4 5.6 变 水温 性能 测试 . 4 5.7 变 流量 性能 测试 . 4 5.8 冷 量分 配单 元(CDU) 性 能测试 . 4 6. 系 统功 能测 试 . 4 6.1 系 统压

3、力控 制测 试（ 浸没相 变） . 4 6.2 泄 露告 警测 试 . 4 6.3 泵 故障 告警 测试 . 4 6.4 一 次侧 冷却 水故 障测 试 . 4 6.5 二 次侧 冷却 液故 障测 试 . 5 6.6 冷 却液 蒸发 耗散 测试 （浸没 式液 冷） . 5 6.7 断 电自 启测 试， 双路 供电切 换测 试 . 5 6.8 群 控功 能测 试 . 5 6.9 通 讯功 能测 试 . 5 6.10 数据 展示 及统 计测 试 . 5 6.11 参数 设定 测试 . 5 7. 兼 容性 测试 . 5 7.1 IT 设 备兼 容性 测试( 浸没、 喷淋) . 5 7.2 供 电监

4、控兼 容性 测试( 浸没、 喷淋) . 5 7.3 交 换机 兼容 性测 试( 浸 没、喷 淋) . 5 7.4 IT 设 备信 号完 整性 测 试（浸 没及 喷淋 ） . 6 8. 维 护测 试 . 6 8.1 IT 设 备更 换测 试 . 6 8.2 IT 设 备在 线操 作测 试 . 6 8.3 结 构件 维护 测试 （浸 没） . 6 8.4 快 速接 头运 维插 拔测 试 . 6 8.5 CDU 接 口运 维插 拔测 试 . 6 2019-1087T-YD II 8.6 设 备冷 却液 补充 测试 . 6 8.7 系 统排 气测 试 . 6 9. 系 统能 效比 测试 . 6 9.1

5、 偏 计算 的服 务器 系统 测试方 法 . 6 9.2 偏 存储 的服 务器 系统 测试方 法 . 6 9.3 网 络能 效比 测试 方法 . 7 10. PUE 测试 . 7 2019-1087T-YD III 前 言 本文件 按照GB/T 1.1 2020 给出 的规 则起 草。 请注意 本文 件的 某些 内容 可能涉 及专 利。 本文 件的 发布机 构不 承担 识别 这些 专利的 责任 。 本文件 由中 国通 信标 准化 协会提 出并 归口 。 本文件 起草 单位 ：中 国信 息通信 研究 院、 北京 百度 网讯科 技有 限公 、阿 里巴 巴（中 国） 有限 公司 、 深圳市 腾讯 计

6、算 机系 统有 限公 、 北 京三 快云 计算 有 限公司 、 中国 移动 通信 集 团有限 公司 、 中国 电信 集 团 有限公 司、 联想 （ 北京） 信息技 术有 限公 司、 华为 技术有 限公 司、3M 中 国有限 公司 、 施 耐德 电气 信息 技 术 （中 国） 有 限公 司、 深 圳绿色 云图 科技 有限 公司 、 曙光 节能 技术 （ 北京 ） 股份有 限公 司、 浪潮 电子 信 息产业 股份 有限 公司 、 中 兴通讯 股份 有限 公司 、 国 际商业 机器(中国)投 资有 限公司 、 新华 三技 术有 限 公 司。 本文件 主要 起草 人 ： 郭亮 、 谢 丽娜 、 盛凯

7、、 吴宏 杰 、 钟 杨帆 、 任华 华 、 梁 旭 飞、 梅方 义 、 胡 湘涛 、 娄小军 、王 峰、 赵继 壮、 季伟光 、范 振国 、刘 奉君 、张剑 、王 中平 、李 洁、 吴永明 、程 思聪 、郭 振海 、 马弛州 、 田 婷、 孙晓 光、 张鹏、 崔新 涛、 蓝滨 、 林 密、 石 葆春 、 李 棒、 秦振 、 柴宏生 、 李 钟勇 、 孙 锐羽 、 田耕、 李江 屏、 吕海 超、 万晓 兰 。 2019-1087T-YD 1 数据中心 液冷服 务器系统 能源使 用效率技 术要求 和测试方 法 1. 范围 本文件 规定 了液 冷系 统的 能源效 率技 术要 求和 测试 方法 ，

8、包括 液 冷的 管路 接 口、IT子 系统 、 管控 子 系统、 安防 子系 统以 及运 维子系 统。 本文件 适用 于液 冷系 统的 设计、 施工 、部 署、 测试 等环节 的技 术指 导。 2. 规范性 引用 文件 下列文 件对 于本 文件 的应 用是必 不可 少的 。 凡 是注 日期的 引用 文件 ， 仅 所注 日期的 版本 适用 于本 文 件。凡 是不 注日 期的 引用 文件， 其最 新版 本（ 包括 所有的 修改 单） 适用 于本 文件。 GB/T 4343 家用 电器 、 电动工 具和 类似 器具 的电 磁兼容 性要 求 GB/T 17625 电磁 兼容 限值 谐波 电流 发射 限

9、值 YD/T 2442 互联 网数 据 中心资 源占 用、 能效 及排 放技术 要求 和评 测方 法 YD/T 2543 电信 互联 网 数据中 心（IDC ）的 能耗 测 评方法 3. 术语、 定义 和缩 略语 3.1 术语和 定义 下列术 语 和 定义 适用 于本 文件。 3.1.1 液冷 liquid cooling 采用 冷 却液 带走 发热 器件 热量的 数据 中心 冷却 技术 ， 适 用于 需提 高计 算能 力 、 能源效 率 、 部 署密 度 等应用 场景 。 注： 液冷分为接触式及非接触式液冷两种， 接触式液冷是指将冷却液与发热器件直接接触的一种液冷 形式， 包括浸 没式和喷

10、淋式液冷等具体方案。 非接触式液冷是指冷却液与发热器件不直接接触的一种液冷 形式 ， 包括冷板式等具体方 案。 3.1.2 冷板式 液冷 cold plate liquid cooling 冷板 （ 通常 为铜 铝等 导热 金属构 成的 封闭 腔体 ） 将 发热器 件的 热量 间接 传递 给封闭 在循 环管 路中 的 冷却液 ，通 过冷 却液 将热 量带走 的一 种液冷 形 式。 3.1.3 浸没式 液冷 immersion liquid cooling 以 冷却 液 作 为传 热介 质， 将发热 器件 完全 浸没 在 冷 却液 中 ， 发 热器 件与 冷却 液 直接 接触 并进 行热 交 换

11、的液 冷形 式 。 注: 按照热交换过程中冷却液 是否存在相态变化，可分为单相液冷和相变液冷两类 。 2019-1087T-YD 2 3.1.4 喷淋式 液冷 spray liquid cooling 面向芯 片级 器件 精准 喷淋 、 直接 接触 式 ， 通 过重 力或 系统压 力直 接 将 冷却 液 喷 洒至发 热IT 器件 或 与 之连接 的 导 热元 件 上 的液 冷形式 。 3.2 缩略语 下列缩 略语 语适 用于 本文 件。 AOC 有源光缆 Active Optical Cable CPU 中央处理 器 Central Processing Unit DAC 直连铜缆 Direc

12、t Attach Cable GPU 图形处理 器 Graphic Processing Unit IDC 互联网数 据中心 Internet Data Center IOPS 每秒读写 次数 Input/Output Operations Per Second PUE 电能利用 效率 Power Usage Effectiveness RFC 一系列以 编号排 定的文 件 Request For Comments UPS 不间断电 源 Uninterrupted Power Supply 4. 电磁兼 容性 测试 液冷数 据通 信设 备应 具有 抑制电 磁干 扰和 谐波 电流 的性能 ， 按

13、 照 GB/T 4343 进 行测试 ， 其 连续 干 扰 电压 、 连 续干扰 功率 、 断 续干扰 电压 等值 应不 超 过GB/T 4343 中规 定的 干扰 特 性允许 值 。 按 GB/T 17625 进行测 试， 应不 超过 该标 准中规 定 A 类设 备的 谐波 电流限 值 。 液冷数 据通 信设 备应具 有 抗电磁 干扰 的性 能，按照 GB/T 4343 进行 测试 ，应 不超过 该标 准中 规定 的类 器具 抗扰 度要 求。 5. IT 系 统测 试 5.1 基础性 能测 试 5.1.1 服务 器计 算性 能测 试 使用相 关仪 表或 软件 测试 服务器 系统 的CPU 性

14、 能， 待测试 结果 稳定 一段 时间 后，记 录测 试结 果。 5.1.2 服务 器存 储性 能测 试 使用相 关仪 表或 软件 测试 服务器 系统 的IOPS 性能 ， 待测试 结果 稳定 一段 时间 后，记 录测 试结 果。 5.1.3 服务 器网 络性 能测 试 使用相 关仪 表或 软件 测试 服务器 系统 的网 络性 能， 包 括但不 限于 满载 流量 测试 及 RFC 相关 测试 及 协 议测试 ，确 认无 掉包 及性 能降低 ，待 测试 结果 稳定 一段时 间后 记录 测试 结果 。 2019-1087T-YD 3 5.1.4 应用 性能 测试 被测 IT 设 备搭 建测 试环

15、境 ， 使 用仪 表或 软件 部署 相 关应用 ， 如虚 拟云 平台 等 ， 测试系 统的 吞吐 量、 时延等 系统 应用 性能 。 5.2 稳定性 测试 稳定性 测试 工况 情况 按照 表 1 所 示。 具体 要求 应为 ： a） 在单设 备性 能测 试完 成之 后， 按 照计算 、 存 储、 网 络最高 性能 的 70%-80% ， 在额定 工况 下对 被 测设备 进 行72 小时 稳定 性 测试； b） 在单设 备性 能测 试完 成之 后， 按 照计算 、 存 储、 网 络最高 性能 的 70%-80% ， 在高温 工况 下对 被 测设备 进 行72 小时 稳定 性 测试； c） 在单设

16、 备性 能测 试完 成之 后， 按 照计算 、 存 储、 网 络最高 性能 的 70%-80% ， 在低温 工况 下对 被 测设备 进 行72 小时 稳定 性 测试； d） 长 期 稳 定 性 测试 ： 长 期放置 ， 查 看 是 否有 宕 机 及重启 情 况 发 生 ；上 下 电 测试， 次 数 大 于 100 次。 表1 稳 定性 测试 工况 一次侧 进水 温度 机房环 境温 度 额定工 况 35 27 高温工 况 40 27 低温工 况 5 18 5.3 热工性 能测 试 5.3.1 额定性 能测 试 额定工 况下 ，测 试系 统总 制冷量 ，记 录 IT 芯 片温 度 、负载 、功 耗

17、、 水温 、水 流量、 水路 压降 、 泵 功耗等 参数 。 5.3.2 最大性 能测 试 最大制 冷工 况下 ， 测 试系 统总制 冷量 ， 记 录IT 芯片 温度、 负载、 功耗 、 水 温 、 水流 量、 水 路压 降、 泵功耗 等参 数。 5.3.3 极端性 能测 试（ 高水 温） 最大制 冷工 况下 ， 测 试系 统总制 冷量 ， 记 录IT 芯片 温度、 负载、 功耗 、 水 温 、 水流 量、 水 路压 降、 泵功耗 等参 数。 5.3.4 极端性 能测 试（ 低水 温） 最大制 冷工 况下 ， 测 试系 统总制 冷量 ， 记 录IT 芯片 温度、 负载、 功耗 、 水 温 、

18、水流 量、 水 路压 降、 泵功耗 等参 数。 具体要 求见 表2 2019-1087T-YD 4 表2 热工 性能 测试 参数 额定性 能 最大性 能 极端性 能 （高 水温） 极端性 能 （ 低水 温） 一次侧 进水 温度 35 35 40 5 负载 100% 100% 80% 100% 判定 制冷量 满足 要求 制冷量 满足 要求 降容不 大 于20% 无凝露 5.4 开机停 机测 试 模拟开 停机 测试 的情 况应 记录内 容如 下： a） 模拟开 机情 况， 记 录 IT 芯 片温度 、负 载、 功耗 、水 温、水 流量 、水 路压 降、 泵功耗 等参 数 ， 并记 录IT 在启 动

19、及 运行 是 否温度 超限 ，系 统是 否泄 露 ； b） 模拟停 机情 况， 记 录 IT 芯 片温度 、负 载、 功耗 、水 温、水 流量 、 水 路压 降 、 泵功耗 等参 数 ， 并记 录IT 在停 机过 程中 是 否温度 超限 ，系 统是 否泄 露。 5.5 变负载 性能 测试 模拟 IT 负 载变 化， 开机-IDLE-20%-50%-80%-100%- 停 机，记 录 IT 芯 片温 度、 负 载、功 耗、 水温 、 水流量 、水 路压 降、 泵功 耗等参 数， 并记 录 IT 是 否 温度超 限， 系统 是否 泄露 。 5.6 变水温 性能 测试 模拟一 次侧 冷却 水进 水温

20、 度变化 ，min-10-15-20-25-30-35-40 ，记 录 IT 芯 片 温度、 负载 、功 耗、 水温、 水流 量、 水路 压降 、泵功 耗等 参数 ，并 考 察IT 是 否温 度超 限。 5.7 变流量 性能 测试 模拟一 次侧 冷却 水水 流量 变化，min-30%-50%-80%-100% ， 记录 IT 芯片 温度 、 负载、 功耗 、水 温、 水流量 、水 路压 降、 泵功 耗等参 数， 并记 录 IT 是 否 温度超 限。 5.8 冷量分 配单 元(CDU) 性能 测 试 模拟额 定工 况、 最大 工况 、极端 工况 下 的CDU 换热 性能。 6. 系统功 能测 试

21、 6.1 系统压 力控 制测 试（ 浸没 相变） 模拟 变IT 负载 、开 停机 及 变水温 工况 下的 气相 压力 控制稳 定性 。 6.2 泄露告 警测 试 冷却液 泄露 告警 测试 ：一 次侧漏 水告 警、CDU 漏水 告警、 服务 器内 漏液 告警 。 6.3 泵故障 告警 测试 水泵及 冷却 液泵 故障 告警 及联动 测试 （联 动包 括切 换另一 台冗 余泵 及联 动 IT 关机或 降容 ） 。 6.4 一次 侧 冷却 水 故 障测 试 2019-1087T-YD 5 供水温 度超 限、 水流 量过 少、水 压过 低， ，告 警是 否 能正常 发出 ，阈 值超 限、 补液提 示等

22、。 6.5 二次侧 冷却 液故 障测 试 二次侧 冷却 液温 度超 限、 流量过 少、 压力 过低 ，告 警是否 能正 常发 出， 阈值 超限、 补液 提示 等。 6.6 冷却液 蒸发 耗散 测试 （浸 没式液 冷） 使用氟 探测 设备 进行 密封 性检测 ， 采用 氟化 物探 头 或称重 法检 测是 否泄 漏 。 系统另 配备 液位 计 ， 通 过液位 传感 器检 测 冷 却液 温度恒 定下 泄露 量是 多少 ： a） 停机自 然放 置状 态泄 露， 累计 168 小 时测 试一 组 ； b） 稳定运 行泄 露， 累 计 168 小时测 试一 组 。 6.7 断电自 启测 试， 双路 供电

23、切换测 试 液冷设 备双 路市 电或市电 U 电相 互切 换 ， 观 察机 组是 否运行 正常 、 前后 状态 参 数是否 一致 、 故障 切 换时间 间隔 是否 满足 要求 。 6.8 群控功 能测 试 液冷设 备间 是否 具备 轮巡 切换功 能、 轮巡 启动 时间 间隔是 否满 足要 求、 是否 具备故 障切 换功 能。 6.9 通讯功 能测 试 液冷设 备间 是否 可正 常通 讯， 与监 控系 统是 否正 常 通讯 、 通 讯中 断是 否给 出 报警 、 本 地监 测数 据与 上层监 控平 台采 集数 据是 否一致 。 6.10 数据 展示 及统 计测 试 是否具 有环境 状态 （空气

24、温度、 相对湿 度） 、 一次 侧 及二次 侧流量 及压 力、水 泵及冷 却液泵 的转 速 及功耗 展示 ，是 否具 备冷 量统计 、耗 电量 统计 功能 。 6.11 参数 设定 测试 是否具 有水 泵 转 速、 二 次 侧出水 温度 、 露 点温 度告 警阈值 、 二 次侧 最小 流量 阈值、 二次 侧最 大循 环 压力阈 值、 冷却 液液 位告 警阈值 设定 、轮 巡时 间设 定。 7. 兼容性 测试 7.1 IT 设 备兼 容性 测试( 浸没 、喷淋) 主要 IT 器 件（CPU 、GPU 、 内存、 硬盘 、网 卡等 ）可 正常运 行， 冷却 液供 应商 和部件 厂商 达成 器 件

25、可在冷 却液 中工 作的 维保 协议， 并提 供相 关兼 容性 报告。 7.2 供电监 控兼 容性 测试( 浸 没 、喷淋) 供电及 信号 线材 料兼 容性 测试， 冷却 液供 应商 提供 相关兼 容性 报告 。 7.3 交换机 兼容 性测 试( 浸没 、 喷淋) DAC/AOC/ 光 模块 兼容 性测 试，是 否可 以 link ，有 无 掉包。 冷却 液供 应商 提供 相关兼 容性 报告 。 2019-1087T-YD 6 7.4 IT 设 备信 号完 整性 测试 （ 浸没及 喷淋 ） 不同频 率信 号传 输性 能测 试。 8. 维护测 试 8.1 IT 设 备更 换测 试 上架、 下架

26、时间 及维 护干 涉情况 ，冷 媒泄 漏情 况测 试，无 明显 泄露 或损 失。 8.2 IT 设 备在 线操 作测 试 IT 设 备在 线维 护时 ，温 度 变化。 8.3 结构件 维护 测试 （浸 没） 箱体内 结构 件的 维护 和更 换干涉 情况 测试 ，及 维护 时间及 冗余 情况 。 8.4 快速接 头运 维插 拔测 试 单人插 拔快 速接 头的 维护 和更换 干涉 情况 测试 ，考 察维护 时间 。 8.5 CDU 接 口运 维插 拔测 试 单人插 拔CDU 接 口的 维护 和更换 干涉 情况 测试 ，考 察维护 时间 。 8.6 设备 冷 却液 补充 测试 自动充 液过 程操 作

27、能 否正 常进行 、手 动充 液过 程操 作能否 正常 进行 ，充 注时 间是否 满足 要求 。 8.7 系统排 气测 试 系统一 次及 二次 侧能 否正 常排气 ，排 气过 程是 否有 冷却液 喷出 。 9. 系统能 效比 测试 9.1 偏计算 的服 务器 系统 测试 方法 对于偏 计算 的服 务器 系统 ，采 用 CPU 性能/kw 来衡 量系统 能效 比 ： a） 搭建测 试环 境， 将功 耗仪 表部署 在液 冷系 统的 头端 ； b） 使用相 关仪 表或 软件 对被 测系统 进 行 CPU 性能 测试 ，记录 结果 曲线 ； c） 记录功 耗仪 表的 结果 曲线 ； d） 选取CPU

28、性 能结 果较 为稳 定的一 段时 间， 计算 测试 结果。 9.2 偏存储 的服 务器 系统 测试 方法 对于偏 存储 的服 务器 系统 ，采 用 IOPS/kw 来 衡量 系 统能效 比 ： a） 搭建测 试环 境， 将功 耗仪 表部署 在液 冷系 统的 头端 ； b） 使用相 关仪 表或 软件 对被 测系统 进 行 IOPS 性 能测 试 ，记录 结果 曲线 ； c） 记录功 耗仪 表的 结果 曲线 ； 2019-1087T-YD 7 d） 选取IOPS 性能 结果 较为 稳 定的一 段时 间， 计算 测试 结果。 9.3 网络能 效比 测试 方法 网络能 效 比 BPS/kw 作 为 重要参 考数 据 ， 测试 方法 如下 ： a） 搭建测 试环 境， 将功 耗仪 表部署 在液 冷系 统的 头端 ； b） 使用相 关仪 表或 软件 对被 测系统 进行 网络 性能 测试 ，记录 结果 曲线 ； c） 记录功 耗仪 表的 结果 曲线 ； d） 选取网 络性 能结 果较 为稳 定的一 段时 间， 计算 测试 结果。 10. PUE 测试 在部 署 液冷 系 统 的数 据中 心或部 分， 对其 进行PUE 测 试。 具体测 试方 法按照YD/T 2442 、YD/T 2543 执行 。 _