1、 ICS 33.040.40 M32 中 华 人 民 共 和 国 通信 行 业 标 准 YD YD/T XXXXX-XXXX 数据中心 浸没 式液冷服 务器 系统技术 要求 和测试方 法 Technical requirements and test methods for immersion liquid cooling server system of data center （报 批稿） 2020-xx-xx 发布 2020-xx-xx 实施 中 华 人 民 共 和 国 工 业 和 信 息 化 部 发布 2019-1084T-YD I 目 次 前言 . II 1 范围 . 1 2 规范
2、性引 用文 件 . 1 3 术语 、定 义和 缩略 语 . 1 3.1 术 语和 定义 . 1 3.2 缩 略语 . 3 4 系 统 基本 技术 要求 . 3 5 服务 器基 本技 术要 求 . 4 6 浸没 腔体 技术 要求 . 4 6.1 一 般要 求 . 4 6.2 详 细要 求 . 4 7 冷却 技术 要求 . 5 7.1 概述 . 5 7.2 散 热能 力要 求 . 5 7.3 密 封要 求 . 5 7.4 节 能要 求 . 5 8 综合 布线 子系 统技 术要 求 . 6 9 监控 子系 统技 术要 求 . 6 9.1 浸 没腔 体子 系统 监控 . 6 9.2 冷 却子 系统 监
3、控 . 6 9.3 机 房环 境监 控 . 6 10 安 防系 统技 术要 求 . 7 11 运 维技 术要 求 . 7 12 其 它技 术要 求 . 8 参考文 献 . 9 2019-1084T-YD II 前 言 本 标准 按照GB/T 1.1 2020 给出 的规 则起 草。 请注意 本文 件的 某些 内容 可能涉 及专 利。 本 文件 的 发布机 构不 承担 识别 这些 专利的 责任 。 本 标准 由中 国通 信标 准化 协会提 出并 归口 。 本 标准 起草单 位： 中国 信 息通信 研究院 、阿 里巴巴 （中国 ）有限 公司 、北京 百度网 讯科技 有限 公 司、 深 圳市 腾讯
4、计算 机系 统有限 公司 、 北 京三 快云 计算有 限公 司、 联想 （ 北 京） 信 息技 术有 限公 司、 深 圳绿色 云图 科技 有限 公司 、 曙光 节能 技术 （北 京） 股份有 限公 司、 中国 移动 通信集 团有 限公 司、 中 国 电 信集团 有限 公司 、3M 中国 有限公 司、 施耐 德电 气信 息技术 （中 国） 有限 公司 、中兴 通讯 股份 有限 公司 、 国际商 业机 器( 中国) 投资 有限公 司、 新华 三技 术有 限公司 。 本 标准 主要 起草 人 ： 郭 亮 、 谢 丽娜 、 钟杨 帆、 吴宏 杰 、 梁 旭飞 、 胡湘 涛、 任华 华 、 梅 方义 、
5、 崔新 涛、 李棒 、 王 峰 、 赵 继壮 、 李 洁、 季伟 光 、 范 振国 、 刘 奉君 、 张 剑 、 王 中平 、 吴 永明 、 程 思聪 、 郭振 海 、 娄 小军、 马弛 州、 田婷 、 张 鹏、 吴 宏杰 、 蓝 滨、 林 密 、 石葆春 、 李 钟勇 、 孙 锐羽 、 田耕 、 李 江屏 、 吕 海超 、 万晓兰 、秦 振、 柴宏 生。 2019-1084T-YD 1 数据中心 浸没 式 液冷服务 器系统 技术要求 和测试 方法 1 范围 本 文件规定 了 数据 中 心 浸没 式液冷 服 务 器系 统 的 服务 器 及 其相 关 配套 运 行条件 等 方 面的 技术 要求
6、与测试 方法 。 本 文件 适用 于浸没 式 液冷 服务器 系统 的 设 计、 施工 、部署 、运 维等 环节 的技 术指导 。 2 规范性 引用 文件 下列文 件对 于本 文件 的应 用是必 不可 少的 。 凡 是注 日期的 引用 文件 ， 仅 所注 日期的 版本 适用 于本 文 件。凡 是不 注日 期的 引用 文件， 其最 新版 本（ 包括 所有的 修改 单） 适用 于本 文件。 GB150 压 力容 器 GB/T 18883 室 内空 气质量 标准 GB/T 29044 采 暖空 调系统 水质 GB50016 建 筑设 计防火 规范 GB50311 综 合布 线系统 工程 设计 规范 3
7、 术语、 定义 和缩 略语 3.1 术语和 定义 下列术 语、 定义 适用 于本 文件。 3.1.1 液冷 liquid cooling 采用冷 却液 带走 发热 器件 热量的 数据 中心 冷却 技术 ， 适 用于 需提 高计 算能 力 、 能源效 率 、 部 署密 度 等应用 场景 。 注： 液冷分为接触式及非接触式液冷两种， 接触式液冷是指将冷却液与发热器件直接接触的一种 液冷形式， 包括浸 没式和喷淋式液冷等具体方案。 非接触式液冷是指冷却液与发热器件不直接接触的一种液冷 形式 ， 包括冷板式等具体方 案。 3.1.2 浸没式 液冷 Immersion liquid cooling 以冷
8、却 液作 为传 热介 质， 将发热 器件 完全 浸没 在冷 却液中 ， 发 热器 件与 冷却 液直接 接触 并进 行热 交 换的液 冷形 式。 注: 按照热交换过程中冷却液是否存在相态变化，可分为单相液冷和相 变液冷两类。 3.1.3 2019-1084T-YD 2 单相液冷 single-phase liquid cooling 作为传 热介 质的 液体 在热 量传递 过程 中仅 发生 温度 变化， 而不 存 在 相态 转变 ， 过程中 完全 依靠 物 质 的显热 变化 传递 热量 。 3.1.4 相变液冷 phase-change liquid cooling 作为传 热介 质的 液体 在
9、热 量传递 过程 中发 生相 态转 变，依 靠物 质的 潜热 变化 传递热 量。 3.1.5 液冷机 柜 liquid cooling cabinet 承载数 据中 心电 子信 息设 备和冷 却液 ，实 现电 子信 息设备 冷却 的容 器。 3.1.6 浸没冷 却单 元 liquid cooling unit 承载 IT 设 备包 含服 务器 ， 交换机 等和 冷却 液， 为 it 设备提 供安 全冷 却环 境。 注： 对于相变液冷系统， 主要 包含密闭箱体，液体过滤系统 ，温度、液位、压力监控传感 器 ，以及排气阀门；对于 单相液冷系统， 主要包含密闭箱体，液体 分配单元，温度、液位 监控传
10、感器。 3.1.7 二次侧 冷却 系统 secondary side cooling system 为 浸没 腔体 子系 统散 热 的 装置。 注： 对于相变液冷系统， 主要 包含 管道，液气换热器需要 安装在液体上方蒸汽区域，温度、 流量监控等传感器，液 体质量检测 传感器，水泄露检测 传感器和阀门等；对于单相液冷系统，主要包含 管道，冷 却液循环泵， 液液换热器，冷 却液过滤系统 ，阀门，液体质量 检测传感器，水泄露检测传感 器。 3.1.8 一次侧 冷源 系统 primary side cooling subsystem 为冷却 子系 统散 热， 其形 式可以 是冷 却塔 、干 冷器 、
11、 余热 回收 机组 等， 包含 冷 却水 循环 泵 、 管道 、 冷却水 过滤 系统 等。 3.1.9 监控系统 monitor system 针对液冷 所 有的 设备 及环 境进行 集中 监控 和管 理的 ， 其监 控对 象构 成整 个系统 的各 个子 系统 ， 包 括 浸没腔 体子 系统 、冷却 子系 统、 室外 冷源 系统 ，它 确保系 统安 全可 靠运 行 。 2019-1084T-YD 3 3.2 缩略语 下列缩 略语 适用 于本 文件 。 IDC 互联 网数 据中 心 Internet Data Center PUE 电能 利用 效率 Power Usage Effectivene
12、ss UPS 不间 断电 源 Uninterrupted Power Supply 4 系统基 本技 术要 求 图1 单相 液冷 系统 如图1 所示 ， 系 统首 先通 过浸没 腔体 子系 统中 冷却 液对服 务器 热负 载直 接接 触式吸 热， 升温 后的 冷 却液在 冷却 子系 统的 循环 泵及换 热器 作用 下将 热量 传递给 外侧 冷却 介质 ， 最 终 冷却介 质经 室外 冷源 设 备 将热量 释放 到室 外环 境中 ，完 成 IT 设备 散热 。 图2 相 变液 冷系 统 （ 气体 室外换 热） 如图2 所 示， 系统 首先 通 过浸没 腔体 子系 统中 冷 却 液对 IT 设 备
13、热 负载 直接 接 触式相 变吸 热， 相变2019-1084T-YD 4 后的气 态冷 却液 与浸没 腔 体子系 统内 的冷 凝器 进行 热交换 ， 将 热量 传递 给冷 却介质 后 变 成液 体 ， 液 体 受 重力作 用流回 腔体 。 吸收 热量的 冷却 介质 经室 外冷 源设备 将热 量释 放到 室外 环境中 ， 完 成 IT 设备 散 热 。 5 服务器 基本 技术 要求 浸没式 液冷 系统 中使 用的 服务器 设备 宜采 用定 制化 设计： a) 为充分 发挥 液冷 技术 的优 势 ，应 采用 高功 率密 度的 设计 ； b) 应采用 结构 定制 化设 计以 强化液 体与 发热 器
14、件 的热 交换 ； c) 应采用 结构 定制 化设 计以 提高浸 没式 液冷 环境 下 电 子信息 设备 的运 维效 率。 6 浸没腔 体 技 术要 求 6.1 一般要求 在 浸 没 腔体 子 系统 里 ，浸没 腔 体 宜设 计 成一 种 容器， 其 特 征为 一 个上 部 开盖、 由 四 个壁 面 和一 个 底面围 成的 具有 一定 内部 容积的 结构 ，要 求 IT 设 备 所有的 发热 组件 都必 须浸 没在腔 体内 的液 体中 ， 且 保证所 有的 发热 器件 在运 行时的 温度 不超 过其 最高 允许工 作温 度。 6.2 详细要求 6.2.1 概述 在浸没 腔体 内可 分为 气相
15、区和液 相区 两部 分， 服务 器主板 浸没 在液 相区 内。 6.2.2 腔体要 求 本节要 求包 括 a) 强度要 求 浸 没腔 体的 强度 应大 于满 配情况 下的 强度 要求 。 注： 液冷机柜的满配重量= 机柜净重+ 冷却液充注量+IT 设备 重 量。 b) 密封性 要求 1) 浸 没 腔 体 应密 封 性 良好 ，尤 其 是 相 变液 冷 系 统， 由于 有 气 体 的生 成 ， 应气 密性 良 好 ， 确保 冷 却液蒸 汽无 泄漏 ； 2) 浸没腔 体的 设计 、测 试和 验收 见 NB/T 47003.1 的要求 ； 3) 相 变 液 冷 系 统 使 用 的 液 冷 机 柜 要
16、 求 采 用 闭 式 设 计 ， 浸 没 腔 体 的 设 计 、 测 试 和 验 收 应 符 合 GB150 的要 求。 c) 泄压装 置 2019-1084T-YD 5 相变液 冷系 统运 行过 程中 ，冷却 系统 故障 ，密 封腔 体可支 持机 械泄 压装 置， 以保证 系统 安全 性。 d) 腔体材 质： 兼容性 良好 塑料 材质 、304 不锈 钢、316 不 锈钢、 高 强度铝 合金 材质 ， 需 依据 实际使 用的 冷却 液选 择兼容 性良 好的 腔体 材料 。 6.2.3 液相区 要求 对于单相 系统 ， 应采 用有 效措施 确保 液相 区的 液体 温度场 均匀 ， 无 局部 热
17、点 ， 同一水 平截 面建议温 差不大 于 5 。 6.2.4 气相区 要求 对于 两相 系统 ，应 采取 有效 措 施确 保气 相区 的压 力在 预 设范 围波 动， 压力 一般 应 在常 压范 围，建 议范围 ：25kpa。（ 参 见 NB/T47003.1 。） 6.2.5 界面材 料要 求 应采用 与冷 却液 兼容 性良 好的 热 界面 材料 ，降 低主 要热源CPU 与冷 却液 换热 热阻， 建议 选择 软金 属材料 、固 液相 变金 属材 料等。 7 冷却 技 术要 求 7.1 概述 冷却子 系 统 为浸 没腔 体子 系统提 供制 冷， 设计 时应 考虑散 热能 力以 及密 封要
18、求， 同 时应 采用 节能 措 施。 冷却 子系 统需 具备1+1 冗余 设计 ， 设备 部署N+1N+N 确保 故障 维修 时子 系 统能继 续正 常工 作 ， 避 免 IT 系 统过 热宕 机。 7.2 散热能 力要 求 冷却系 统是 为浸 没腔 体系 统提供 冷却 ， 其 提供 冷量 的能力 应超 过浸 没腔 体子 系统的 最高 发热 量， 且 应留 有20% 的冷 却余 量。 7.3 密封要 求 管路连 接的 密封 设计 应符 合对应 的规 范要 求 ， 在选 择密封 材料 时应 考虑 材料 与冷却 液的 兼容 性 ， 建 议使用 寿命 ：8 年10 年。 7.4 节能要 求 应 采
19、取 有效 措 施节 能 ，如提 高 供 液温 度 、制 冷 量与发 热 量 的动 态 匹配 、 充分利 用 自 然冷 源 等实 现2019-1084T-YD 6 节能。 室外冷 源 是 否可 用 决 于当 地气候 条件 （包 括干 球温 度和湿 球温 度） 和冷 却液 的供液 温度 ，并 兼顾 节 能效益。一次冷却设备可选用直接使用空气冷却的干式冷却器、利用蒸发冷却的开式/ 闭式冷却塔、 采 用 蒸 汽 压 缩 制 冷 技 术 的 冷 水 机 组 或 热 泵 机 组 等 。 冷 却 液 供 液 温 度 12 32 ， 推 荐 采 用 机 械 制 冷 形 式，冷 却液 供液 温 度 25 50
20、， 宜采 用自 然冷 却形 式。 采用水 作为 冷却 介质 时， 系统水 质应 符 合 GB/T 29044 的 要求 。 8 综合布 线子 系统 技术 要求 浸没液 冷系 统应 根据 实际 情况因 地制 宜进 行 布 线设 计， 但 应确 保线 缆穿 壁密 封良好 （不 同介 质的 损 失量有 区别， 建议 依据实 际液冷 应用需 求而 定） ， 冷 却液 及 蒸汽不 泄露 ，且充 分考 虑 设备运 维和 布线 操 作的便 利性 ，其 它应 按 照GB50311 的 有关 规定 。 9 监控子 系统 技术 要求 监控系 统可 同时 监控 浸没 腔体子 系统 、 冷 却子 系统 、室外 冷源
21、系统 及机 房 环 境。 9.1 浸没腔 体子 系统 监控 浸没腔 体子 系统 的监 控对 象为气 相区 的压 力、 温度 ， 以及 液相 区的 温度 、 液 位， 确 保各 参数 在预 设 范围内 。一 旦参 数偏 离设 定值时 ，应 有报 警、 记录 以及应 急处 理措 施。 9.2 冷却子 系统 监控 冷却子 系统 的监 控对 象包 括：冷 却子 系 统 的压 力、 温 度及 流量 ，包 括室 外侧 、室内 侧及 系统 管路 ； 浸没腔 体子 系统 的功 耗； 以及冷 却子 系统 的漏 液状 态。 冷却子 系统 的供 冷量 应可 调节， 并与 浸没 腔体 子系 统的发 热量 动态 匹配
22、，及 时响应 ，以 节省 能耗 。 一旦各 监控 参数 偏离 设定 值时， 应有 报警 、记 录以 及应急 处理 措施 。 9.3 机房环 境监 控 液冷数 据中 心 环 境温 度和 相对湿 度 应 符合 表1 的要求 。 表 1 环境 温度 和相 对湿 度 要求 开 停机类别 主 机房环境 温度和 相对湿 度 结 露要求 停机时 5 45 ，8%80% 不得结露 开机时 1830 （推荐值） ，35%75% 不得结露 2019-1084T-YD 7 机房必须 在 有足 够通 风 的 条件下 使用 和储 存冷 却液 ， 液冷机 房区 域内 必须 监测 空气中 对应 的物 质 浓 度 ，其浓度不
23、应超过该类物质的职业接触限值，且空气中总挥发性有机物（TVOCs ）浓度应 低 于 GB/T18883-2002 中 规定 的 限值； 当 挥 发性 有机 物 浓 度超过 限值 时应 加大 新风 量将浓 度维 持在 限值 以 下 并报警 ；新 风量 应取 下列 三项中 的最 大值 ： a) 按工作 人员 计算 ，每 人 40m3/h ； b) 维持室 内正 压所 需风 量； c) 主机房 区域 还应 满足 按换 气次数 计算 ，新 风量 不小 于每小 时 6 次。 液冷数 据中 心排 风中 的污 染物浓 度应 符合 当地 法规 ，必要 时应 进行 废气 处理 。 用 于 浸 没式 冷 却的 冷
24、 却液成 分 一 般为 有 机物 化 合物， 在 使 用过 程 中会 挥 发出蒸 气 或 分解 出 有害 气 体，出 于职 业健 康和 环保 考虑， 液冷 数据 中心 必须 对空气 中的 挥发 性有 机物 进行监 测 。 10 安防系 统 技 术要 求 液冷数 据中 心防 火和 灭火 系统设 计除 了 应GB50016 外， 在 消防 方式 的选 择上 还 应符合 冷却 液的 化 学 品安全 说明 书的 要求 ，在 消防灭 火系 统的 设计 上应 符合相 应的 灭火 系统 设计 规范。 冷却液 泄露 防护 ： a) 液 冷 数 据 中心 内 存 放或 使用 冷 却 液 及冷 却 液 管道 经过
25、 的 区 域 宜设 置 独 立的 冷却 液 排 液 系统 ， 对泄漏 的冷 却液 进行 收集 ，冷却 液禁 止直 接排 放 ； b) 对 于 冷 却 液大 量 溢 漏情 况， 应 进 行 围挡 或 采 用其 他恰 当 的 防 漏措 施 以 免液 体扩 散 。 可 以用 泵 抽排被 围挡 的液 体， 并将 回收的 液体 存放 在合 适的 容器中 ； c) 当 机 房 存 在排 水 、 排冷 却液 共 用 排 放系 统 时 ，排 放系 统 中 应 设有 防 止 受污 染的 废 水 直 接外 排 的措施 ； d) 冷 却 液 严 禁直 接 排 放， 当机 房 存 在 排水 、 排 冷却 液共 用 排
26、 放 系统 时 （ 如： 液冷 机 房 使 用水 消 防、给 排水 管道 穿过 存放 或使用 冷却 液及 冷却 液管 道经过 的区 域） ，排 放系 统 应设有 防止 受 污 染的废 水直 接外 排的 措施 ； e) 冷却液 轻度 溢漏 宜用 惰性 材料吸 收， 并用 适当 的清 洁剂或 吸收 剂清 理残 留的 溢漏液 体。 11 运维 技 术要 求 运维技 术包 括如 下要 求： 2019-1084T-YD 8 a) 对液冷 机房 及辅 助设 备进 行运维 的 相 关人 员， 必须 持有相 关操 作作 业证 件 ； b) 在 进 行 液 冷机 房 运 维的 过程 中 应 采 取必 要 的 职
27、业 健康 防 护 措 施， 操 作 人员 应佩 戴 必 要 的个 人 防 护 装 备 如手 套 等 。此 方面 应 遵 循 冷却 液 化 学品 安全 技 术 说 明书 中 关 于安 全处 置 和 个 人防 护 装备的 建议 ； c) 在对液 冷机 房运 维前 ，对 运维人 员进 行液 冷机 房运 维相关 知识 的培 训， 包括 但不限 于： 液冷 机房运 行原 理、 组成 部分 、运维 工装 使用 、冷 却液 补充、 冷却 液泄 漏回 收及 处理等 ； d) 在液冷 机房 建设 完成 交付 后，投 入使 用前 ，制 定相 应的冷 却液 泄漏 应急 处置 程序， 并在 程序 中规定 冷却 液的
28、收集 、回 收、废 弃处 理方 式， 严禁 直接排 放 至 下水 道或 环境中 ； e) 液冷机 房运 维宜 遵循 “工 具专用 ” 原则 ， 液冷 机房 的专用 工具 不宜 与其 它工 具混用 ，液 冷机 房 运维完 成后 工具 应及 时清 理。 液 体 补 充根 据 运维 手 册，对 液 冷 机 柜 的 液面 情 况进行 观 察 。当 液 面低 于 指定刻 度 ， 或液 位 传感 器 已触发 低液 位告 警时 ，根 据实际 情况 进行 液体 补充 作业。 12 其它 技 术要 求 数据中 心浸 没式 液冷 服务 器系统 其他 技术 要求 参 见 T/CCSA 269-2019 。 2019-1084T-YD 9 参考文 献 1 NB/T47003.1 钢制 焊接 常 压容器 2 T/CCSA269-2019 数 据中 心液冷 服务 器系 统总 体技 术要求 和测 试方 法 _
