土木在线论坛 \ 电气工程 \ 电气资料库 \ 超级计算数据中心供配电系统设计探讨

超级计算数据中心供配电系统设计探讨

发布于：2023-08-09 11:54:09 来自：电气工程/电气资料库 [复制转发]

【导读】本文以团体标准《超级计算数据中心设计要求》T/CCUA 016—2021电气系统内容为依据，对超算中心供配电系统进行分类归纳。在此基础上，对电力资源复用、绿电储能技术等供配电系统节能方式在超算中心领域的应用做初步探讨，为超算中心供配电系统的设计提供思路和借鉴。

文/江峰

（中国建筑设计研究院有限公司，北京 100044）

引言

2022年2月，国家启动建设国家算力枢纽节点，并规划了8个枢纽10个国家数据中心集群，标志着“东数西算”工程正式全面启动。“东数西算”工程叠加“双碳”工作的目标，对新基建特别是数据中心的建设发展提出了全新的要求。超级计算数据中心（以下简称“超算中心”）以其独有的算力优势及高效能源利用的特点，必将迎来爆发式的增长。超算中心供配电系统与超算工艺设备的运行要求关联紧密，其系统架构与传统的数据中心存在较大的差别，本文重点探讨不同等级的超算中心供配电系统架构及其节能策略。

超算中心的分类

超算中心是为集中放置的超级计算机设备提供运行环境的建筑场所，通常由核心机房区（计算节点)、通用机房区（高速网络、存储、管理节点）、辅助区、支持区和运维管理区等功能区域组成，可以是一栋或多栋建筑物，也可以是一栋建筑物的一部分。

《超级计算数据中心设计要求》T/CCUA 016—2021根据超算的运算速度、节点冷却方式和安装地点对超算中心进行了分类（详见表1），以运算速度为依据确定了超算中心的配置要求：S1级和S2级（详见表2）。

超算中心供配电系统架构

超算中心的主要设备通常由计算节点设备、高速网络、存储及对应的空调设备组成。超算中心的供配电系统与传统的数据中心供配电系统存在比较大的差异，需要根据超算中心系统运行特点确定各类设备负荷等级。如S1级超算中心，按常理应该在电力保障上为其提供非常可靠的系统架构，但实际情况是因为计算单元设备安装功率特别大（通常是几十兆瓦），且计算数据可实现实时上传，往往采用单路电源为其供电即可满足使用要求。几乎没有任何一座大型超算中心可以满足GB 50174的A级要求，甚至B级要求都无法满足。总体来说，除S1级计算节点及对应的空调设备可由单路电源供电外，超算中心的其他设备均由双重电源供电。以下内容为笔者根据《超级计算数据中心设计要求》相关内容，并结合设备运行特点及已有设计经验，总结出各级超算中心的常用供配电系统架构。

2.1 S1级超算中心供配电系统架构

S1级超算中心通常为国家级超算中心或国家级实验室，运算速度达到100Pflop/s以上，甚至是达到E级（算力）以上。以运算速度为300Pflop/s 的超算中心为例，计算节点的用电需求为25～28MW，高速网络、存储等节点的用电需求为2MW左右。根据整体的用电需求及负荷等级要求，如采用液冷冷却方式，高压侧共需引入三路10kV市电电源；如采用风冷冷却方式，甚至需要引入四路10kV市电电源。

10kV配电系统采用单母线分段形式 ，如两段母线均仅承担计算节点专用变压器，中间可不设置联络; 如两段母线除承担计算节点专用变压器外，还设置其他负荷用变压器，当其中一段母线失电后，母联动作前可切除计算节点专用变压器。当两路市电断电后，计算节点设备可以停止运行， 柴油发电机组 仅保证高速网络、存储等节点及相对应的空调设备正常运行即可。S1级超算中心三路和四路10kV市电供配电系统架构图详见图1～2。

图1 S1级超算中心三路10kV市电供配电系统架构

图2 S1级超算中心四路10kV市电供配电系统架构

0.4kV侧配电则需要具体到设备功能需求上 ，计算节点通常为直流输入设备，采用单路低压电源+交直流转换设备（通常为HVDC）为其供电，不需要配置不间断电源和柴油发电机作为后备电源，相对应的空调系统采用单路电源供电即可。高速网络、存储等节点应由双重电源供电，且应配置不间断电源和柴油发电机作为后备电源。相对应的空调系统也应采用双重电源供电，且单机柜8kW以上的机房宜配置1路不间断电源为空调核心设备供电。S1级超算中心常见的0.4kV市电供配电系统架构图详见图3。

图3 S1级超算中心0.4kV市电供配电系统架构

2.2 S2级超算中心供配电系统架构

S2级超算中心通常为区域、行业等超算中心，运算速度在100Pflop/s以下，甚至在1Pflop/s以下。计算节点、高速网络、存储等节点的用电需求通常在5MW以下，此情况下超算中心通常与其他建筑功能合用。工程如为高压进线，通常仅需要引入两路10kV市电电源。10kV配电系统采用单母线分段形式，中间设置联络，超算中心与其他功能区域分别设置变压器。当两路市电断电后，因计算节点设备容量较小，条件允许的情况下，可配置柴油发电机组，在保证高速网络、存储等节点设备的正常运行的同时，为计算节点提供备用电源。S2级超算中心10kV市电供配电系统架构详见图4。

图4 S2级超算中心10kV市电供配电系统架构

同理， S2级超算中心0.4kV侧计算节点设备也采用单路低压电源+交直流转换设备（通常为HVDC）为其供电，条件允许的情况下，可配置不间断电源和柴油发电机作为后备电源，相对应的空调系统采用双路电源供电，且可配置1路不间断电源。高速网络、存储等节点应由双重电源供电，且可配置不间断电源和柴油发电机作为后备电源，相对应的空调系统应采用双重电源供电，且应配置1路不间断电源为空调核心设备供电。S2级超算中心0.4kV供配电系统架构图详见图5。

图5 S2级超算中心0.4kV供配电系统架构

如果超算中心的设备总容量仅几百千瓦，计算节点、高速网络、存储等节点设备可以共用变压器或低压进线时，因其用电容量很小，从配电系统统一性和可实施性角度考虑，可考虑均由双重电源供电，且配置不间断电源和柴油发电机作为后备电源，相对应的空调系统也采用双重电源供电。此情况下的超算中心配电系统更接近于GB 50174中的A级标准。

超算中心供配电系统节能策略分析

随着我国“双碳”政策的发布与实施，如何降低数据中心能耗指标成为业内讨论的热点问题。供配电系统作为超算中心的核心系统，各种节能策略可以运用到其大部分环节当中。因所涉及的内容过于广泛，笔者结合以往的超算中心设计经验，对市电复用、绿电储能等较为常见的超算中心节能策略做简要分析。

3.1 超算中心市电资源复用分析

超算中心的特点是电力需求巨大，尤其是在算力评定时，需要将超算设备运行在极限工况下。而在平时运行时，电力消耗仅仅是极限工况的50%～60%，平时运行的工况又占整个超算中心运行时间的九成以上，为保证极限工况运行，申请的电力资源在大多数情况下不能得到充分利用，电力资源浪费较大。特别是S1级超算中心，平时运行工况下富余的市电资源特别明显。如何让超算中心把富余的市电资源充分利用起来，需要设计人员统筹规划。

超算中心如果引入的市电间隔在两组或以上时，根据超算设备的运行特点，与供电部门及早沟通，可以将部分计算节点专用变压器尽可能配置在同一组市电的母线上。由极限运行工况转为平时运行工况后，可以对此组市电母线下的变压器进行报停措施，相关间隔环处用作它用，利用其他市电间隔满足平时运行工况的需求。

超算中心如果引入的市电间隔仅为一组，总体思路是根据极限测试工况及日常运行工况的负荷情况，对用电负荷进行分工况分期统筹规划。待计算节点设备平时运行时，将富余的市电资源用到其他的用电设备中，达到充分利用市政电力资源的目的。此时每一市电间隔下的变压器装机容量较常规容量会偏大一些，建议建设方将建设思路与供电部门及早沟通，便于供电方案的批复。

以国内某科研单位已投产的超算中心园区项目为例，园区内主要功能为超算中心，另附配套的办公区、运维区、生活区。园区从市电引入两路10kV市电电源，超算中心功能区与其他功能区分变压器配置，共用10kV配电母线段。项目竣工验收完成后，在配套区使用前进行超算中心的算力认证，此时电力资源全部应用在超算中心。待算力认证完毕后，配套区投入使用。待后期算力需要调整时，再停用配套功能。通常情况下，算力认证时间以天计算，周期较短，园区使用方完全可以接受，此方案电力资源可以得到充分的利用。

3.2 绿电储能技术的应用分析

可再生能源发电具有能量来源巨大、绿色环保无污染等特点，是我国实现“双碳”目标的重要手段，也是我国电力行业发展的主要方向。2020年我国可再生能源发电量为2.2万亿kWh，占全社会用电量的29.5%。以光伏发电为代表的可再生能源发电技术，存在对环境条件要求较高、电力转换效率较低、供电存在间歇等特性，而常规数据中心的业务又要求其电力连续可靠，从而导致现阶段两者的匹配度不高。

超算中心因其分为明显的极限算力工况和平时算力工况，此运行特点可以保证超算中心充分利用绿电储能技术。当超算中心需要处在极限算力工况时，市电系统与绿电系统可以并行为其提供电力资源。当超算中心处在平时算力工况时，可以优选绿电储能系统为计算节点设备提供电力资源。

以南方某行业超算中心为例，其建筑单体为超算中心及配套设施，在屋顶设置太阳能光伏板，在室外设置集装箱式储能仓，储能输出功率为2MW。其供电系统架构详见图6。本系统基本的运行依据为利用夜间电网的低谷电价进行储电，完成整个电池组的充电; 在电网峰值电价时，再放出储存的电能，输送至超算中心使用以降低运行成本，合理地提高了能源的整体利用率。项目运行全年光伏发电量在2700MWh左右，储能系统的整体效率接近90%。

图6 某超算中心供电系统架构图

3.3 其他节能策略的应用分析

总体来说，节能策略的重点应该是节省那些无谓消耗的能量。超算中心供配电系统的节能首先应该明确哪些方面的能量消耗巨大，再考虑采取具体的节能措施。超算中心计算节点设备容量占比在超算中心所有设备的90%左右，配电系统中与超算中心计算节点设备有着紧密联系的是与其相关的配电变压器，如果选用较为节能的配电变压器，那么在这个环节的节能量是非常可观的。

例如非晶合金变压器，具有制备节能、铁芯磁导率高、“三相五柱式”结构、空载损耗低等特点，节能效果是显而易见的。以1台2500kVA干式变压器为例，两种类型变压器损耗容量对比详见表3。某算力为300P的超算中心，为计算单元设备供电的变压器约35000kVA 左右，如选用2级能效的变压器，考虑到超算中心的全年运行特点，全年运行后1台变压器仅空载损耗的节能量就达12527kWh以上（如果28台变压器按40%报停，可节省210454kWh），如选用1级能效的变压器，节电量会更加可观。