4.1.2 高速光互联 4.1.3 内生安全 15 4.1.4 智能遥测 16 4.2 18 AI联接 4.2.1 18 18 新型网络架构 4.2.1.1 多平面组网技术 4.2.1.2 对等组网技术 20 4.2.2 网络级负载均衡技术 23 4.1.5 AI交换机 17 4.2.2.1 流级负载均衡技术 4.2.2.2 逐包负载均衡技术 24 23 目录 4 智算网络市场当前则以400GE接入为主，采用盒盒组网或框盒组网，采用比如 32*400GE盒式、128*400GE盒式、36*400GE框式等款型；后续会向800GE演进，比 如采用128*800GE等设备进行组网部署。两层盒盒的扁平化组网仍是最优的选择，两层盒 式51.2TE的盒子通过光shuffle或者多芯片拼接盒子即可构建多平面的10万卡的集群，满 足大规模的训练组网的诉求。 随着设备带宽进一步增 如上图所示，不同层次组网中网络端口数与算力卡端口数的比例分别是： 一层组网，网络端口数同算力卡端口数是1:1。 两层组网，Leaf无收敛情况下，网络端口数同算力卡端口数是3:1。 三层组网，Leaf/Spine无收敛情况下，网络端口数同算力卡端口数是5:1。 多平面组网技术是指在算力集群规模不变的情况下，将一组完全互联的Clos多级组网， 拆分成多个彼此平行独立的低层级Clos组网，以实现扁平化网络架构。

建设。智算中心主 要满足智算算力的需求，其布局、建设及维护方案与传统的云资源池存在较大 差异，当前运营商对智算中心的布局以及详细方案并没有统一的建议和参考。 分析了大模型发展带来的算力、存储、组网的需求挑战，对运营商智算布局以及 算力、存储、网络、维护管理等提出了相应的策略和方案建议。 Abstract： The computational complexity of AI training 特征数据的存取，需要建立相应的快速检索机制和内 容审核能力。 c）对数据安全的挑战。复杂繁多的数据处理环 节，导致数据处理存在诸多安全风险，包括数据隐私 泄露、数据违规侵权、数据不可追溯、数据操作不合规 等。 1.4 组网需求和挑战 在大模型训练和推理中，主要的关键网络和相关 通信挑战如下。 a）训练数据到训练计算集群的网络通信。当前 数据源和数据存储主要靠近人类居住密集和业务热 点区域，和自然土地资源、电力资源相对丰富的西部 求在百毫秒级完成数据通信，按照十 GB 级的通信量， 集群内机间带宽应至少达到 100 Gbit/s，且随着单卡算 力和吞吐的增加，对机间带宽的需求也同步增加。此 外，为了避免数据重传，一般要求集群内组网为无损 网络。 2 智算中心的部署策略和方案建议 2.1 绿色集约、高效布局 当前智算中心有 2个典型选址策略：第一，优先选 择“东数西算”枢纽节点，尤其是西部自然资源丰富的 地区，土地和电力资源优势明显；第二，聚焦北、上、

按需将推理算力向边缘覆盖。 中国电信云化 IP 城域网(简称为新型城域网)具备原生算力业务 高效承载的能力，基于云网 POP 灵活架构以及城域 Spine-Leaf 的 Full-Mesh 组网优势，实现了云边/边边高效协同和算网快速对接。面 向算力业务的长期演进，中国电信通过引入算力灵活调度、算力无损 传输、精准流级调度、网络智能运维等能力，打造以算力为中心、算 网一体的城域网新业 400G/800G 高速链路，支撑 100km-500km 跨集群协同训练。基于 RDMA 无损数据传输保障跨集群训练的算效下降小于 5%。采用 4:1、 8:1、16:1、32:1 等高收敛比组网；网络高稳定运行，故障影响不扩散。 3.2.4.云边协同训推需求 大模型训练与推理成本的显著降低，带动企业通过本地部署少量 训推一体机实现大模型的快速应用。但是，企业本地算力池面临扩容 难、 生态，构筑丰富的 业务和应用生态。  联接 ToC/ToB/ToH 场景下的海量用户资源，将算力服务和生 态应用引入到千行百业、千家万户。 （2）算网一体、灵活部署  沿用新型城域网模块化组网架构，基于 Spine-Leaf 灵活扩展， 泛在接入各类用户。  算力网关随 AIDC 灵活部署，构建网络和算力资源的标准化对 算力城域网白皮书（2025 版） 14 接模型，实现网随算动。

I/LLM为目标构建的新型智算 中心成为数字新基建的重要底座。 趋势洞察 01 图1-1 生成式人工智能市场 趋势洞察 02 随着大模型训练参数以及GPU集群规模的不断提升，智算中心网络组网规模持续扩展，接入速率从 200Gbps升级至400Gbps/800Gbps乃至1.6Tbps，无损、低时延性能要求严格，推动智算中心网络以及智 算中心间跨区域网络的高速发展建设。未来五年，全球及中国智算中心以太网交换机将以36% 十万卡级）的关键组成部分，其性能直接影响到大模型训练 的巨量数据、分布计算以及并行同步的效率和效果。然而，当前智算中心网络在大规模组网架构、低时延无 损网络技术、高吞吐负载均衡以及智算中心间高速无损互联等方面仍面临诸多技术挑战。 1）智算网络面临的挑战 组网规模与复杂度激增 大模型训练依赖数千甚至数万张GPU的协同计算，例如Llama3-70B模型在1024个GPU上训练时，单 epo epoch产生的网络流量高达85EB。传统数据中心网络难以承载如此庞大的东西向流量，导致网络拓扑设计复 杂度呈指数级上升。组网规模的扩大还引发了负载均衡难题，传统ECMP（等价多路径路由）算法在“少流 大流”场景下易引发链路拥塞，使网络有效吞吐量骤降至理论值的10%-60%。 超高带宽与低时延需求 大模型训练中，GPU间梯度同步和中间激活值传递需满足微秒级时延要求。以InfiniBand和RoCEv2为代

的高带宽 互联，将数百上千个 AI 处理器编织为一个逻辑统一的高密度计算体，为高效计算提供了底层支撑。 系统能力则是超节点高效运转的保障，它需要具备大规模、高可靠、多场景等系统特征。大规模的 组网能力突破了单机扩展的硬件限制，为大规模算力聚合提供架构支撑；高可靠的运行特性化解了 网络、计算、存储等子系统的故障风险，保障集群作业的连续性；多场景的适配能力则能通过精细 化资源调度等机制，满足不同业务需求，最大化释放算力价值。 节点发展报告》深刻阐述了，必须从单纯的硬件聚合，迈向以“系统工程”思想为核心的创新构建。 超节点通过超高带宽互联、内存统一编址等关键技术，实现了计算、存储、网络资源的深度融合与 高效协同，其大规模灵活组网与高可靠运行的系统优势，是构建稳定、高效、易用的新一代算力系 统的必然路径。超节点是支撑未来复杂 AI 计算任务的关键基石，本发展报告对其技术内涵与应用价 值的系统梳理，对产业生态发展具有重要的指导意义。 芯片的内存。 在人工智能大模型训练和推理等前沿技术的算力需求驱动下，传统分布式集群在通信效率、资源 聚合能力上的局限性日益凸显，超节点凭借超高带宽互联、内存统一编址等技术特征，以及大规模 灵活组网、高可靠运行等系统优势，成为支撑复杂计算任务的关键底座。 4.1 4.1.1 技术特征 基础特征：大带宽、低时延、内存统一编址 超节点基础定义与特征 4.0 超节点发展报告 15 一、

加速卡的 高 速互联 4. 数据面网络：采用 RoCE 实现智算集群与高性能文件存 储 的高速 互联 智算中心组网分业务 / 存储、管理、参数面、数据面四个网络平面，与通算相比，智算组网新增参数面网络及数据面网络，采用 RoCE 全 连接无损组网，充分发挥智算并行计算优势，同时组网整体无容灾设计，对运维工作带来新的挑战。 智算中心架构与通算有较大区别 换 机 。 l 对 象 存 储 管 理 网 采 用 千 兆 管 理 网 。 全闪并行文件存储 混闪并行文件存储 Spine Leaf 对象存储 四层负载均衡 并行文件存储及对象存储组网架构 设计说明 存储接入交 换机 （ 10GE ） 存储接入交 换 （ 25GE ） 管理接入交换机 存储核心 第 20 页 大模型网络架构 网络平面：参数面采用 RoCE l 块 存 储 采 用 千 兆 管 理 网 ， 其余 管 理 网 采 用 两 口 万 兆 网 卡 上 联 至管理交换机。 ironic&DHCP SDN 管控 块存储 通算—组网架构 管理接入交换机 （ 10GE ） 裸金属 TOR （ 25GE ） 计算 TOR （ 25GE ） 通用宿主机 计算核心 第 25 页 业务节点底层基于裸金属 ， 单独配置管理

支持 2 级框盒、框框组网，适用于大规模及超大规模集群 3 、 AI 任 务信 息 任务、通信域 … 1 、控制器获取网络拓扑， 下 发路径 信息 2 、 AI 任 务调 度 以全部通信关系和拓扑信息作为输入 通过算法计算出最优结果，实现 AI 参数面全网负载均衡 算网协同 • 网络级负载均衡：独家 NSLB 算法， 算网协 同 调度，多任务节点非连续组网情况下，通信 带宽 、模型性能提升 7% 算存协同 • 极致读写性能： CKPT 等算存读写协同优化、 PB 级存取 +TB 级带宽，数据读取效率提升 50% 大规模组网 • 超大组网规模： 2 层 1:1 无收敛的 AI 网络架构， 最 大支持 128K 集群规模组网，千卡到万卡平滑 演进 千亿稠密 / 万亿稀疏 A2 ） 4 台 *8 口 *200GE 样本面（可选） CE9860 8*25GE 带外管理面（ BMC 管理可选） CE5882 4*GE DeepseekV3/R1 模型本地化部署组网 方案 图 例 400G 200G 25G GE 100G 10G DeepSeek R1/V3 推理配置建议 BF16 最小配置 4 台计算节点； INT8 最小配置

智算中心组网分业务 / 存储、管理、参数面、数据面四个网络平面，与通算相比，智算组网新增参数面网络及数据面网络，采用 RoCE 全 连接无损组网，充分发挥智算并行计算优势，同时组网整体无容灾设计，对运维工作带来新的挑战。 第 8 页 CONTENTS 2 4 3 l 聚焦大模型推理、 （ 25GE ） 计算核心 *2 管理节点 *2 台 交换机 S9850-32H 与 8 交换机 S6850-56HF 构 成 , 实现大规 模计算节 无阻塞互联。 智算中心 组网架构 Spine 交换机仅连接其他交换设备（ Leaf/ 核心路由器），绝不直连服务 器 管理和监控接入 交换机 接入交换机 ( 第 15 页 CLOS 架 构 25GE ） 理 网 采 用 两 口 千 兆 网 卡 上 联 至 管 理 交 换 机 。 l 对象存储管理 网 采 用千 兆 管 理 网 。 全闪并行文件存储 混闪并行文件存储 并行文件存储及对象存储组网架构 ( 二期新 增 ) Spine Leaf 对象存储 四层负载均衡 设计说明 存储接入交 换机 （ 10GE ） 存储接入交 换 （ 25GE ） 管理接入交换机 存储核心

壁垒，实现资源的高效协同与灵活调度。在这一进程中， “解耦” 与 “融合” 看似矛盾，实则相辅相成：解耦是实现深度 融合的基础和前提。解耦的核心在于打破传统封闭、一体化的设备形 态和管控体系，为不同层面的技术创新、灵活组网和统一管控创造条 件。融合则是在解耦的基础上，通过统一的控制平面（如 SDN）、开 放的接口和智能的协同机制，实现 IP 与光资源的全局最优调度和业 务端到端敏捷发放。 3.2.1 解耦趋势 由器可直接通过标准光模块连接到开放光线路系统，实现 “IP over Open Line”，极大简化网络架构；降低了长距传输成本，利用标准化 的低成本、低功耗可插拔模块替代传统昂贵的专用长距板卡和专用 WDM 终端；提升了组网灵活性，在网络边缘或城域范围内，无需部 署专用 WDM 设备即可实现中短距离的波长级互联（DCI 是典型应 用）；也推动了技术创新，模块厂商专注于提升模块性能和降低成本， 光系统厂商专注于优化线路设计和光层管理。 业务智能下发、智能运维及数据侦察在内的四大发展方向。 3.3.1 光电协同的 SDN 控制 在传统的传输网络架构中，IP 层运维和传输设备运维通常由两个 团队使用两套运维系统独立运维。并且在大型复杂 MESH 组网中， 由于 IP 层路由资源和传输路由资源互不拉通，并且传统 IP 与光网 络的控制平面相互独立，两者难以实现协同决策。通过光电协同的 SDN 控制器更智能的协同机制实现整体效能最大化，解决跨层资源

商的标准规范，极易出现“信息孤岛”。例如，某星座的卫星采用自 主研发的邻居发现协议，将无法与采用国际通用协议的其他星座节点 建立有效协同，限制了卫星互联网承载网的跨系统互联能力。这种标 准化滞后问题，不仅推高了组网成本，更制约了分布式架构在全球一 体化卫星互联网网络中的规模化应用。 3.3 混合式架构 混合式架构结合了集中式和分布式架构的优点，试图在两者之间 找到一个平衡。在混合式架构中，一部分路由决策由地面网络控制器 建立和维护更加容易，系统复杂度相对较低。这使得微波技术在早期 的卫星通信系统以及一些对通信设备复杂度和成本较为敏感的应用 场景中得到了广泛应用。例如，在一些低轨卫星星座系统中，为了实 现快速组网和低成本部署，部分星间链路采用了微波技术。 微波技术在大气传输中的性能相对较为稳定，受天气条件的影响 15 较小。与激光信号相比，微波信号在穿越大气层时的衰减和散射程度 较轻，能够在不同的天 卫星互联网承载网通过融合低轨星座与智能计算能力，为大型活 动提供大容量、低时延通信保障。我国全球首个太空计算卫星星座于 2025 年 5 月发射，12 颗卫星搭载星载智算系统与高速路由器，通过 星间激光链路组网形成分布式算力池，将传统卫星数据响应时间从天 级缩短至秒级，可支持百万级终端并发接入，为重大活动高密度瞬时 通信提供服务保障。卫星互联网宽带互联网架构如“虹云工程”（规 44 划 156 颗