超节点关键技术与产业发展态势研究

doi:10.12267/j.issn.2096-5931.2025.10.003

信息通信技术与政策 ›› 2025, Vol. 51 ›› Issue (10): 14-22.doi: 10.12267/j.issn.2096-5931.2025.10.003

专题：先进计算创新应用与生态建设上一篇下一篇

超节点关键技术与产业发展态势研究

Research on the development trend of key technologies and industry of SuperPod

张乾¹, 崔忠杰¹, 马金山², 冯一鸣², 张政²

¹ 中国信息通信研究院信息化与工业化融合研究所, 北京 100191
² 浪潮(北京)电子信息产业有限公司, 北京 100089

收稿日期:2025-09-15 出版日期:2025-10-25 发布日期:2025-11-06
作者简介:
张乾, 中国信息通信研究院信息化与工业化融合研究所高级工程师,博士,长期从事智能计算、人工智能等技术标准研究工作
崔忠杰, 中国信息通信研究院信息化与工业化融合研究所工程师,博士,长期从事智能计算、集成电路等领域的技术产业发展研究工作
马金山, 浪潮(北京)电子信息产业有限公司产品经理,主要从事计算机体系结构的技术研究工作
冯一鸣, 浪潮(北京)电子信息产业有限公司产品经理,主要从事计算机体系结构的技术研究工作
张政, 浪潮(北京)电子信息产业有限公司产品总监,计算机科学与技术博士后,主要从事计算机体系结构、异构计算等方面的技术研究和产业化工作

ZHANG Qian¹, CUI Zhongjie¹, MA Jinshan², FENG Yiming², ZHANG Zheng²

¹ Informatization and Industrialization Integration Research Institute, China Academy of Information and Communications Technology, Beijing 100191, China
² Inspur (Beijing) Electronic Information Industry Co., Ltd., Beijing 100089, China

Received:2025-09-15 Online:2025-10-25 Published:2025-11-06

摘要/Abstract

摘要：

在人工智能大模型算力需求持续提升的背景下,实现Scale-up网络中成百上千加速卡的高带宽直连与协同工作的重要性日益凸显。首先梳理超节点技术发展现状,进而从互联协议、互连技术、系统管理软件、电源及散热技术等核心维度,系统分析超节点技术的发展态势与产业发展现状;并结合当前产业面临的机遇与挑战,最终提出适配算力产业发展需求的超节点技术迭代路径与产业推进策略。

关键词: 超节点, 高速互联, 互联协议

Abstract:

Against the backdrop of the continuous surge in computing power demand for large Artificial Intelligence models, the importance of enabling high-bandwidth direct connection and collaborative work among hundreds or thousands of GPU chips in Scale-up networks has become increasingly prominent. This paper first reviews the current development status of SuperPod technology, then systematically analyzes the development trends of SuperPod technology and its current industrial development status from core dimensions including interconnection protocols, interconnection technologies, system management software, power supply, and heat dissipation technologies. By integrating the opportunities and challenges currently faced by the industry, it finally puts forward the technology iteration paths and industrial advancement strategies for SuperPod technology that adapt to the development needs of the computing power industry.

Key words: SuperPod, high-speed interconnection, interconnection protocol

中图分类号:

TN38

张乾, 崔忠杰, 马金山, 冯一鸣, 张政. 超节点关键技术与产业发展态势研究[J]. 信息通信技术与政策, 2025, 51(10): 14-22.

ZHANG Qian, CUI Zhongjie, MA Jinshan, FENG Yiming, ZHANG Zheng. Research on the development trend of key technologies and industry of SuperPod[J]. Information and Communications Technology and Policy, 2025, 51(10): 14-22.

导出引用管理器 EndNote|Ris|BibTeX

链接本文:

http://ictp.caict.ac.cn/CN/10.12267/j.issn.2096-5931.2025.10.003

http://ictp.caict.ac.cn/CN/Y2025/V51/I10/14

图/表 3

参考文献 19

[1]	DeepSeek-AI. DeepSeek-v3 technical report[J]. arXiv Preprint, arXiv:2412.19437v1, 2024.
[2]	ZHAO C G, DENG C Q, RUAN C, et al. Insights into DeepSeek-v3: scaling challenges and reflections on hardware for AI architectures[J]. arXiv Preprint, arXiv:2505.09343, 2025.
[3]	段晓东, 程伟强, 张昊. 智算网络发展综述[J]. 中兴通讯技术, 2025, 31(2):53-62.
[4]	曾高雄, 胡水海, 张骏雪, 等. 数据中心网络传输协议综述[J]. 计算机研究与发展, 2020, 57(1):74-84.
[5]	NVIDIA. NVIDIA GB200 NVL72[EB/OL]. 2025[2025-08-30]. https://www.nvidia.com/en-us/data-center/gb200-nvl72/.
[6]	NVIDIA. NVIDIA NVLink和NVLink交换机[EB/OL]. 2025[2025-08-30]. https://www.nvidia.cn/data-center/nvlink/.
[7]	NVIDIA. NVLink fusion[EB/OL]. 2025[2025-08-30]. https://www.nvidia.cn/data-center/nvlink-fusion/.
[8]	ULTRA ACCELERATOR LINK. UALink 1.0 specification-available now[EB/OL]. 2025[2025-08-30]. https://ualinkconsortium.org/specifications/.
[9]	Broadcom. Scale-Up ethernet framework[R], 2025.
[10]	字节跳动. GPU Scale-up 互联技术白皮书[R], 2025.
[11]	ODCC订阅号. ETH-X Scale Up协议: 支持高性能内存访问的互联协议[EB/OL]. (2024-12-27)[2025-08-30]. https://mp.weixin.qq.com/s/5fNl7SxGscDl7PcWsF3sOA.
[12]	李寿鹏. GPU CPO,国内首创[EB/OL]. (2025-07-30)[2025-08-30]. https://mp.weixin.qq.com/s/2_svg-apDiTsgg8o2IahaQ.
[13]	IT之家. 英伟达力推下一代 800V HVDC 数据中心供电,2027 年开始过渡[EB/OL]. (2025-05-22)[2025-08-30]. https://news.qq.com/rain/a/20250522A05LCA00.
[14]	昆仑芯. 重磅发布!昆仑芯超节点产品推出,大模型训推任务性能跨越式提升[EB/OL]. (2025-04-25)[2025-08-30]. https://www.kunlunxin.com/news/4541.html.
[15]	人民邮电报. 中国移动算网大脑3.0、OISA 2.0协议重磅发布[EB/OL]. (2025-08-23)[2025-08-30]. https://www.10086.cn/aboutus/news/groupnews/index_detail_53443.html.
[16]	半导体产业研究. AMD推进AI之路(六):MI400 Helios机架与72 GPU架构解析[EB/OL]. (2025-06-24)[2025-08-30]. https://www.x-techcon.com/article/1703.html.
[17]	元脑服务器. 浪潮信息发布“元脑SD200”超节点,面向万亿参数大模型创新设计[EB/OL]. (2025-08-07)[2025-08-30]. https://mp.weixin.qq.com/s/5EjUSM4UC7Opi269FbXn1Q.
[18]	华为云. 华为云发布CloudMatrix 384超节点多项性能全面突破[EB/OL]. (2025-04-10)[2025-08-30]. https://www.huaweicloud.com/news/2025/20250424094932570.html.
[19]	Market Research Intellect. Powering efficiency-80 PLUS certified server power supplies gain traction in data center sustainability push[EB/OL]. (2024-12-03)[2025-08-30]. https://www.marketresearchintellect.com/blog/80-plus-certification-drives-green-tech-revolution-in-server-power-supply-market/.

技术指标	NVLINK 5	UALINK	SUE
物理层	自研高速SerDes	基于以太网SerDes	完全兼容标准以太网SerDes
数据链路层	封装为小尺寸帧(含帧头、有效载荷、CRC校验),支持链路层重试(Link Layer Retry,LLR)	封装64 B事务为640 B数据帧,添加CRC校验^[8]	保留以太网MAC层,新增10 B AI转发包头^[9]
传输层	事务层(支持内存读写、原子操作、消息传递等GPU协作所需的操作)协议层(支持NVSHMEM分布式共享内存)	事务层(压缩寻址,直接内存操作)和协议层(内存语义逻辑)	简化协议栈,直接处理内存语义通信,避免IP/UDP层开销
单向带宽	900 GB/s	640 GB/s	单通道200 Gbit/s,四通道800 Gbit/s
链路数量	每GPU 18条链路	x1,x2,x4	x1,x2,x4
互连规模	单Pod支持最多576个加速器	单Pod支持最多1 024个加速器	单跳支持512个加速器,扩展至1 024个加速器
显存共享支持	完整支持,实现GPU间显存直接访问	完整支持,实现GPU间显存直接访问	不直接支持,通过集体操作卸载优化通信效率
生态兼容性	需专用交换机,不兼容PCIe/CXL等服务器协议	需专用交换机,兼容PCIe/CXL等服务器协议	完全兼容标准以太网设备和工具链

技术指标	NVLINK 5	UALINK	SUE
物理层	自研高速SerDes	基于以太网SerDes	完全兼容标准以太网SerDes
数据链路层	封装为小尺寸帧(含帧头、有效载荷、CRC校验),支持链路层重试(Link Layer Retry,LLR)	封装64 B事务为640 B数据帧,添加CRC校验^[8]	保留以太网MAC层,新增10 B AI转发包头^[9]
传输层	事务层(支持内存读写、原子操作、消息传递等GPU协作所需的操作)协议层(支持NVSHMEM分布式共享内存)	事务层(压缩寻址,直接内存操作)和协议层(内存语义逻辑)	简化协议栈,直接处理内存语义通信,避免IP/UDP层开销
单向带宽	900 GB/s	640 GB/s	单通道200 Gbit/s,四通道800 Gbit/s
链路数量	每GPU 18条链路	x1,x2,x4	x1,x2,x4
互连规模	单Pod支持最多576个加速器	单Pod支持最多1 024个加速器	单跳支持512个加速器,扩展至1 024个加速器
显存共享支持	完整支持,实现GPU间显存直接访问	完整支持,实现GPU间显存直接访问	不直接支持,通过集体操作卸载优化通信效率
生态兼容性	需专用交换机,不兼容PCIe/CXL等服务器协议	需专用交换机,兼容PCIe/CXL等服务器协议	完全兼容标准以太网设备和工具链

比较项	800 G DAC	800 G ACC	800 G AEC
信号传输	电	电	电
电缆材料	铜	铜	铜
信号加工	无	均衡器	retimer
最大功率	低	中	高
最大距离/m	2~3	5	5
带宽支持/Gbit/s	2×400	2×400	2×400
延迟/ns	<1	<10	<90
散热重量/W	0.2	3	10
费用	低	中	高

比较项	800 G DAC	800 G ACC	800 G AEC
信号传输	电	电	电
电缆材料	铜	铜	铜
信号加工	无	均衡器	retimer
最大功率	低	中	高
最大距离/m	2~3	5	5
带宽支持/Gbit/s	2×400	2×400	2×400
延迟/ns	<1	<10	<90
散热重量/W	0.2	3	10
费用	低	中	高

超节点关键技术与产业发展态势研究

Research on the development trend of key technologies and industry of SuperPod

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 3

参考文献 19

相关文章 1

编辑推荐

Metrics

本文评价