基于广域分布式推理网络的PD分离架构与实现

doi:10.12267/j.issn.2096-5931.2026.02.003

信息通信技术与政策 ›› 2026, Vol. 52 ›› Issue (2): 18-23.doi: 10.12267/j.issn.2096-5931.2026.02.003

专题:算力互联网技术发展与产业应用上一篇下一篇

基于广域分布式推理网络的PD分离架构与实现

PD separation architecture and implementation based on wide-area distributed inference network

王飞飞¹, 邓桓¹, 唐静¹, 王巍¹, 苏越²

1.中国电信股份有限公司研究院，北京 102209
2.中国信息通信研究院云计算与数字化研究所，北京 100191

收稿日期:2025-12-20 出版日期:2026-02-25 发布日期:2026-03-06
通讯作者: 苏越中国信息通信研究院云计算与数字化研究所云计算部副主任，高级工程师，长期从事云计算、算力等方面的研究工作
作者简介:
王飞飞, 中国电信股份有限公司研究院工程师，长期从事智算网络和云网融合领域新技术演进发展等方面的研究工作
邓桓, 中国电信股份有限公司研究院高级工程师，ITU-T第二研究组副主席，长期从事智算网络、云网融合等前沿技术的研究与标准化工作
唐静, 中国电信股份有限公司研究院网络技术研究所未来网络团队总监，长期从事智算网络等新型信息基础设施的关键技术攻关与体系架构创新等方面的研究工作
王巍, 中国电信股份有限公司研究院工程师，长期从事智算网络等新型信息基础设施的关键技术攻关与体系架构设计等方面的研究工作

WANG Feifei¹, DENG Heng¹, TANG Jing¹, WANG Wei¹, SU Yue²

1. Research Institute of China Telecom Corporation Limited，Beijing 102209，China
2. Cloud Computing and Digitalization Research Institute，China Academy of Information and Communications Technology，Beijing 100191，China

Received:2025-12-20 Online:2026-02-25 Published:2026-03-06

摘要/Abstract

摘要：

随着大模型推理需求的爆发式增长，传统集中式或静态多数据中心部署模式在时延、数据合规性与资源弹性方面面临严峻挑战。基于此，提出一种基于云边协同的广域分布式推理网络架构，侧重于构建面向算力互联网的新型智算服务体系。该架构引入预填充和解码（Prefill-Decode，PD）分离机制，将低时延敏感的预填充阶段下沉至靠近数据源的边缘节点，而高吞吐的解码阶段部署于中心云，通过广域网实现安全协同。

关键词: 广域分布式推理, 预填充和解码分离, 大模型推理

Abstract:

With the explosive growth in demand for large models inference，traditional centralized or static multi-data center deployment models face severe challenges in latency，data compliance，and resource elasticity. This paper proposes a cloud-edge collaborative wide-area distributed inference network architecture，focusing on building a new intelligent-computing service system for the emerging computing-power internet. The architecture introduces a prefill-decode separation mechanism： the latency-sensitive prefill stage is offloaded to edge nodes closer to data sources，while the high-throughput decode stage is deployed in the central cloud，enabling secure collaboration over a wide-area network.

Key words: wide-area distributed inference, prefill-decode separation, large model inference

中图分类号:

TN929.11

王飞飞, 邓桓, 唐静, 王巍, 苏越. 基于广域分布式推理网络的PD分离架构与实现[J]. 信息通信技术与政策, 2026, 52(2): 18-23.

WANG Feifei, DENG Heng, TANG Jing, WANG Wei, SU Yue. PD separation architecture and implementation based on wide-area distributed inference network[J]. Information and Communications Technology and Policy, 2026, 52(2): 18-23.

导出引用管理器 EndNote|Ris|BibTeX

链接本文:

http://ictp.caict.ac.cn/CN/10.12267/j.issn.2096-5931.2026.02.003

http://ictp.caict.ac.cn/CN/Y2026/V52/I2/18

图/表 5

参考文献 17

[1]	ZHONG Y, LIU S, CHEN J, et al. DistServe: disaggregating prefill and decoding for goodput-optimized large language model serving[C]// 8th USENIX Symposium on Operating Systems Design and Implementation. Santa Clara: OSDI, 2024: 375-392.
[2]	KWON W, LI Z, ZHUANG S, et al. Efficient memory management for large language model serving with pagedattention[C]// Proceedings of the 29th ACM Symposium on Operating Systems Principles. Koblenz: SOSP, 2023: 425-441.
[3]	HE Y, LI G, XU X, et al. Large language models (LLMs) inference offloading and resource allocation in cloud-edge computing[J]. IEEE Transactions on Mobile Computing, 2024, 23(8):5678-5692.
[4]	ZHANG X, KUANG L, SHI Y, et al. Beyond the cloud: edge inference for generative large language models[J]. Engineering, 2025, 24: 112-125.
[5]	张宏科, 权伟, 刘康. 算力网络研究与探索[J]. 中兴通讯技术, 2023, 29(1): 1-5.
[6]	栗蔚, 张博圣, 孙松林, 等. 算力互联网架构:基于熵平衡支持算力资源跨域互联的下一代网络架构[J]. 通信学报, 2025, 46(9): 1-16.
[7]	雷波, 刘增义, 王旭亮, 等. 基于云-网-边融合的边缘计算新方案:算力网络[J]. 电信科学, 2019, 35(9): 44-51. doi: 10.11959/j.issn.1000-0801.2019209
[8]	TANG X, CAO C, WANG Y, et al. Computing power network: the architecture of convergence of computing and networking towards 6G requirement[J]. China Communications, 2021, 18(2): 175-185.
[9]	ZHAO Q, LEI B, WEI M. Survey of computing power network[J]. ITU Journal on Future and Evolving Technologies, 2022, 3(3): 632-644. doi: 10.52953/BXBJ6384 URL
[10]	SUN Y, LEI B, LIU J, et al. Computing power network: a survey[J]. China Communications, 2024, 21(9): 109-145. doi: 10.23919/JCC.ja.2021-0776
[11]	LEI B, WANG J, ZHAO Q, et al. Computing power network: an interworking architecture of computing and network based on IP extension[C]// 2021 IEEE International Conference on High Performance Switching and Routing. Paris:IEEE, 2021:1-6.
[12]	王丽莉. 算力网络部署方案分析[J]. 电信科学, 2022, 38(6): 172-180. doi: 10.11959/j.issn.1000-0801.2022134
[13]	中国移动通信有限公司研究院. 中国移动算力网络白皮书[R], 2022.
[14]	中国联通网络技术研究院. 中国联通算力网络白皮书[R], 2019.
[15]	LIU J, SUN Y, SU J, et al. Computing power network: a testbed and applications with edge intelligence[C]// IEEE INFOCOM 2022 Workshops. Virtual Conference: IEEE, 2022:1-6.
[16]	段晓东, 姚惠娟, 付月霞, 等. 面向算网一体化演进的算力网络技术[J]. 电信科学, 2021, 37(10): 76-85. doi: 10.11959/j.issn.1000-0801.2021248
[17]	狄筝, 曹一凡, 仇超, 等. 新型算力网络架构及其应用案例分析[J]. 计算机应用, 2022, 42(6): 1656-1661. doi: 10.11772/j.issn.1001-9081.2021061497

带宽收敛比	基线 ttft_ratio	PD拉远 ttft_ratio	基线 tpot_ratio	PD拉远 tpot_ratio	满足率劣化
4∶1	1	1	0.99	0.99	/
8∶1	1	1	0.99	0.97	/
32∶1	1	0.99	0.99	0.98	1%

带宽收敛比	基线 ttft_ratio	PD拉远 ttft_ratio	基线 tpot_ratio	PD拉远 tpot_ratio	满足率劣化
4∶1	1	1	0.99	0.99	/
8∶1	1	1	0.99	0.97	/
32∶1	1	0.99	0.99	0.98	1%

输入/输出序列长度	并发数/个	未拉远 ttft_ratio	PD拉远 ttft_ratio	未拉远 tpot_ratio	PD拉远 tpot_ratio	满足率劣化
2K输入 512输出	4	1	0.99	0.988	0.997	1%
2K输入 512输出	5	0.93	0.98	0.992	0.997	/
4K输入 512输出	1	1	1	0.99	0.99	/
4K输入 512输出	2	1	0.98	0.988	0.996	2%

输入/输出序列长度	并发数/个	未拉远 ttft_ratio	PD拉远 ttft_ratio	未拉远 tpot_ratio	PD拉远 tpot_ratio	满足率劣化
2K输入 512输出	4	1	0.99	0.988	0.997	1%
2K输入 512输出	5	0.93	0.98	0.992	0.997	/
4K输入 512输出	1	1	1	0.99	0.99	/
4K输入 512输出	2	1	0.98	0.988	0.996	2%

基于广域分布式推理网络的PD分离架构与实现

PD separation architecture and implementation based on wide-area distributed inference network

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 5

参考文献 17

相关文章 1

编辑推荐

Metrics

本文评价