运营商大模型硬件基础设施创新及RDMA流量控制技术研究

doi:10.12267/j.issn.2096-5931.2024.02.005

信息通信技术与政策 ›› 2024, Vol. 50 ›› Issue (2): 26-32.doi: 10.12267/j.issn.2096-5931.2024.02.005

运营商大模型硬件基础设施创新及RDMA流量控制技术研究

Research on hardware infrastructure innovation for large language model of telecom operators and RDMA traffic control technology

车碧瑶¹, 张永航², 廖怡², 唐剑², 樊小平², 赵继壮¹, 陆钢¹

1.中国电信股份有限公司研究院,北京 102209
2.中国电信天翼云科技有限公司,北京 100007

收稿日期:2023-12-26 出版日期:2024-02-25 发布日期:2024-03-12
作者简介:
车碧瑶, 中国电信股份有限公司研究院云网运营技术研究所助理工程师,主要从事RDMA高性能网络方向的研究工作
张永航, 中国电信天翼云科技有限公司研发专家,长期从事RDMA高性能网络的设计和研究工作
廖怡, 中国电信天翼云科技有限公司研发专家,主要从事RDMA网络架构、协议、拥塞控制算法、智能网卡和DPU相关的研究工作
唐剑, 中国电信天翼云科技有限公司研发工程师,主要从事高性能网络方向的研发工作
樊小平, 中国电信天翼云科技有限公司资深专家,主要从事高性能网络方向的研究工作
赵继壮, 中国电信股份有限公司研究院云网运营技术研究所云计算研究中心总监,高级工程师,主要从事云计算和高性能计算的软硬件优化等方面的研究工作
陆钢, 中国电信股份有限公司研究院云网运营技术研究所副所长,教授级高级工程师,长期从事云计算技术研发与应用方面的研究工作

CHE Biyao¹, ZHANG Yonghang², LIAO Yi², TANG Jian², FAN Xiaoping², ZHAO Jizhuang¹, LU Gang¹

1. China Telecom Corporation Limited Research Institute, Beijing 102209, China
2. China Telecom Cloud Technology Co., Ltd., Beijing 100007, China

Received:2023-12-26 Online:2024-02-25 Published:2024-03-12

摘要/Abstract

摘要：

从业界大模型硬件基础设施创新的主要模式出发,论述了电信运营商在该领域自主创新的路线选择考虑。基于实际组网环境和业务场景提出需求,设计了一种支持NO-PFC、交换机免配置的拥塞控制算法,使用RTT作为拥塞感知信号,控制交换机队列长度,实现低延迟。

关键词: RDMA拥塞控制, 大模型基础设施创新, 运营商数据中心网络

Abstract:

Based on the main modes of hardware infrastructure innovation for large language model in the industry, this paper explores the considerations for route selection by telecom operators in this field. This paper presents a congestion control algorithm that supports NO-PFC and does not require the configuration of switches. The algorithm is designed with considerations for the actual networking environment and service scenario. To achieve low latency, the Round-Trip Time (RTT) is employed as the congestion sensing signal, enabling effective regulation of the switch queue length.

Key words: RDMA congestion control, hardware infrastructure innovation for large language model, telecom operator data center network

中图分类号:

TP30
F124

车碧瑶, 张永航, 廖怡, 唐剑, 樊小平, 赵继壮, 陆钢. 运营商大模型硬件基础设施创新及RDMA流量控制技术研究[J]. 信息通信技术与政策, 2024, 50(2): 26-32.

CHE Biyao, ZHANG Yonghang, LIAO Yi, TANG Jian, FAN Xiaoping, ZHAO Jizhuang, LU Gang. Research on hardware infrastructure innovation for large language model of telecom operators and RDMA traffic control technology[J]. Information and Communications Technology and Policy, 2024, 50(2): 26-32.

导出引用管理器 EndNote|Ris|BibTeX

链接本文:

http://ictp.caict.ac.cn/CN/10.12267/j.issn.2096-5931.2024.02.005

http://ictp.caict.ac.cn/CN/Y2024/V50/I2/26

图/表 1

参考文献 10

[1]	张佳欣. 德媒: 芯片之争, 中国绝非无能为力[N]. 科技日报, 2021-04-09(004).
[2]	ZHU Y, ZHANG M, ERAN H, et al. Congestion control for large-scale RDMA deployments[J]. ACM SIGCOMM Computer Communication Review, 2015, 45(5):523-536. DOI:10.1145/2829988.2787484.
[3]	MITTAL R, LAM V T, DUKKIPATI N, et al. TIMELY: RTT-based congestion control for the datacenter[C]// Proceedings of the 2015 ACM Conference on Special Interest Group on Data Communication. New York: ACM, 2015:537-550. DOI:10.1145/2785956.2787510.
[4]	KUMAR G, DUKKIPATI N, JANG K, et al. Swift: delay is simple and effective for congestion control in the datacenter[C]// SIGCOMM’20:Annual Conference of the ACM Special Interest Group on Data Communication on the Applications, Technologies, Architectures, and Protocols for Computer Communication. New York: ACM, 2020:514-528. DOI:10.1145/3387514.3406591.
[5]	LI Y, MIAO R, LIU H, et al. HPCC: high precision congestion control[C]// Proceedings of the ACM Special Interest Group on Data Communication. New York: ACM, 2019:44-58. DOI:10.1145/3341302.3342085.
[6]	BASAT R B, RAMANATHAN S, LI Y, et al. PINT: probabilistic in-band network telemetry[C]. Proceedings of the Annual Conference of the ACM Special Interest Group on Data Communication. New York: ACM, 2020:662-680.
[7]	何春志. 腾讯星脉高性能计算网络:为AI大模型构筑网络底座[EB/OL]. (2023-03-06)[2023-12-20]. https://cloud.tencent.com/developer/article/2234084.
[8]	SHALEV L, AYOUB H, BSHARA N, et al. A cloud-optimized transport protocol for elastic and scalable HPC[J]. IEEE Computer Society, 2020(6):67-73. DOI:10.1109/MM.2020.3016891.
[9]	GIBSON D, HARIHARAN H, LANCE E, et al. Aquila: a unified, low-latency fabric for datacenter networks[C]// Proceedings of 19th USENIX Symposium on Networked Systems Design and Implementation. Seattle: NSDI, 2022:1249-1266.
[10]	WU X G. Reducing job completion time in AI/ML clusters[EB/OL]. (2022-06-09)[2023-12-20]. https://www.broadcom.com/blog/reducing-job-completion-time-in-ai-ml-clusters.

[1]	王宏羽, 邱奔, 王少鹏. 算网城市发展路径研究[J]. 信息通信技术与政策, 2024, 50(2): 12-17.
[2]	杨硕, 王月, 张一星. 绿色算力定义及关键技术研究[J]. 信息通信技术与政策, 2024, 50(2): 18-25.
[3]	郭亮. 我国算力产业发展挑战与建议[J]. 信息通信技术与政策, 2024, 50(2): 2-6.
[4]	陈晓朋, 许可欣, 梁宇栋. 人工智能促进数据中心绿色节能研究[J]. 信息通信技术与政策, 2024, 50(2): 33-39.
[5]	吴帅, 韩振东, 王佳, 蔡航. 运营商视角下的算力网络技术及实践研究[J]. 信息通信技术与政策, 2024, 50(2): 40-45.
[6]	温小振, 常金凤, 吴美希. 综合算力发展现状与趋势分析[J]. 信息通信技术与政策, 2024, 50(2): 7-11.
[7]	宋天乐, 蔺琛皓, 高书馨, 赵竣毅, 周亚杰, 纪英帅, 杨明慧, 沈超. 基于移动智能终端交互行为的持续身份认证技术综述^*[J]. 信息通信技术与政策, 2024, 50(1): 19-31.
[8]	王艳红, 孔玲, 付艳艳, 李京典. 隐私计算技术标准化路径分析与建议[J]. 信息通信技术与政策, 2024, 50(1): 32-36.
[9]	朱悦. 差分隐私用于个人信息保护的实践难点及化解方案[J]. 信息通信技术与政策, 2024, 50(1): 37-44.
[10]	胡国华, 王振东, 李强. 新型智慧城市数据安全挑战与对策研究[J]. 信息通信技术与政策, 2023, 49(8): 31-37.
[11]	宋恺, 屈蕾蕾, 杨萌科. 生成式人工智能的治理策略研究[J]. 信息通信技术与政策, 2023, 49(7): 83-88.
[12]	贾斌斌, 王忠庆, 方炜. 对提高RSA算法中大数模乘运算速率的思考^*[J]. 信息通信技术与政策, 2023, 49(6): 84-90.
[13]	黄潇洁, 宋闻萱, 张恒升, 许方敏, 赵成林. 面向AIGC类新型计算业务的算力网络挑战与设计^*[J]. 信息通信技术与政策, 2023, 49(6): 10-16.
[14]	郭亮. 数据中心发展综述[J]. 信息通信技术与政策, 2023, 49(5): 2-8.
[15]	闫希敏, 张琳琳. 电信和互联网行业数据共享安全管理初探[J]. 信息通信技术与政策, 2023, 49(5): 73-79.

运营商大模型硬件基础设施创新及RDMA流量控制技术研究

Research on hardware infrastructure innovation for large language model of telecom operators and RDMA traffic control technology

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 1

参考文献 10

相关文章 15

编辑推荐

Metrics

本文评价