大模型智算基础设施夯实新型工业化赋能底座

doi:10.12267/j.issn.2096-5931.2024.12.001

信息通信技术与政策 ›› 2024, Vol. 50 ›› Issue (12): 2-6.doi: 10.12267/j.issn.2096-5931.2024.12.001

大模型智算基础设施夯实新型工业化赋能底座

Large model intelligent computing infrastructure reinforces the enabling foundation for new industrialization

李论, 郭英男, 王子暄

中国信息通信研究院人工智能研究所,北京 100191

收稿日期:2024-11-04 出版日期:2024-12-25 发布日期:2025-01-02
作者简介:
李论, 中国信息通信研究院人工智能研究所软硬件与创新生态部主任,高级工程师,长期从事模型算法、智能计算、基础软硬件生态等方面的研究工作；
郭英男, 中国信息通信研究院人工智能研究所软硬件与创新生态部工程师,长期从事智能计算、基础软硬件生态等方面的研究工作；
王子暄, 中国信息通信研究院人工智能研究所软硬件与创新生态部工程师,长期从事模型算法、智能计算、基础软硬件生态等方面的研究工作

LI Lun, GUO Yingnan, WANG Zixuan

Artificial Intelligence Research Institute, China Academy of Information and Communications Technology, Beijing 100191, China

Received:2024-11-04 Online:2024-12-25 Published:2025-01-02

摘要/Abstract

摘要：

大模型时代,智算基础设施是模型原始创新与应用赋能的底层驱动,是人工智能赋能新型工业化的基础底座。分析阐述了智算基础设施的发展趋势与挑战,从软硬件协同、算力能效、网络架构和运维保障等方面,总结归纳出评价大模型智算基础设施能力的四大重点,并提出了发展我国大模型智算基础设施生态的策略建议。

关键词: 大模型, 智算基础设施, 新型工业化

Abstract:

In the era of large models, intelligent computing infrastructure serves as the underlying driver for original model innovation and application enablement, and forms the foundational base for artificial intelligence to empower new industrialization. This paper analyzes and elaborates on the development trends and challenges of intelligent computing infrastructure. From aspects such as hardware-software coordination, computing power efficiency, network architecture, and operation and maintenance support, it summarizes four key points for evaluating the capabilities of intelligent computing infrastructure for large models, and proposes strategic suggestions for developing the ecosystem of intelligent computing infrastructure.

Key words: large models, intelligent computing infrastructure, new industrialization

中图分类号:

TP338.4

李论, 郭英男, 王子暄. 大模型智算基础设施夯实新型工业化赋能底座[J]. 信息通信技术与政策, 2024, 50(12): 2-6.

LI Lun, GUO Yingnan, WANG Zixuan. Large model intelligent computing infrastructure reinforces the enabling foundation for new industrialization[J]. Information and Communications Technology and Policy, 2024, 50(12): 2-6.

导出引用管理器 EndNote|Ris|BibTeX

链接本文:

http://ictp.caict.ac.cn/CN/10.12267/j.issn.2096-5931.2024.12.001

http://ictp.caict.ac.cn/CN/Y2024/V50/I12/2

208

HTML			PDF

最新录用	在线预览	正式出版	最新录用	在线预览	正式出版
0	0	37	0	0	171

来源	本网站	其他网站

次数	202	6
比例	97%	3%

摘要

307

最新录用	在线预览	正式出版

0	0	307

	来源	本网站

	次数	307
	比例	100%

基础模型	集群硬件环境	模型算力利用率 (MFU)
GPT-4(1 800 B)	25 000×A100	32%~36%
Gopher(280 B)	4 096×TPUv3	32.5%
Llama 3.1(405 B)	16 384×H100	41%
PaLM(540 B)	6 144×TPUv4	46.2%
字节Transformer 模型(175 B)	12 288×A100/800^[5]	55.2%

基础模型	集群硬件环境	模型算力利用率 (MFU)
GPT-4(1 800 B)	25 000×A100	32%~36%
Gopher(280 B)	4 096×TPUv3	32.5%
Llama 3.1(405 B)	16 384×H100	41%
PaLM(540 B)	6 144×TPUv4	46.2%
字节Transformer 模型(175 B)	12 288×A100/800^[5]	55.2%

[1]	SEVILLA J, ROLDÁN E. Training compute of frontier AI models grows by 4-5x per year[J/OL]. Epoch AI, (2024-05-28)[2024-10-20]. https://epoch.ai/blog/training-compute-of-frontier-ai-models-grows-by-4-5x-per-year.
[2]	OpenAI R. GPT-4 technical report[J]. arXiv Preprint, arXiv: 2303.08774, 2023.
[3]	DUBEY A, JAUHRI A, PANDEY A, et al. The Llama 3 herd of models[J]. arXiv Preprint, arXiv: 2407.21783, 2024.
[4]	AMIN V, MARK L. Announcing cloud TPU v5e GA for cost-efficient AI model training and inference[EB/OL]. (2023-11-09)[2024-10-20]. https://cloud.google.com/blog/products/compute/announcing-cloud-tpu-v5e-in-ga.
[5]	JIANG Z, LIN H, ZHONG Y, et al. MegaScale: scaling large language model training to more than 10 000 GPUs[J]. arXiv Preprint, arXiv: 2402.15627, 2024.
[6]	QIAN K, XI Y, CAO J, et al. Alibaba HPN: a data center network for large language model training[C]// Proceedings of the ACM SIGCOMM 2024 Conference, 2024.

[1]	张圆梦, 周琴, 袁丽莉. 大模型驱动下智能化城市公共服务应用探究[J]. 信息通信技术与政策, 2024, 50(9): 37-42.
[2]	李峰, 乔春庚. 一种基于大模型技术的算力产业监测服务平台设计[J]. 信息通信技术与政策, 2024, 50(6): 45-53.
[3]	李帅峥, 钱正, 董正浩, 史翔. 政务大模型的技术应用路径及发展建议[J]. 信息通信技术与政策, 2024, 50(6): 76-82.
[4]	车碧瑶, 张永航, 廖怡, 唐剑, 樊小平, 赵继壮, 陆钢. 运营商大模型硬件基础设施创新及RDMA流量控制技术研究[J]. 信息通信技术与政策, 2024, 50(2): 26-32.
[5]	王蕴韬. 大语言模型核心架构演进态势分析[J]. 信息通信技术与政策, 2024, 50(12): 13-20.
[6]	刘威辰, 杨华锋, 江民民, 刘敬谦. 大模型应用服务平台建设研究[J]. 信息通信技术与政策, 2024, 50(12): 21-30.
[7]	董昊, 刘星辰, 曹峰, 张发恩, 高凌燕. 人工智能赋能制造业全流程的技术及应用研究[J]. 信息通信技术与政策, 2024, 50(12): 42-50.
[8]	瞿江, 张义. 人工智能在工业领域的应用案例分析及路径研究[J]. 信息通信技术与政策, 2024, 50(12): 51-57.
[9]	孙小童, 郭苏敏. 人工智能嵌入新型工业化进程中的数据治理困局与因应[J]. 信息通信技术与政策, 2024, 50(12): 7-12.
[10]	王天舟, 张华, 刘奇申, 黄超. 深度学习与大模型技术在北京中轴线实景重建中的应用[J]. 信息通信技术与政策, 2024, 50(12): 82-88.
[11]	高信波, 张素, 李小龙, 卢亚光. “双碳”目标下能源数字化转型推动我国工业绿色低碳发展[J]. 信息通信技术与政策, 2024, 50(10): 28-34.
[12]	李腾达. OnePower多模态大模型助力能源数字化转型[J]. 信息通信技术与政策, 2024, 50(10): 82-90.
[13]	武林娜, 宋恺, 王淞鹤. 生成式人工智能对个人信息安全的挑战及应对策略[J]. 信息通信技术与政策, 2024, 50(1): 13-18.
[14]	朱刚, 张美翔, 孙浩文, 李家京, 张亮, 杨云龙. ChatGPT带给智慧城市的启示——未来城市演进路径的探讨[J]. 信息通信技术与政策, 2023, 49(6): 71-78.

大模型智算基础设施夯实新型工业化赋能底座

Large model intelligent computing infrastructure reinforces the enabling foundation for new industrialization

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 2

参考文献 6

相关文章 14

编辑推荐

Metrics

本文评价