大模型算力基础设施技术趋势、关键挑战与发展路径

doi:10.12267/j.issn.2096-5931.2024.06.001

信息通信技术与政策 ›› 2024, Vol. 50 ›› Issue (6): 2-9.doi: 10.12267/j.issn.2096-5931.2024.06.001

大模型算力基础设施技术趋势、关键挑战与发展路径

Large model computing infrastructure technological trends, key challenges, and development trajectories

张政, 冯少飞

浪潮电子信息产业股份有限公司,北京 100089

收稿日期:2024-05-10 出版日期:2024-06-25 发布日期:2024-07-30
作者简介:
张政, 浪潮电子信息产业股份有限公司产品总监,计算机科学与技术博士后,主要从事计算机体系结构、异构计算等方面技术研究和产业化工作;
冯少飞, 浪潮电子信息产业股份有限公司高级产品经理,计算机科学与技术博士后,主要从事计算机体系结构、绿色计算方面技术研究和产业化工作

ZHANG Zheng, FENG Shaofei

IEIT SYSTEMS Co., Ltd., Beijng 100089, China

Received:2024-05-10 Online:2024-06-25 Published:2024-07-30

摘要/Abstract

摘要：

从大模型技术发展趋势出发,分析了多模态、长序列和混合专家模型的架构特征和算力需求特点。围绕大模型对巨量算力规模与复杂通信模式的需求,重点从算力利用效率、集群互联技术两方面量化分析了当前大模型算力基础设施存在的发展问题和面临的技术挑战,并提出了以应用为导向、以系统为核心、以效率为目标的高质量算力基础设施发展路径。

关键词: 多模态模型, 长序列模型, 混合专家模型, 算力利用效率, 集群互联, 高质量算力

Abstract:

Starting from the latest technological development trends of large models, this paper first analyzes the architectural characteristics and computing power demand features of multimodal, long sequence, and mixture of experts models. Further, it focuses on the requirements of the latest large models for massive computing power scale and complex communication patterns. It quantitatively analyzes the current development problems and technical challenges faced by large model computing infrastructure from two aspects: computating efficiency and cluster interconnection technology. Finally, it proposes a high-quality computing infrastructure development trajectory oriented by applications, centered on systems, and targeted at efficiency.

Key words: multimodal model, long sequence model, mixture of experts model, computating efficiency, cluster interconnection, high-quality computing power

中图分类号:

TN929.11

张政, 冯少飞. 大模型算力基础设施技术趋势、关键挑战与发展路径[J]. 信息通信技术与政策, 2024, 50(6): 2-9.

ZHANG Zheng, FENG Shaofei. Large model computing infrastructure technological trends, key challenges, and development trajectories[J]. Information and Communications Technology and Policy, 2024, 50(6): 2-9.

导出引用管理器 EndNote|Ris|BibTeX

链接本文:

http://ictp.caict.ac.cn/CN/10.12267/j.issn.2096-5931.2024.06.001

http://ictp.caict.ac.cn/CN/Y2024/V50/I6/2

图/表 4

参考文献 12

[1]	VASWANI A, SHAZEER N, PARMAR N, et al. Attention is all you need[J]. arXiv Preprint. arXiv:1706.03762, 2023. DOI:10.48550/arXiv.1706.03762.
[2]	DEVLIN J, CHANG M W, LEE K, et al. BERT: pre-training of deep bidirectional transformers for language understanding[J]. arXiv Preprint. arXiv:1810.04805, 2018. DOI:10.48550/arXiv.1810.04805.
[3]	YEKTA M M J. The general intelligence of GPT-4, its knowledge diffusive and societal influences, and its governance[J]. Meta-Radiology, 2024, 2(2):20-37.
[4]	SUN C, MYERS A, VONDRICK C, et al. VideoBERT: a joint model for video and language representation learning[C]. Seoul: IEEE CVF International Conference on Computer Vision (ICCV), 2019:7463-7472. DOI:10.1109/ICCV.2019.00756.
[5]	KORTHIKANTI V, CASPER J, LYM S, et al. Reducing activation recomputation in large transformer models[J]. arXiv Preprint. arXiv:2205.05198, 2022. DOI:10.48550/arXiv.2205.05198.
[6]	FEDUS W, ZOPH B, SHAZEER N. Switch transformers: scaling to trillion parameter models with simple and efficient sparsity[J]. arXiv Preprint. arXiv:2101.03961, 2021. DOI:10.48550/arXiv.2101.03961.
[7]	TOUVRON H G, LAVRIL T, IZACARD G, et al. LLaMA: open and efficient foundation language models[J]. arXiv Preprint. arXiv:2302.13971, 2023. DOI: 10.48550/arXiv.2302.13971.
[8]	LIEBER O, LENZ B, BATA H, et al. Jamba: a hybrid transformer-mamba language model[J]. arXiv Preprint. arXiv:2403.19887, 2024.
[9]	LEPIKHIN D, LEE H J, XU Y, et al. GShard: scaling giant models with conditional computation and automatic sharding[J]. arXiv Preprint. arXiv:2006.16668, 2020. DOI:10.48550/arXiv.2006.16668.
[10]	PATEL D, WONG G. GPT-4architecture, infrastructure, training dataset, costs, vision, MoE[EB/OL]. (2023-07-10)[2024-04-20]. https://www.semianalysis.com/p/gpt-4-architecture-infrastructure.
[11]	GHOLAMI A, YAO Z, KIM S, et al. AI and memory wall[J/OL]. arXiv Preprint. arXiv:2403.14123v1, 2024. https://arxiv.org/html/2403.14123v1.
[12]	国家信息中心. 智能计算中心创新发展指南[Z], 2023.

[1]	硕天鸾, 董一民. 人工智能时代数据库技术创新态势研究[J]. 信息通信技术与政策, 2024, 50(6): 17-22.
[2]	孙承乾, 王杨. 企业数据资产价值评价指标体系研究[J]. 信息通信技术与政策, 2024, 50(6): 30-36.
[3]	鲁楠, 梁林俊, 翟兆瑞, 李贺. 先进计算技术在工业数字化碳管理领域的应用研究[J]. 信息通信技术与政策, 2024, 50(6): 37-44.
[4]	李峰, 乔春庚. 一种基于大模型技术的算力产业监测服务平台设计[J]. 信息通信技术与政策, 2024, 50(6): 45-53.
[5]	谢丽娜, 刘睿, 谭轶男, 赵妍. 基于组合赋权-TOPSIS模型的上合国家数字基础设施发展水平研究[J]. 信息通信技术与政策, 2024, 50(6): 54-61.
[6]	杜艳艳, 姚敏祺, 陈文祺. 基于5G/5G-A的全要素车联网行业综合应用实践[J]. 信息通信技术与政策, 2024, 50(6): 62-69.
[7]	史磊, 袁中举, 衣强, 李实. 鸿蒙应用安全与个人信息保护思考[J]. 信息通信技术与政策, 2024, 50(6): 70-75.
[8]	成苈委, 张倩, 梁栗炎, 周洁, 于青民, 黄俊杰. 面向脑机接口的高速通信需求及相关应用场景[J]. 信息通信技术与政策, 2024, 50(5): 12-17.
[9]	张健, 陈晓涵, 曹珩, 叶勇. 新形势下“一带一路”共建国家数字经济供给能力比较研究^*[J]. 信息通信技术与政策, 2024, 50(5): 79-86.
[10]	洪启安, 于润东, 于胜波, 龙翔宇. 智能网联汽车数据要素流通综述[J]. 信息通信技术与政策, 2024, 50(3): 27-34.
[11]	赵越, 温桂, 周光涛, 辛亮, 雷凯茹, 赵淳. 基于5G+AI的自主泊车系统研究[J]. 信息通信技术与政策, 2024, 50(3): 45-52.
[12]	李伯雄, 于润东, 于胜波, 郭美英. 车联网基础设施系统级测试运维体系研究[J]. 信息通信技术与政策, 2024, 50(3): 66-72.
[13]	李建, 阮迪. 多样化算力对服务器的散热挑战分析[J]. 信息通信技术与政策, 2024, 50(2): 46-54.
[14]	刘睿, 李宁东, 于美泽, 谢丽娜. 复杂国际形势下算力产业的发展研究[J]. 信息通信技术与政策, 2024, 50(2): 63-67.
[15]	罗鉴, 雷波, 郑秀丽, 杜宗鹏, 李晶林. 网络5.0应用场景分析与总体技术要求[J]. 信息通信技术与政策, 2023, 49(12): 12-20.

大模型算力基础设施技术趋势、关键挑战与发展路径

Large model computing infrastructure technological trends, key challenges, and development trajectories

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 4

参考文献 12

相关文章 15

编辑推荐

Metrics

本文评价