一种基于大模型技术的算力产业监测服务平台设计

doi:10.12267/j.issn.2096-5931.2024.06.007

摘要/Abstract

摘要：

提出了一种基于大模型技术的算力产业监测服务平台的设计,旨在通过高效的技术手段实现对算力产业发展监测,为智能化决策提供更加综合全面的支撑。该平台采用分层架构设计,底层以国产百亿参数大模型基座为支撑,上层为业务层应用系统,提供算力发展洞察、智能分析助手等功能。

关键词: 大模型, 向量库, 算力产业监测

Abstract:

This paper proposes a design of monitoring service platform for computing power industry based on large language model technology, aiming to provide comprehensive support for intelligent decision-making in monitoring the development of the computing power industry by efficient technical means. The platform adopts a layered architecture design, with a bottom layer supported by a domestic large model base with 10 billion parameters, while the upper layer serves as a business application system, providing computing power development insights, intelligent analysis assistance, and other services.

Key words: large language model, vector database, computing power industry monitoring

中图分类号:

TN929.11

李峰, 乔春庚. 一种基于大模型技术的算力产业监测服务平台设计[J]. 信息通信技术与政策, 2024, 50(6): 45-53.

LI Feng, QIAO Chungeng. A design of monitoring service platform for computing power industry based on large language model technology[J]. Information and Communications Technology and Policy, 2024, 50(6): 45-53.

导出引用管理器 EndNote|Ris|BibTeX

链接本文:

http://ictp.caict.ac.cn/CN/10.12267/j.issn.2096-5931.2024.06.007

http://ictp.caict.ac.cn/CN/Y2024/V50/I6/45

图/表 11

参考文献 13

[1]	刘睿, 李宁东, 于美泽, 等. 复杂国际形势下算力产业的发展研究[J]. 信息通信技术与政策, 2024, 50 (2): 63-67.
[2]	中国信息通信研究院. 中国综合算力评价白皮书(2023年)[R], 2023.
[3]	夏润泽, 李丕绩. ChatGPT大模型技术发展与应用[J]. 数据采集与处理, 2023, 38(5):1017-1034.
[4]	赵朝阳, 朱贵波, 王金桥. ChatGPT给语言大模型带来的启示和多模态大模型新的发展思路[J]. 数据分析与知识发现, 2023(3):26-35.
[5]	刘贤松, 陈凌, 尹俊. 通信行业语言大模型技术和应用研究[J]. 邮电设计技术, 2023(7):14-19.
[6]	LIN H Y, VOAS J. Lower energy large language models (LLMs)[J]. Computer, 2023,10:14-16.
[7]	张鹤译, 王鑫, 韩立帆, 等. 大语言模型融合知识图谱的问答系统研究[J]. 计算机科学与探索, 2023, 17(10):2377-2388. DOI:10.3778/j.issn.1673-9418.2308070.
[8]	LUO L, NING J Z, ZHAO Y W, et al. Taiyi: a bilingual fine-tuned large language model for diverse biomedical tasks[J/OL]. Journal of the American Medical Informatics Association, 2024. DOI:10.1093/jamia/ocae037.
[9]	战士金. 大模型外挂(向量)知识库[EB/OL]. (2023-06-06)[2024-04-20]. https://zhuanlan.zhihu.com/p/633671394.
[10]	申展, 江宝林, 陈祎, 等. 全文检索模型综述[J]. 计算机科学, 2004(5):61-64.
[11]	管建和, 甘剑峰. 基于Lucene全文检索引擎的应用研究与实现[J]. 计算机工程与设计, 2007(2):489-491. DOI:10.16208/j.issn1000-7024.2007.02.078.
[12]	陈红丽. 算法算力在人工智能领域的发展与应用[J]. 中国安防, 2023(5):30-33.
[13]	RAJBHANDARI S, RASLEY J, RUWASE O, et al. ZeRO: memory optimizations toward training trillion parameter models[C]//Atlanta: SC20: International Conference for High Performance Computing, Networking, Storage and Analysis, 2020. DOI:10.1109/SC41405.2020.00024.

服务分类	平台应用需求
算力产业图谱	算力产业应用的基础框架,涵盖算力产业链的生成与管理,提供可视化展示与交互分析
产业资讯监测	完成产业链下任意产业节点的企业、产业资讯、产业政策等多维信息关联和穿透分析
企业监测服务	聚焦推动算力产业发展的微观主体企业,涵盖企业数据库、企业画像评估、企业风险预警、企业精准服务四大模块,为企业全景分析洞察、动态发展监测、智能化精准服务提供高效支撑
算力设施监测	支持接入算力产业发展指标体系,结合数据导入计算,呈现动态化、可视化的算力产业发展评估,支持全球算力产业发展评估和国内算力产业发展评估分析
智能分析助手	以大模型的语言理解和内容生成能力为基础,结合算力产业发展监测分析的各项推理应用,构建产业分析场景下的智能产业分析助手,通过智能化的交互形式为用户提供便捷的问答分析,提升工作效率

服务分类	平台应用需求
算力产业图谱	算力产业应用的基础框架,涵盖算力产业链的生成与管理,提供可视化展示与交互分析
产业资讯监测	完成产业链下任意产业节点的企业、产业资讯、产业政策等多维信息关联和穿透分析
企业监测服务	聚焦推动算力产业发展的微观主体企业,涵盖企业数据库、企业画像评估、企业风险预警、企业精准服务四大模块,为企业全景分析洞察、动态发展监测、智能化精准服务提供高效支撑
算力设施监测	支持接入算力产业发展指标体系,结合数据导入计算,呈现动态化、可视化的算力产业发展评估,支持全球算力产业发展评估和国内算力产业发展评估分析
智能分析助手	以大模型的语言理解和内容生成能力为基础,结合算力产业发展监测分析的各项推理应用,构建产业分析场景下的智能产业分析助手,通过智能化的交互形式为用户提供便捷的问答分析,提升工作效率

项目	传统技术	大模型技术
算力种类	以CPU为主	增加GPU算力
核心技术	大数据分布式计算、传统机器学习算法	增加大语言模型
知识积累应用	检索库	增加向量库
应用场景	数据分析	数据关联分析、资料总结、多轮对话
缺点	语言理解能力较弱,对于用户提出的问题可能理解错误,导致回答错误	GPU服务器费用高,初期设备购买和实施工作量投入大;对话有时也会出现幻觉情况

项目	传统技术	大模型技术
算力种类	以CPU为主	增加GPU算力
核心技术	大数据分布式计算、传统机器学习算法	增加大语言模型
知识积累应用	检索库	增加向量库
应用场景	数据分析	数据关联分析、资料总结、多轮对话
缺点	语言理解能力较弱,对于用户提出的问题可能理解错误,导致回答错误	GPU服务器费用高,初期设备购买和实施工作量投入大;对话有时也会出现幻觉情况

	InfiniBand	RoCEv2	TCP/IP
性能/μs	最好(<2)	较好(<5)	一般(<50)
带宽/GB/s	100、200、400	100、200、400	1、10
稳定性	好	较好	一般
硬件	IB网卡、IB交换机	RoCE网卡、普通交换机	普通网卡、普通交换机
成本	高	中	低
协议	私有	开源	开源
供应商	NVIDIA	NVIDIA、Intel、Broadcom	Intel、Broadcom、华为、中兴等