A design of monitoring service platform for computing power industry based on large language model technology

doi:10.12267/j.issn.2096-5931.2024.06.007

Abstract

Abstract:

This paper proposes a design of monitoring service platform for computing power industry based on large language model technology, aiming to provide comprehensive support for intelligent decision-making in monitoring the development of the computing power industry by efficient technical means. The platform adopts a layered architecture design, with a bottom layer supported by a domestic large model base with 10 billion parameters, while the upper layer serves as a business application system, providing computing power development insights, intelligent analysis assistance, and other services.

Key words: large language model, vector database, computing power industry monitoring

CLC Number:

TN929.11

LI Feng, QIAO Chungeng. A design of monitoring service platform for computing power industry based on large language model technology[J]. Information and Communications Technology and Policy, 2024, 50(6): 45-53.

Add to citation manager EndNote|Ris|BibTeX

URL:

http://ictp.caict.ac.cn/EN/10.12267/j.issn.2096-5931.2024.06.007

http://ictp.caict.ac.cn/EN/Y2024/V50/I6/45

Figures/Tables 11

References 13

[1]	刘睿, 李宁东, 于美泽, 等. 复杂国际形势下算力产业的发展研究[J]. 信息通信技术与政策, 2024, 50 (2): 63-67.
[2]	中国信息通信研究院. 中国综合算力评价白皮书(2023年)[R], 2023.
[3]	夏润泽, 李丕绩. ChatGPT大模型技术发展与应用[J]. 数据采集与处理, 2023, 38(5):1017-1034.
[4]	赵朝阳, 朱贵波, 王金桥. ChatGPT给语言大模型带来的启示和多模态大模型新的发展思路[J]. 数据分析与知识发现, 2023(3):26-35.
[5]	刘贤松, 陈凌, 尹俊. 通信行业语言大模型技术和应用研究[J]. 邮电设计技术, 2023(7):14-19.
[6]	LIN H Y, VOAS J. Lower energy large language models (LLMs)[J]. Computer, 2023,10:14-16.
[7]	张鹤译, 王鑫, 韩立帆, 等. 大语言模型融合知识图谱的问答系统研究[J]. 计算机科学与探索, 2023, 17(10):2377-2388. DOI:10.3778/j.issn.1673-9418.2308070.
[8]	LUO L, NING J Z, ZHAO Y W, et al. Taiyi: a bilingual fine-tuned large language model for diverse biomedical tasks[J/OL]. Journal of the American Medical Informatics Association, 2024. DOI:10.1093/jamia/ocae037.
[9]	战士金. 大模型外挂(向量)知识库[EB/OL]. (2023-06-06)[2024-04-20]. https://zhuanlan.zhihu.com/p/633671394.
[10]	申展, 江宝林, 陈祎, 等. 全文检索模型综述[J]. 计算机科学, 2004(5):61-64.
[11]	管建和, 甘剑峰. 基于Lucene全文检索引擎的应用研究与实现[J]. 计算机工程与设计, 2007(2):489-491. DOI:10.16208/j.issn1000-7024.2007.02.078.
[12]	陈红丽. 算法算力在人工智能领域的发展与应用[J]. 中国安防, 2023(5):30-33.
[13]	RAJBHANDARI S, RASLEY J, RUWASE O, et al. ZeRO: memory optimizations toward training trillion parameter models[C]//Atlanta: SC20: International Conference for High Performance Computing, Networking, Storage and Analysis, 2020. DOI:10.1109/SC41405.2020.00024.

服务分类	平台应用需求
算力产业图谱	算力产业应用的基础框架,涵盖算力产业链的生成与管理,提供可视化展示与交互分析
产业资讯监测	完成产业链下任意产业节点的企业、产业资讯、产业政策等多维信息关联和穿透分析
企业监测服务	聚焦推动算力产业发展的微观主体企业,涵盖企业数据库、企业画像评估、企业风险预警、企业精准服务四大模块,为企业全景分析洞察、动态发展监测、智能化精准服务提供高效支撑
算力设施监测	支持接入算力产业发展指标体系,结合数据导入计算,呈现动态化、可视化的算力产业发展评估,支持全球算力产业发展评估和国内算力产业发展评估分析
智能分析助手	以大模型的语言理解和内容生成能力为基础,结合算力产业发展监测分析的各项推理应用,构建产业分析场景下的智能产业分析助手,通过智能化的交互形式为用户提供便捷的问答分析,提升工作效率

服务分类	平台应用需求
算力产业图谱	算力产业应用的基础框架,涵盖算力产业链的生成与管理,提供可视化展示与交互分析
产业资讯监测	完成产业链下任意产业节点的企业、产业资讯、产业政策等多维信息关联和穿透分析
企业监测服务	聚焦推动算力产业发展的微观主体企业,涵盖企业数据库、企业画像评估、企业风险预警、企业精准服务四大模块,为企业全景分析洞察、动态发展监测、智能化精准服务提供高效支撑
算力设施监测	支持接入算力产业发展指标体系,结合数据导入计算,呈现动态化、可视化的算力产业发展评估,支持全球算力产业发展评估和国内算力产业发展评估分析
智能分析助手	以大模型的语言理解和内容生成能力为基础,结合算力产业发展监测分析的各项推理应用,构建产业分析场景下的智能产业分析助手,通过智能化的交互形式为用户提供便捷的问答分析,提升工作效率

项目	传统技术	大模型技术
算力种类	以CPU为主	增加GPU算力
核心技术	大数据分布式计算、传统机器学习算法	增加大语言模型
知识积累应用	检索库	增加向量库
应用场景	数据分析	数据关联分析、资料总结、多轮对话
缺点	语言理解能力较弱,对于用户提出的问题可能理解错误,导致回答错误	GPU服务器费用高,初期设备购买和实施工作量投入大;对话有时也会出现幻觉情况

项目	传统技术	大模型技术
算力种类	以CPU为主	增加GPU算力
核心技术	大数据分布式计算、传统机器学习算法	增加大语言模型
知识积累应用	检索库	增加向量库
应用场景	数据分析	数据关联分析、资料总结、多轮对话
缺点	语言理解能力较弱,对于用户提出的问题可能理解错误,导致回答错误	GPU服务器费用高,初期设备购买和实施工作量投入大;对话有时也会出现幻觉情况

	InfiniBand	RoCEv2	TCP/IP
性能/μs	最好(<2)	较好(<5)	一般(<50)
带宽/GB/s	100、200、400	100、200、400	1、10
稳定性	好	较好	一般
硬件	IB网卡、IB交换机	RoCE网卡、普通交换机	普通网卡、普通交换机
成本	高	中	低
协议	私有	开源	开源
供应商	NVIDIA	NVIDIA、Intel、Broadcom	Intel、Broadcom、华为、中兴等