深度学习推理侧模型优化架构探索

信息通信技术与政策 ›› 2020, Vol. 46 ›› Issue (9): 42-47.

深度学习推理侧模型优化架构探索

Exploration of model optimization architecture on the inference side of deep learning

出版日期:2020-09-15 发布日期:2020-11-05
作者简介:
孟伟：中兴通讯标准规划总工程师、开源总监,ITUFG-ML5G WG3 主席,Linux AI 基金会董事会董事,中国人工智能产业发展联盟总体组副组长,主要从事IP 网络、人工智能、5G 网络自动化/ 智能化技术方面的研究工作,累计获得相关领域专利授权20 余件袁丽雅：中兴通讯标准工程师、Linux 基金会Adlik 项目TSC 主席,主要从事人工智能模型训练、算法框架、开源生态等方面的研究工作韩炳涛：中兴通讯AI 技术委员会主席、人工智能平台总工程师,主要从事AI 系统架构、模型训练、推理加速及网络智能化应用方面的研究工作刘涛：中兴通讯人工智能平台系统工程师,主要从事人工智能开源平台、算法、模型训练等方向的技术研究工作

1. Nanjing R&D Center of ZTE Corporation, Nanjing 210012, China
2. Tianjin R&D Center of ZTE Corporation, Tianjin 300308, China

Online:2020-09-15 Published:2020-11-05

摘要/Abstract

摘要： 论述了深度学习推理侧模型优化的历史起源,阐述了模型优化加速的整体架构和创新应用,提出了推理侧模型优化业务的发展建议。

关键词: 模型优化, 人工智能, 模型加速

Abstract: This paper discusses the origin of model optimization on the inference side, describes the overall architecture and innovative applications of model optimization acceleration, and puts forward the suggestions for the model optimization on the inference side.

Key words: model optimization, artificial intelligence, model acceleration

孟伟, 袁丽雅, 韩炳涛, 刘涛. 深度学习推理侧模型优化架构探索[J]. 信息通信技术与政策, 2020, 46(9): 42-47.

MENG Wei, YUAN Liya, HAN Bingtao, LIU Tao. Exploration of model optimization architecture on the inference side of deep learning[J]. Information and Communications Technology and Policy, 2020, 46(9): 42-47.

[1]	中国人工智能产业发展联盟. 聚焦“新基建” \|人工智能支撑新冠肺炎疫情防控信息平台正当其时[Z / OL].http:/ / aiiaorg. cn /index. php? m = content&c = index&a = show&catid = 8&id=122.
[2]	ITU-T SG13-C-0917-R2. Architecture framework for serving ML models in future networks including IMT-2020[S], 2020.
[3]	GitHub. Tao Liu. adlik tutorials [R] . [2020-08-09].https:/ / github. com / Adlik / Adlik.
[4]	Benoit Jacob, Skirmantas Kligys, Bo Chen, et al.Quantization and training of neural networks for efficient integer-arithmetic-only inference [ N ]. arXiv:1712. 05877, 2017-12-15.

[1]	温博, 孙明俊, . 人工智能在ETC 中的应用研究[J]. 信息通信技术与政策, 2021, 47(5): 1-5.
[2]	李利利, 杨佩瑜, 陈新. 新发展阶段下的我国人工智能产业人才培养研究[J]. 信息通信技术与政策, 2021, 47(5): 6-10.
[3]	魏薇, 牛金行, 景慧昀. 构建安全保障体系,护航人工智能新基建发展[J]. 信息通信技术与政策, 2021, 47(5): 11-14.
[4]	徐凯, 蒋洁. 人工智能应用的社会性风险与监管对策*[J]. 信息通信技术与政策, 2021, 47(5): 15-20.
[5]	刘涛, 范毓婷. 人工智能时代智慧城市与城市大脑建设的挑战与局限性[J]. 信息通信技术与政策, 2021, 47(5): 22-25.
[6]	杨明川, 刘倩, 赵继壮. 人工智能数据中心研究[J]. 信息通信技术与政策, 2021, 47(4): 1-7.
[7]	刘宗妹. 区块链助力电信网络反欺诈协同治理*[J]. 信息通信技术与政策, 2021, 47(3): 61-65.
[8]	王蕴韬. 通信系统优化对分布式机器学习系统性能提升的分析[J]. 信息通信技术与政策, 2021, 47(3): 83-89.
[9]	王亦菲, 韩凯峰. 数字经济时代人工智能伦理风险及治理体系研究[J]. 信息通信技术与政策, 2021, 47(2): 32-36.
[10]	张彦坤, 王雪梅, 云梦妍, 朱佳佳, 陆亚鹏, 王义. ICT 新兴领域规模测算方法及实践[J]. 信息通信技术与政策, 2021, 47(2): 56-62.
[11]	李静雯, 王秀梅. 脑机接口技术在医疗领域的应用[J]. 信息通信技术与政策, 2021, 47(2): 87-91.
[12]	陈虎, 王成, 卢仁谦. 表面微观缺陷检测方法及其应用研究[J]. 信息通信技术与政策, 2021, 47(1): 20-26.
[13]	林德平, 彭涛, 刘春平. 6G 愿景需求、网络架构和关键技术展望*[J]. 信息通信技术与政策, 2021, 47(1): 82-89.
[14]	程强, 刘姿杉. 电信网络智能化发展现状与未来展望[J]. 信息通信技术与政策, 2020, 46(9): 16-22.
[15]	易芝玲, 　孙奇, 　吴杰, 　段然. 人工智能在5G 无线网络中的标准与应用进展[J]. 信息通信技术与政策, 2020, 46(9): 23-30.

深度学习推理侧模型优化架构探索

Exploration of model optimization architecture on the inference side of deep learning

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献 4

相关文章 15

编辑推荐

Metrics

本文评价