4月23日,有媒体爆料称,百度文心一言启动邀测一个多月时间里,用户同时在线数持续增长,响应速度面临压力。飞桨与文心一言联合优化,一个月内迭代了4次,推理性能提升近10倍,其中业内首创的支持动态插入的分布式推理引擎,推理性能提升了123%。
百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰在最近一次采访中谈及文心一言近况,他表示:“文心一言进步飞速,首先是基于我们人工智能四层架构的全栈布局,从芯片、深度学习框架,到大模型,再到应用,实现了层与层反馈,端到端优化,一起推动文心一言的进步。尤其是飞桨深度学习平台和文心一言的联合优化,大幅提升模型训练和推理速度,更好的满足用户需求。同时文心一言也建立起人类反馈、奖励模型和策略优化之间的飞轮机制,随着真实用户的反馈越来越多,模型效果越来越好,能力越来越强。”
据了解,飞桨支撑了文心一言从开发训练到推理部署的全流程。首先在大模型训练上,飞桨的端到端自适应分布式训练技术,通过自动感知硬件环境,多维混合并行策略,异步流水线执行等,支撑了大模型高效训练,相关技术在全球权威AI训练性能基准测试MLPerf上获得多项第一;在推理部署上,飞桨支持大模型高效推理,提供服务化部署能力,包括计算融合、软硬协同的稀疏量化、模型压缩等,提升推理效率,帮助节约算力资源。
有分析人士解读认为,“大模型就仿佛汽车的发动机,光账面上的动力强,参数大是没有用的,要压榨出发动机瞬时最大爆发力(QPS)以及最优的性能表现。深度学习框架就像是生产发动机和变速箱的,可以让发动机整体部件组合更精密、动力更强。自研产品彼此适配度更高,协同会更高效,这可能是效率提升的最根本原因。”
据国际权威数据调研机构IDC《中国深度学习框架和平台市场份额,2022H2》报告显示,百度稳居中国深度学习平台市场综合份额第一,领先优势进一步扩大。