***
一种分布式深度学习参数量化通信优化方法及系统
知法狮VIP-黄金卡
尊享会员价、24小时在线客服、7天无理由退换货
立即开通
贴心服务
快速响应
售后保障
快捷支付
专业团队
担保交易
领券
无门槛减69.99
满2000减138
- 介绍
- 参数
请编辑该产品详情...
价格
***
专利号
2018113829707
专利类型
发明
申请日
2018-11-20 00:00:00
公开日
2019-04-16 00:00:00
法律状态
有效
国家/地区
中国
IPC分类号
G06N3/04
技术领域
G-物理
申请人/权利人
华中科技大学
摘要
本发明公开了一种基于离散余弦变换的分布式深度学习参数量化通信优化方法及系统，将分布式深度学习中的梯度值进行离散余弦变换后，再压缩处理，更新权重时反量化操作，形成一种通信高效的分布式深度学习系统。在工作节点发送梯度数据到参数服务器之前，采用梯度划分、GPU并行计算、离散余弦变换与量化及高频滤波压缩方法处理梯度值，然后推送至参数服务器。工作节点通过拉取操作，从参数服务器得到权重之后，采用离散余弦反变换