Horovod成就分布式深度学习金标准,Uber专家将在AI计算大会分享

时间:2019-09-02 来源:www.feijiazhuang.com

我想在2天前分享wave circle

大多数人对优步在人工智能领域的看法可能来自自动驾驶,但实际上优步也对人工智能的基础技术做出了杰出贡献。其开源分布式深度学习框架Horovod是世界上最好的人工。作为智能培训加速框架之一,成千上万的人工智能开发人员和组织从中受益。 8月28日,在北京召开的2019年人工智能计算大会(AICC2019)上,Nber深度学习平台经理宁旭将分享如何更好地利用Horovod在主要论坛中加速AI模型培训。

在Horovod的普及背后,人工智能计算能力的需求急剧增加

Horovod本质上是由优步开发和开源的先进分布式系统。它不依赖于框架。相反,它使用广泛认可的基于ring-all-reduce通信的同步SGD算法,该算法通过计算和通信是异步的。梯度合并,梯度压缩等设备通信优化工具,完成allreduce,allgather等集体操作的通信工作。此功能使Horovod可以轻松匹配主流深度学习框架TensorFlow,PyTorch,MXNet等。大规模GPU集群的培训性能远高于本机框架,提供非常高效的分布式培训性能加速。 Horovod的另一个巨大优势是它提供了一个非常简单的界面,允许用户通过几行代码实现显着的培训性能改进。

Horovod之所以受到越来越多的人工智能开发者和研究机构的青睐,是因为随着越来越多的机器学习模型的出现,对数据和计算能力的需求急剧增加。在大多数情况下,人工智能模型可以在单个或多个GPU平台服务器上运行,但随着数据集的增加和培训时间的增加,有时培训需要一周或更长时间。因此,人工智能开发者必须寻求分布式的训练方法来缩短模型训练的时间。

Uber分享Horovod的“独家提示”

Uber已经将深度学习应用到许多公司业务中,从自主驾驶搜索路线到防御欺诈。Uber深度学习平台的经理NBER认为,培训现代和复杂的深度学习模型需要大量的计算。将计算扩展到多个GPU面临两个主要挑战:低成本、高效的GPU间通信库和对用户代码的巨大更改。Horovod成功地解决了这两个问题。

在AICC219上,徐宁将发表主题演讲《利用Horovod进行分布式深度学习》,不仅将在现场分享如何在TensorFlow、Keras、Pythort和MXnet中更快、更轻松地在Horsod进行培训,并解释Horovod是如何运作的。Uber最近在橡树岭国家实验室的案例研究也将被披露,描述了Horovod在世界上最快的超级计算机上实现数十亿的计算。

徐宁带领Uber的大数据和基础设施团队负责开源项目,在机器学习、深度学习、大数据和大规模计算、网络和存储问题方面拥有丰富的经验。在加入优步之前,徐宁曾在Facebook、Akamai和Microsoft以及多家初创公司工作。

AICC219非常令人兴奋

AICC 2019是一个很棒的活动。核心论坛是主要的论坛和自动驾驶,行业AI创新,AI计算和基准测试,AI +视觉计算,AI +风险投资五大主题论坛,其中主要论坛嘉宾云集中国工程院,皇家顶级专家和AI产业学者,学术界,研究院,百度,中国新一代人工智能发展战略研究所,浪潮,Facebook等机构聚集在一起,诠释AI行业趋势,分享尖端的AI计算技术。同期举办的AI千人培训营将邀请百度,平安科技和浪潮的高级人工智能工程师讲解最新的人工智能计算技术和应用,帮助学生开始使用人工智能。

AICC 2019主要论坛嘉宾阵容

与此同时,AICC2019会议也将发布“

AICC会议由中国工程院信息与电子工程系主办,浪潮集团主办。目的是围绕人工智能的工业需求讨论人工智能计算,并促进人工智能技术创新,合作开发和人才培养。目前,AICC会议已成为人工智能计算领域最重要的尖端技术交流平台,每年吸引成千上万的AI行业和技术领导者,顶级AI专家和AI开发人员。

收集报告投诉

大多数人对优步在人工智能领域的看法可能来自自动驾驶,但实际上优步也对人工智能的基础技术做出了杰出贡献。其开源分布式深度学习框架Horovod是世界上最好的人工。作为智能培训加速框架之一,成千上万的人工智能开发人员和组织从中受益。 8月28日,在北京召开的2019年人工智能计算大会(AICC2019)上,Nber深度学习平台经理宁旭将分享如何更好地利用Horovod在主要论坛中加速AI模型培训。

在Horovod的普及背后,人工智能计算能力的需求急剧增加

Horovod本质上是由优步开发和开源的先进分布式系统。它不依赖于框架。相反,它使用广泛认可的基于ring-all-reduce通信的同步SGD算法,该算法通过计算和通信是异步的。梯度合并,梯度压缩等设备通信优化工具,完成allreduce,allgather等集体操作的通信工作。此功能使Horovod可以轻松匹配主流深度学习框架TensorFlow,PyTorch,MXNet等。大规模GPU集群的培训性能远高于本机框架,提供非常高效的分布式培训性能加速。 Horovod的另一个巨大优势是它提供了一个非常简单的界面,允许用户通过几行代码实现显着的培训性能改进。

Horovod之所以受到越来越多的AI开发人员和研究机构的青睐,是因为随着越来越多的机器学习模型对数据和计算能力的需求急剧增加。在大多数情况下,AI模型可以在单GPU或多GPU平台服务器上运行,但随着数据集的增加和培训时间的增加,有时培训需要一周或更长时间。因此,AI开发人员必须寻求分布式培训方法来缩短模型培训的时间。

优步分享了Horovod的“独家提示”

优步已经将许多公司业务应用于深度学习,从自动驾驶搜索路线到防御性欺诈。优步深度学习平台的经理Nber认为,培训现代和复杂的深度学习模型需要大量的计算。将计算扩展到多个GPU面临两个主要挑战:低成本,高效的GPU间通信库以及对用户代码的大量更改。 Horovod成功解决了这两个问题。

在AICC2019上,宁旭将发表主题演讲《利用Horovod进行分布式深度学习》,它不仅将分享现场如何在TensorFlow,Keras,PyTorch和MXNet中实现更快更容易的Horsod分布式培训,并解释Horovod如何运作。优步最近在橡树岭国家实验室的案例研究也将被披露,描述了Horovod在世界上最快的超级计算机上实施数十亿计算机。

Ning Xu领导优步的大数据和基础设施团队负责开源项目,这些项目在机器学习,深度学习,大数据和大规模计算,网络和存储问题方面拥有丰富的经验。在加入优步之前,徐宁曾在Facebook,Akamai和微软以及几家初创公司工作。

AICC2019非常令人兴奋

AICC 2019是一个很棒的活动。核心论坛是主要的论坛和自动驾驶,行业AI创新,AI计算和基准测试,AI +视觉计算,AI +风险投资五大主题论坛,其中主要论坛嘉宾云集中国工程院,皇家顶级专家和AI产业学者,学术界,研究院,百度,中国新一代人工智能发展战略研究所,浪潮,Facebook等机构聚集在一起,诠释AI行业趋势,分享尖端的AI计算技术。同期举办的AI千人培训营将邀请百度,平安科技和浪潮的高级人工智能工程师讲解最新的人工智能计算技术和应用,帮助学生开始使用人工智能。

AICC 2019主要论坛嘉宾阵容

与此同时,AICC2019会议也将发布“

AICC会议由中国工程院信息与电子工程系主办,浪潮集团主办。目的是围绕人工智能的工业需求讨论人工智能计算,并促进人工智能技术创新,合作开发和人才培养。目前,AICC会议已成为人工智能计算领域最重要的尖端技术交流平台,每年吸引数千名AI行业和技术领导者,顶级AI专家和AI开发人员。