時間：2022-03-13 06:51:01 | 來源：行業(yè)動態(tài)
時間：2022-03-13 06:51:01 來源：行業(yè)動態(tài)
Horovod實質(zhì)上是Uber開發(fā)并開源的一套先進(jìn)的分布式系統(tǒng)，它并不依賴于某個框架，而是采用目前業(yè)界廣泛認(rèn)可的基于環(huán)形All-reduce通信的同步SGD算法，通過計算與通信異步、梯度合并、梯度壓縮等設(shè)備間通信優(yōu)化手段，完成allreduce、allgather等集體操作通信工作。這一特性使得Horovod可以非常方便地與主流深度學(xué)習(xí)框架TensorFlow、PyTorch、 MXNet等進(jìn)行匹配，在大規(guī)模GPU集群上的訓(xùn)練性能遠(yuǎn)高于原生框架的訓(xùn)練性能，提供非常高效的分布式訓(xùn)練性能加速。Horovod的另一大優(yōu)點在于其提供的接口極為簡單，用戶只需修改幾行代碼，就可實現(xiàn)顯著的訓(xùn)練性能提升。關(guān)鍵詞：需求,增加,急劇
微信公眾號
版權(quán)所有? 億企邦 1997-2022 保留一切法律許可權(quán)利。
在線咨詢