但很不幸" />

国产成人精品无码青草_亚洲国产美女精品久久久久∴_欧美人与鲁交大毛片免费_国产果冻豆传媒麻婆精东

18143453325 在線咨詢 在線咨詢
18143453325 在線咨詢
所在位置: 首頁 > 營銷資訊 > 行業(yè)動(dòng)態(tài) > 一套系統(tǒng)支持各種并行模式

一套系統(tǒng)支持各種并行模式

時(shí)間:2022-04-06 14:24:01 | 來源:行業(yè)動(dòng)態(tài)

時(shí)間:2022-04-06 14:24:01 來源:行業(yè)動(dòng)態(tài)

不同神經(jīng)網(wǎng)絡(luò)的最優(yōu)并行方法并不相同,像CNN這類大數(shù)據(jù)、小模型的神經(jīng)網(wǎng)絡(luò)層次最好用數(shù)據(jù)并行,對(duì)超大的全連接層這種模型更大的層次最好用模型并行,對(duì)于feature map超大或者層次超深的神經(jīng)網(wǎng)絡(luò)更適合流水并行。

但很不幸,原有主流框架僅支持常用的數(shù)據(jù)并行,要想使用模型并行或者流水并行功能,就必須借助某種插件或者做深度定制,而且這種定制系統(tǒng)都只能用于HugeCTR,Megatron-LM等某一種類型的神經(jīng)網(wǎng)絡(luò)。

OneFlow在系統(tǒng)層面支持了數(shù)據(jù)并行、模型并行和流水并行,不需要額外的插件和定制開發(fā),就可以以最小代碼量高效支持任何神經(jīng)網(wǎng)絡(luò)。

關(guān)鍵詞:并行,模式,支持

74
73
25
news

版權(quán)所有? 億企邦 1997-2022 保留一切法律許可權(quán)利。

為了最佳展示效果,本站不支持IE9及以下版本的瀏覽器,建議您使用谷歌Chrome瀏覽器。 點(diǎn)擊下載Chrome瀏覽器
關(guān)閉