国产成人精品无码青草_亚洲国产美女精品久久久久∴_欧美人与鲁交大毛片免费_国产果冻豆传媒麻婆精东

18143453325 在線咨詢 在線咨詢
18143453325 在線咨詢
所在位置: 首頁 > 營銷資訊 > 行業(yè)動態(tài) > 挑戰(zhàn):如何加速深度學(xué)習(xí)部署與優(yōu)化

挑戰(zhàn):如何加速深度學(xué)習(xí)部署與優(yōu)化

時間:2022-03-24 17:27:01 | 來源:行業(yè)動態(tài)

時間:2022-03-24 17:27:01 來源:行業(yè)動態(tài)

隨著深度學(xué)習(xí)算法的不斷創(chuàng)新,越來越多的應(yīng)用需要對深度學(xué)習(xí)模型進行大規(guī)模和實時的分布式推理服務(wù)。雖然已經(jīng)有一些工具可用于模型優(yōu)化、服務(wù)、集群調(diào)度、工作流管理等相關(guān)任務(wù),但是對于許多深度學(xué)習(xí)的工程師和科學(xué)家而言,開發(fā)和部署能夠透明地擴展到大型集群的分布式推理工作流仍然是一個嚴峻的挑戰(zhàn)。

為了便于構(gòu)建和生成面向大數(shù)據(jù)的深度學(xué)習(xí)應(yīng)用程序,英特爾推出了 Analytics Zoo 平臺。該平臺提供了統(tǒng)一的數(shù)據(jù)分析 AI平臺,可將TensorFlow、Keras、Pytorch、BigDl Spark、Flink和 Ray 程序無縫集成到一個統(tǒng)一的數(shù)據(jù)分析流水線中,用于分布式訓(xùn)練或預(yù)測,方便用戶構(gòu)建深度學(xué)習(xí)應(yīng)用。整個流水線可以透明地擴展到運行在由搭載英特爾 至強 處理器的服務(wù)器組成的 Hadoop/Spark 集群上,以進行分布式訓(xùn)練或推理。

Analytics Zoo 在較新的版本中還提供了對于 Cluster Serving 的支持,構(gòu)建了輕量級、分布式、實時的模型服務(wù)解決方案。Analytics Zoo Cluster Serving 支持多種深度學(xué)習(xí)模型,提供了一個簡單的發(fā)布/訂閱 API,可支持用戶可輕松地將他們的推理請求發(fā)送到輸入隊列。然后,Cluster Serving 將使用分布式流框架在大型集群中進行實時模型推理和自動擴展規(guī)模。



圖1. Analytics Zoo Cluster Serving 解決方案總體框架

要部署基于 Analytics Zoo Cluster Serving 的深度學(xué)習(xí)算法與應(yīng)用,企業(yè)需要進行硬件選型、優(yōu)化與驗證,以提供高性能的算力支撐,但在此過程中,企業(yè)也面臨著艱巨的挑戰(zhàn)。首先,傳統(tǒng)的解決方案并非是全棧設(shè)計,需要在硬件選型、軟硬件適配與優(yōu)化等方面耗費大量的時間與精力,也容易帶來總體擁有成本 (TCO) 的上升。

其次,深度學(xué)習(xí)算法與應(yīng)用對于 AI 性能有著很高的要求,未針對 AI 進行性能優(yōu)化的 CPU 在運行效率上存在明顯瓶頸。GPU 服務(wù)器雖然能夠提供充足的算力支持,但是成本相對較高,應(yīng)用范圍受到較多的局限,而且其需要專門的部署與調(diào)優(yōu),不利于深度學(xué)習(xí)應(yīng)用的快速上市。



關(guān)鍵詞:部署,學(xué)習(xí),深度

74
73
25
news

版權(quán)所有? 億企邦 1997-2022 保留一切法律許可權(quán)利。

為了最佳展示效果,本站不支持IE9及以下版本的瀏覽器,建議您使用谷歌Chrome瀏覽器。 點擊下載Chrome瀏覽器
關(guān)閉