軟硬件協(xié)同實(shí)現(xiàn)最強(qiáng)性能
時(shí)間：2022-03-25 03:39:02 | 來源：行業(yè)動(dòng)態(tài)
時(shí)間：2022-03-25 03:39:02 來源：行業(yè)動(dòng)態(tài)
推理（Inference）指計(jì)算機(jī)通過運(yùn)行AI軟件來識(shí)別對(duì)象或進(jìn)行預(yù)測。在這個(gè)過程中，計(jì)算機(jī)使用深度學(xué)習(xí)模型來過濾數(shù)據(jù)，進(jìn)而發(fā)現(xiàn)人類所無法捕捉的結(jié)果。
MLPerf推理基準(zhǔn)測試基于當(dāng)今最常用的AI工作負(fù)載和場景，涵蓋計(jì)算機(jī)視覺、醫(yī)學(xué)影像、自然語言處理、推薦系統(tǒng)、強(qiáng)化學(xué)習(xí)等。
MLPerf測試結(jié)果能夠幫助用戶更好地進(jìn)行采購決策，NVIDIA是唯一一家在本輪和迄今為止每一輪測試中取得所有MLPerf測試結(jié)果的公司。
隨著AI用例從數(shù)據(jù)中心擴(kuò)展到邊緣和其他領(lǐng)域，AI模型和數(shù)據(jù)集將不斷增加。就是為什么用戶需要既可靠又能靈活部署的性能。
除了最新的A100硬件加持，NVIDIA能夠在所有AI用例中取得成功的一個(gè)關(guān)鍵因素是其完整的軟件棧。
在推理方面，這包括針對(duì)各種用例的預(yù)訓(xùn)練AI模型。NVIDIA TAO Toolkit運(yùn)用遷移學(xué)習(xí)為特定應(yīng)用定制這些模型。
NVIDIA TensorRT軟件對(duì)AI模型進(jìn)行了優(yōu)化，使其能夠最有效地運(yùn)用內(nèi)存并且實(shí)現(xiàn)更快的運(yùn)行速度。NVIDIA經(jīng)常使用該軟件進(jìn)行MLPerf測試，該軟件可用于X86和Arm的系統(tǒng)。
在這些基準(zhǔn)測試中，NVIDIA還采用了NVIDIA Triton推理服務(wù)器軟件和多實(shí)例GPU（MIG）功能。它們?yōu)樗虚_發(fā)者提供了通常需要專家級(jí)程序員才能實(shí)現(xiàn)的性能。
隨著該軟件棧的不斷改進(jìn)，與四個(gè)月前的MLPerf推理基準(zhǔn)測試相比，NVIDIA提升了高達(dá)20%的性能和15%的能效。
關(guān)鍵詞：性能,實(shí)現(xiàn),協(xié)同
在線咨詢