Goya與CPU、GPU在性能方面的對(duì)比

時(shí)間：2022-04-13 23:24:01 | 來(lái)源：行業(yè)動(dòng)態(tài)

時(shí)間：2022-04-13 23:24:01 來(lái)源：行業(yè)動(dòng)態(tài)

如何做到？Eitan Medina向記者解釋?zhuān)瑹o(wú)論是GPU還是CPU，其架構(gòu)都是面向通用計(jì)算或常用圖形處理而設(shè)計(jì)的，因此在人工智能的計(jì)算工作中并不具備優(yōu)勢(shì)。而Goya則是完全針對(duì)人工智能需求進(jìn)行的架構(gòu)設(shè)計(jì)，這一獨(dú)特架構(gòu)稱(chēng)為T(mén)ensor processor core，能夠讓Goya支持不通的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，進(jìn)而處理不同的數(shù)據(jù)類(lèi)型。這就是Goya能夠提供如此高性?xún)r(jià)比的原因之一。

深度學(xué)習(xí)中Batch Size（批尺寸，即一次訓(xùn)練所選取的樣本數(shù)）的大小直接會(huì)影響到處理器的性能。在GPU中，為了實(shí)現(xiàn)其最高性能，需要將這一數(shù)值設(shè)置得很大，大量數(shù)據(jù)在同一時(shí)間并行處理，這將無(wú)形造成計(jì)算的延遲。而Goya則可以將Batch Size設(shè)置為1，這意味著它可以一次處理1張圖片，并且每秒鐘處理超過(guò)7000張圖片。這樣的性能優(yōu)勢(shì)，使得它可以被應(yīng)用于自動(dòng)駕駛等對(duì)計(jì)算延遲要求極高的領(lǐng)域。

除此之外，在云計(jì)算場(chǎng)景中，Goya還可以做到多個(gè)用戶(hù)共享單卡，從而降低用戶(hù)的使用成本，讓用戶(hù)以更低價(jià)格享受更好的產(chǎn)品體驗(yàn)。

總的來(lái)說(shuō)，Goya優(yōu)勢(shì)有三：一是強(qiáng)大的計(jì)算能力，二是高性?xún)r(jià)比，三是可以實(shí)現(xiàn)多用戶(hù)之間的計(jì)算資源共享。當(dāng)然，基于ResNet-50的測(cè)試只是我們眾多性能測(cè)試的其中之一，除此之外我們還做了很多比較通用的模型測(cè)試，可以看到，在這些測(cè)試中，Goya也表現(xiàn)出了強(qiáng)大的性能優(yōu)勢(shì)。Eitan Medina 強(qiáng)調(diào)說(shuō)。

據(jù)他介紹，Goya還為用戶(hù)提供了一套名為Synapse AI的軟件環(huán)境。SynapseAI軟件棧包含一個(gè)豐富的內(nèi)核庫(kù)和開(kāi)放工具鏈，以供用戶(hù)添加專(zhuān)有內(nèi)核。借此，用戶(hù)不僅可以直接部署模型、進(jìn)行定制化操作，同時(shí)還能幫助使用CPU和GPU的用戶(hù)快速、輕松、準(zhǔn)確地將之前的工作部署到Goya上。