為充分挖掘主流硬件計(jì)算能力提供全新思路

時(shí)間：2022-04-01 17:39:02 | 來(lái)源：行業(yè)動(dòng)態(tài)

時(shí)間：2022-04-01 17:39:02 來(lái)源：行業(yè)動(dòng)態(tài)

成立于2020年的CoCoPIE公司為市場(chǎng)提供了一種全新的解題思路即壓縮-編譯協(xié)同。如我們所知，當(dāng)下AI算法的底層基于的是深度學(xué)習(xí)，模型越大獲得的準(zhǔn)確度就越高，模型一旦被壓縮，準(zhǔn)確度就會(huì)下降，這就解釋了AI應(yīng)用為什么對(duì)算力有著如此高的要求。

CoCoPIE認(rèn)為，在有限的硬件條件下，精準(zhǔn)度和高效能之間并非不能取得平衡點(diǎn)。我們發(fā)現(xiàn)，AI任務(wù)在現(xiàn)有硬件上表現(xiàn)不好的重要原因是兩個(gè)一方面，現(xiàn)有的AI計(jì)算中有很多冗余計(jì)算，另一方面，現(xiàn)有的運(yùn)行引擎沒(méi)能充分發(fā)揮芯片的潛力。要解決這些問(wèn)題，必須打通從AI任務(wù)到芯片架構(gòu)之間的直通橋梁，進(jìn)行壓縮和編譯協(xié)同設(shè)計(jì)。CoCoPIE公司負(fù)責(zé)人李曉峰向至頂網(wǎng)記者解釋。

CoCoPIE公司負(fù)責(zé)人 李曉峰

壓縮的過(guò)程就是把模型變小，編譯就是把模型變成可以在最終芯片上執(zhí)行的指令。而這個(gè)過(guò)程必須是一體化協(xié)同設(shè)計(jì)的，才能同時(shí)保持高精度、高效率和高性能。具體來(lái)說(shuō)，CoCoPIE提出了一種全新的基于模式的權(quán)重剪枝方法?；舅枷胧牵槍?duì)不同的上層模型特性和底層芯片結(jié)構(gòu)，對(duì)權(quán)重可以選取不同的模式進(jìn)行剪枝。這種壓縮方式本質(zhì)上是一種細(xì)粒度的結(jié)構(gòu)化剪枝，可以保證在有效減少計(jì)算量的前提下依然保證準(zhǔn)確率不變。

據(jù)李曉峰介紹，目前該技術(shù)植入終端設(shè)備的方式有很多種。比如，可以通過(guò)與芯片公司合作，直接作為芯片AI技術(shù)棧的驅(qū)動(dòng)框架；也可以和應(yīng)用開發(fā)商合作，作為應(yīng)用的一個(gè)模塊。作為一種軟件技術(shù)，我們對(duì)AI任務(wù)的部署方式很靈活。并且，對(duì)終端設(shè)備的要求也不高，只要芯片具有矢量計(jì)算能力就行。這意味著，目前市場(chǎng)大多數(shù)的主流芯片都可以滿足，當(dāng)然，哪怕沒(méi)有矢量計(jì)算能力，我們的技術(shù)仍然可以發(fā)揮作用，只不過(guò)能力會(huì)受到一些限制。李曉峰補(bǔ)充說(shuō)。