專(zhuān)為機(jī)器智能設(shè)計(jì)

時(shí)間：2022-04-20 12:36:01 | 來(lái)源：行業(yè)動(dòng)態(tài)

時(shí)間：2022-04-20 12:36:01 來(lái)源：行業(yè)動(dòng)態(tài)

Graphcore是IPU的扛旗人。Graphcore是一家來(lái)自英國(guó)的明星初創(chuàng)公司，到目前為止，公司總共融資超過(guò)4.5億美金，其中包括一些非常知名的金融投資者、戰(zhàn)略投資者，比如，微軟、三星、博世、寶馬、戴爾等。IPU是一種專(zhuān)為機(jī)器智能設(shè)計(jì)的全新芯片類(lèi)型，采用的是完全不同于CPU、GPU的全新處理器架構(gòu)，專(zhuān)門(mén)適用于AI負(fù)載。

Graphcore高級(jí)副總裁兼中國(guó)區(qū)總經(jīng)理盧濤告訴記者，機(jī)器智能是一類(lèi)全新的計(jì)算負(fù)載，有自己的特點(diǎn)。比如，AI算法通常涉及大規(guī)模的并行計(jì)算；數(shù)據(jù)結(jié)構(gòu)通常是非常稀疏的矩陣；和傳統(tǒng)的科學(xué)計(jì)算或者高性能計(jì)算（HPC）相比，智能計(jì)算普遍都是低精度計(jì)算。另外，AI應(yīng)用經(jīng)常會(huì)有數(shù)據(jù)參數(shù)復(fù)用、靜態(tài)圖結(jié)構(gòu)。由于這些特點(diǎn)的存在，使得傳統(tǒng)CPU、GPU在處理這類(lèi)工作負(fù)載的效果并不理想，而IPU則有明顯優(yōu)勢(shì)。



Graphcore高級(jí)副總裁兼中國(guó)區(qū)總經(jīng)理盧濤

CPU是面向應(yīng)用和網(wǎng)絡(luò)設(shè)計(jì)的處理器，是一個(gè)標(biāo)量處理器；GPU是面向圖形和高性能計(jì)算、以向量處理為核心的處理器。AI是一個(gè)全新的負(fù)載、是以計(jì)算圖作為表征，因此需要一種全新的處理器架構(gòu)，而Graphcore開(kāi)創(chuàng)的IPU就是針對(duì)計(jì)算圖的處理來(lái)設(shè)計(jì)的專(zhuān)用處理器。盧濤說(shuō)。

據(jù)盧濤介紹，Graphcore的IPU在架構(gòu)上做了大量創(chuàng)新。其中一大創(chuàng)新是，IPU內(nèi)核采用了大規(guī)模并行MIMD，有一個(gè)非常大的分布式片上SRAM，這個(gè)SRAM高達(dá)300 MB。因此，相比CPU DDR2或者GPU GDDR/HBM，IPU能夠?qū)崿F(xiàn)10到320倍的性能提升。

近些年，芯片的計(jì)算能力提升很快，但內(nèi)存的性能提升卻相對(duì)緩慢。IPU的一個(gè)創(chuàng)新設(shè)計(jì)就是采用了大規(guī)模并行MIMD和龐大的分布式片上SRAM。盧濤說(shuō)。

Graphcore IPU的另一大架構(gòu)創(chuàng)新是采用了構(gòu)建大規(guī)模數(shù)據(jù)中心集群的BSP技術(shù)（Bulk Synchronous Parallel），這種技術(shù)目前在谷歌、Facebook、百度這樣的大規(guī)模數(shù)據(jù)中心都在使用。IPU也是目前世界上首款BSP處理器，通過(guò)硬件來(lái)支持BSP協(xié)議，并通過(guò)BSP協(xié)議把整個(gè)計(jì)算邏輯分為計(jì)算、同步、交換三方面。

據(jù)悉，Graphcore IPU已經(jīng)量產(chǎn)的GC2處理器擁有236億個(gè)晶體管的芯片，在120瓦的功耗下有125 TFlops的混合精度、1216個(gè)獨(dú)立的處理器核心（Tile），300 M的SRAM能夠把完整的計(jì)算模型放在片內(nèi)。另外，內(nèi)存的帶寬有45 TB/s、片上的交換是8 TB/s、片間的IPU-Links是2.5 TB/s。Graphcore IPU的這些硬件條件為其最后高性能地完成AI應(yīng)用奠定了非常強(qiáng)大的基礎(chǔ)。

一款全新架構(gòu)的處理器要想真正落地，配套的軟件自然必不可少，其中就包括編譯器、開(kāi)發(fā)平臺(tái)以及其他相關(guān)的各種配套軟件和工具。對(duì)此，Graphcore推出了IPU配套的開(kāi)發(fā)平臺(tái)Poplar SDK。Poplar是架構(gòu)在機(jī)器學(xué)習(xí)的框架軟件（比如TensorFlow、ONNX、PyTorch和PaddlePaddle）和硬件之間的一個(gè)基于計(jì)算圖的工具和庫(kù)，目前提供750個(gè)高性能計(jì)算元素的50多種優(yōu)化功能，可以支持各種標(biāo)準(zhǔn)的機(jī)器學(xué)習(xí)框架，包括TensorFlow 1/2、ONNX和PyTorch，很快也會(huì)支持百度飛槳。在部署方面，Poplar目前可以支持容器化部署，能夠快速啟動(dòng)并運(yùn)行。今年5月，Graphcore還推出了一款名為PopVision Graph Analyser的分析工具。開(kāi)發(fā)人員在使用IPU進(jìn)行編程的時(shí)候，可以通過(guò)PopVision這個(gè)可視化的圖形展示工具來(lái)分析軟件的運(yùn)行情況、調(diào)試效率。