AI超級計算全球最強(qiáng)GPU：NVIDIA A100 80GB GPU

時間：2022-04-29 11:06:01 | 來源：行業(yè)動態(tài)

時間：2022-04-29 11:06:01 來源：行業(yè)動態(tài)

針對現(xiàn)在日益負(fù)載的HPC與AI工作負(fù)載，特別是面向深度學(xué)習(xí)與機(jī)器學(xué)習(xí)等應(yīng)用，NVIDIA推出了A100 80GB GPU，其可以稱為目前AI超級計算全球最強(qiáng)GPU。因為，A100 80GB GPU基于NVIDIA Ampere架構(gòu)，為其帶來了突破性的特性。



借助第三代Tensor Core核心，通過全新TF32，NVIDIA A100 80GB GPU將上一代Volta架構(gòu)的AI吞吐量提高多達(dá)20倍。通過FP64，將HPC性能提高多達(dá)2.5倍。通過INT8，將AI推理性能提高多達(dá)20倍，并且支持BF16數(shù)據(jù)格式。

憑借其多實例GPU（MIG）技術(shù)，NVIDIA A100 80GB GPU可分割為多達(dá)7個GPU實例，每個實例具有10GB內(nèi)存。該技術(shù)是一種安全的硬件隔離方法，在處理各類較小的工作負(fù)載時，可實現(xiàn)GPU最佳利用率。對于如RNN-T等自動語言識別模型的AI推理，單個A100 80GB MIG實例可處理更大規(guī)模的批量數(shù)據(jù)，將生產(chǎn)中的推理吞吐量提高1.25倍。

在計算性能提升的同時，NVIDIA A100 80GB GPU基于A100 40GB的多樣化功能，采用HBM2e技術(shù)，可將A100 40GB GPU的高帶寬內(nèi)存增加一倍至80GB，提供每秒超過2TB的內(nèi)存帶寬。這使得數(shù)據(jù)可以快速傳輸?shù)饺蜃羁斓臄?shù)據(jù)中心GPU A100上，使研究人員能夠更快地加速其應(yīng)用，處理最大規(guī)模的模型和數(shù)據(jù)集。

同時，依托第三代NVLink和NVSwitch互連技術(shù)，NVIDIA A100 80GB GPU之間的帶寬增加至原來的兩倍，將數(shù)據(jù)密集型工作負(fù)載的GPU數(shù)據(jù)傳輸速度提高至每秒600gigabytes。

目前，NVIDIA A100 80GB GPU已經(jīng)支持NVIDIA HGX AI超級計算平臺。NVIDIA HGX AI超級計算平臺將NVIDIA GPU、NVIDIA NVLink 、NVIDIA InfiniBand網(wǎng)絡(luò)以及全面優(yōu)化的NVIDIA AI和HPC軟件堆棧的全部功能整合在一起，以提供最優(yōu)越的應(yīng)用性能。

由于GPU內(nèi)存比上一代提升一倍，HGX服務(wù)器中搭載的A100 80GB還可訓(xùn)練具有更多參數(shù)的最大模型，如GPT-2，能夠為研究人員和工程師們提供空前的速度和性能，助力實現(xiàn)新一輪AI和科學(xué)技術(shù)突破。



同時，源訊、戴爾科技、富士通、技嘉科技、慧與、浪潮、聯(lián)想、云達(dá)科技、超微預(yù)計將于2021年上半年，提供基于HGX A100集成底板的系統(tǒng)，該集成底板搭載4-8個A100 80GB GPU。