全新產(chǎn)品使海量數(shù)據(jù)的遷移速度比之前快20倍

時(shí)間：2022-03-25 11:27:01 | 來(lái)源：行業(yè)動(dòng)態(tài)

時(shí)間：2022-03-25 11:27:01 來(lái)源：行業(yè)動(dòng)態(tài)

NVIDIA于今日發(fā)布NVIDIA Magnum IO軟件套件。該產(chǎn)品讓數(shù)據(jù)科學(xué)家及AI和高性能計(jì)算研究者可以在數(shù)分鐘內(nèi)處理好以往需要數(shù)小時(shí)才能處理完畢的海量數(shù)據(jù)。

Magnum IO專為解決存儲(chǔ)和輸入/輸出（I/O）遇到瓶頸這一問(wèn)題進(jìn)行了優(yōu)化。優(yōu)化之后，執(zhí)行財(cái)務(wù)分析、氣候建模等復(fù)雜的、需要處理大量數(shù)據(jù)集的高性能計(jì)算工作負(fù)載時(shí)，多服務(wù)器、多GPU計(jì)算節(jié)點(diǎn)的數(shù)據(jù)處理速度比之前提高了20倍。

Magnum IO是NVIDIA與眾多網(wǎng)絡(luò)和存儲(chǔ)行業(yè)領(lǐng)導(dǎo)企業(yè)（包括DataDirect Networks、Excelero、IBM、Mellanox和WekaIO）密切合作的成果。

NVIDIA創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：AI等數(shù)據(jù)驅(qū)動(dòng)型科學(xué)的核心是處理大量的數(shù)據(jù)，這些數(shù)據(jù)可能是收集來(lái)的，也可能是模擬的。然而，隨著數(shù)據(jù)的規(guī)模和速度呈現(xiàn)指數(shù)級(jí)的增長(zhǎng)，數(shù)據(jù)處理本身已成為數(shù)據(jù)中心所要面臨的最大挑戰(zhàn)，同時(shí)也是最主要的成本之一。

他還表示：頂級(jí)的計(jì)算需要頂級(jí)的I/O。Magnum IO能夠?yàn)镮/O與存儲(chǔ)帶來(lái)具有革命性計(jì)算性能的NVIDIA GPU加速?，F(xiàn)在，AI研究者和數(shù)據(jù)科學(xué)家可以專心完成自己的工作，無(wú)需再等待數(shù)據(jù)。

Magnum IO的核心是GPUDirect。它為數(shù)據(jù)提供了一條路徑，這條路徑可以繞過(guò)CPU，而在GPU、存儲(chǔ)和網(wǎng)絡(luò)設(shè)備所提供的開放式高速公路上進(jìn)行傳輸。GPUDirect由點(diǎn)對(duì)點(diǎn)和RDMA組件組成，兼容多種通信互聯(lián)產(chǎn)品與API，包括NVIDIA NVLink和NCCL以及OpenMPI和UCX。

其最新組件GPUDirect Storage使研究者能夠在訪問(wèn)存儲(chǔ)時(shí)繞過(guò)CPU，快速訪問(wèn)用于模擬、分析或可視化的數(shù)據(jù)文件。

NVIDIA Magnum IO軟件現(xiàn)已上市，但GPUDirect Storage僅為部分用戶提供了早期訪問(wèn)權(quán)限。NVIDIA計(jì)劃在2020年上半年向所有客戶提供GPUDirect Storage。