HPDA：從數(shù)據(jù)中攫取價(jià)值

時(shí)間：2022-03-28 22:33:01 | 來(lái)源：行業(yè)動(dòng)態(tài)

時(shí)間：2022-03-28 22:33:01 來(lái)源：行業(yè)動(dòng)態(tài)

我們手中智能手機(jī)的算力，遠(yuǎn)超NASA在1969年登月計(jì)劃中最先進(jìn)計(jì)算機(jī)的算力，但相較于手機(jī)，HPC所要解決業(yè)務(wù)的復(fù)雜水平，也呈現(xiàn)指數(shù)級(jí)發(fā)展，一大變化就是數(shù)據(jù)的爆炸式增長(zhǎng)，使得原有HPC架構(gòu)的存儲(chǔ)不堪其重。



傳統(tǒng)HPC主要從仿真物理模型中計(jì)算價(jià)值，需求是無(wú)與倫比的大算力，而HPDA泛指利用HPC資源的數(shù)據(jù)密集型負(fù)載，典型特點(diǎn)是數(shù)據(jù)量大、時(shí)效性強(qiáng)以及算法復(fù)雜，從數(shù)據(jù)本身提取價(jià)值，兩者業(yè)務(wù)邏輯不同，導(dǎo)致存儲(chǔ)需求不同。



例如地震勘探從二維向三維的演進(jìn)中，數(shù)據(jù)量增加了5-10倍；電影渲染從2K升級(jí)到8K的革命中，數(shù)據(jù)量增長(zhǎng)16倍；衛(wèi)星測(cè)繪領(lǐng)域，探測(cè)精準(zhǔn)度由20米縮小到2米，數(shù)據(jù)量同比增長(zhǎng)70倍。海量的數(shù)據(jù)，需要高性能的存儲(chǔ)，這是HPC向HPDA演進(jìn)要解決的根本性問(wèn)題。



傳統(tǒng)HPC的存儲(chǔ)主要用來(lái)文件共享、Scratch和歸檔，AI業(yè)務(wù)負(fù)載則涉及到數(shù)據(jù)收集、輸入、清洗、訓(xùn)練、推理和歸檔一系列復(fù)雜操作，原有存儲(chǔ)系統(tǒng)并不是為這種存儲(chǔ)工作流程而設(shè)計(jì)的，自然也就無(wú)法很好滿足新存儲(chǔ)的需求。



在關(guān)鍵性能要求上，傳統(tǒng)HPC負(fù)載通?；陧樞虼驣/O型，AI業(yè)務(wù)負(fù)載需要順序大和隨機(jī)小I/O型的混合，用于AI訓(xùn)練的數(shù)據(jù)存取需要快速的隨機(jī)小I/O型。



應(yīng)用場(chǎng)景的變化催生了各種耐用性和彈性解決方案需求。例如歸檔需要極具高性價(jià)比的解決方案，沒(méi)有苛刻的性能要求；傳統(tǒng)的臨時(shí)應(yīng)用需要將臨時(shí)結(jié)果轉(zhuǎn)移到持久存儲(chǔ)，需要高性能以防止出現(xiàn)故障；HPDA 解決方案需要混合存儲(chǔ)需求同時(shí)滿足高性能、瞬態(tài)存儲(chǔ)和持久彈性存儲(chǔ)的不同要求。



此外，當(dāng)存儲(chǔ)系統(tǒng)變得復(fù)雜化，內(nèi)部多種協(xié)議發(fā)展為另一種壁壘，不同數(shù)據(jù)采用不同的訪問(wèn)方式，每種訪問(wèn)方式都需要獨(dú)特的協(xié)議支持，橫亙?cè)跇I(yè)務(wù)負(fù)載中消耗通信時(shí)間和計(jì)算資源。



據(jù)IDC統(tǒng)計(jì)，全球67%的高性能計(jì)算中心（HPC）已經(jīng)在使用AI、大數(shù)據(jù)相關(guān)技術(shù)，HPC與AI、大數(shù)據(jù)加速融合，如何從海量數(shù)據(jù)中更高效、更經(jīng)濟(jì)地釋放更大的數(shù)據(jù)價(jià)值，成為迫切訴求，存儲(chǔ)系統(tǒng)的改變至關(guān)重要。