世界頂級選手在背后發(fā)力

時間：2022-03-08 05:15:02 | 來源：行業(yè)動態(tài)

時間：2022-03-08 05:15:02 來源：行業(yè)動態(tài)

不賣關(guān)子，團(tuán)隊(duì)在這項(xiàng)任務(wù)中的存儲系統(tǒng)，便是來自華為面向高性能數(shù)據(jù)分析（HPDA）的分布式存儲OceanStor Pacific系列。



它是一種可大規(guī)模橫向擴(kuò)展的智能分布式存儲，可以hold住高性能計(jì)算、AI應(yīng)用、數(shù)據(jù)庫、大數(shù)據(jù)分析和海量數(shù)據(jù)備份歸檔等業(yè)務(wù)需求。

而OceanStor Pacific之所以能協(xié)助團(tuán)隊(duì)在此次任務(wù)中打破世界紀(jì)錄，是因?yàn)樗陨砭褪穷^頂世界頂級選手光環(huán)的那種存儲系統(tǒng)。

在國內(nèi)范圍來看，更是獨(dú)秀一枝，不論是整體、文件存儲、對象存儲還是塊存儲方面，都是穩(wěn)居市場第一。

而且不僅是市場方面的表現(xiàn)，從性能榜單上來看亦是如此。

這不，就在前不久IO500 （高性能計(jì)算領(lǐng)域針對存儲性能最權(quán)威世界排行榜之一）發(fā)布的最新榜單中，華為存儲HPDA Lab（由華為OceanStor Pacific存儲支撐）位列第二。



那么問題來了，OceanStor Pacific系列存儲憑什么？

從官方對它的介紹中，我們挖到了一條線索，那便是新一代：



這個新，可以總結(jié)為三個方面。

首先是超高密設(shè)計(jì)。

以O(shè)ceanStor Pacific 9950為例，它具備單框8節(jié)點(diǎn)，5U、80盤位的特性。



而之所以能如此能裝，是因?yàn)樗鼘⒏鞣NSSD（固態(tài)硬盤）都設(shè)計(jì)的非常小巧：



另外一款5U、120盤位的OceanStor Pacific 9550，更是能夠達(dá)到單框最大可提供2.4PB的裸容量。

如此超高密度的設(shè)計(jì)，便可以支撐海量數(shù)據(jù)的存儲。

基于這樣的硬件設(shè)計(jì)之下，便是華為存儲的第二個特性多到一，一到多，具體來講就是：

多套存儲變一套，一套存儲支持多樣化算力。



導(dǎo)致這樣做的原因，根本上是高性能存儲面臨的負(fù)載類型越發(fā)復(fù)雜多樣。

傳統(tǒng)的做法就是來一個負(fù)載類型，就部署一個對應(yīng)類型的存儲；但這樣做的結(jié)果，就是容易產(chǎn)生孤島現(xiàn)象，而且不利于提高整體的效率。

而理想的狀態(tài)就是存儲系統(tǒng)可以滿足一個既要又要高帶寬、高IOPS。

（帶寬型方面的衡量標(biāo)準(zhǔn)是單位時間內(nèi)的數(shù)據(jù)總吞吐量；而IOPS則是單位時間內(nèi)能處理的總的IO請求量、以及每個IO的處理時延。）

對此，華為存儲所采用的策略就有點(diǎn)隨機(jī)應(yīng)變的味道了。

例如存儲系統(tǒng)在面對大文件時，就對應(yīng)大I/O，采用直通方式將數(shù)據(jù)寫到磁盤。



這樣做的結(jié)果，就讓大文件的寬帶處于業(yè)界2倍的水平。

而當(dāng)與之相對的小文件到來時，就對應(yīng)小I/O，主要是將數(shù)據(jù)聚合后寫到磁盤：



不難看出，華為在數(shù)據(jù)存儲這一塊，可謂是內(nèi)修功法、外用其力。

OceanStor Pacific系列存儲的第三個獨(dú)特性，便是打通協(xié)議的任督二脈。

華為存儲提出這個特性的大背景，是因?yàn)楝F(xiàn)在在處理諸如基因測序這樣的任務(wù)時，數(shù)據(jù)往往會呈現(xiàn)多種格式，例如文件、對象、大數(shù)據(jù)等等。

也正因如此，以往在整個數(shù)據(jù)處理過程中，單是數(shù)據(jù)轉(zhuǎn)化、拷貝、加載這樣的工作就占到了35%的時間。

于是，為了這方面的提高效率，就需要新的協(xié)議互通技術(shù)。

而這種新技術(shù)并不是指共池，在本質(zhì)上是有著很大的區(qū)別。

共池主要共享硬件資源池，是在一套硬件上劃分出多個獨(dú)立的邏輯資源池，并根據(jù)不同的數(shù)據(jù)類型做部署。

但問題在于每個邏輯資源池只支持一種協(xié)議訪問，也就是說跨協(xié)議的時候，還是需要經(jīng)過數(shù)據(jù)拷貝的過程：



華為存儲提出的協(xié)議互通技術(shù)則不然，實(shí)現(xiàn)的是多個協(xié)議共用一個硬件資源池。

而且還是同時支持文件、對象、大數(shù)據(jù)等多種協(xié)議訪問的那種：



換言之，現(xiàn)在當(dāng)一份數(shù)據(jù)走進(jìn)存儲系統(tǒng)后，不再需要做任何的轉(zhuǎn)換了，可以直接被其它協(xié)議直接訪問。

這便是打通協(xié)議任督二脈的奧義所在了。

而也正是因?yàn)閯偛胖v到的這些獨(dú)有功夫，華為存儲，這個世界級選手所涉足的領(lǐng)域早已不僅限于基因測序。

還有眾多諸如此類的海量數(shù)據(jù)場景，例如能源勘探、氣象海洋、智能制造、超算中心等等。



不難看出，華為在數(shù)據(jù)存儲這一塊，可謂是內(nèi)修功法、外用其力。

那么最后一個問題便是：

數(shù)據(jù)存儲，為什么這么重要？

因?yàn)橐粋€非常明顯的趨勢是：

在智能時代之下，數(shù)據(jù)存儲已經(jīng)成為數(shù)據(jù)密集型應(yīng)用的瓶頸。

或許你會說，數(shù)據(jù)量大，哪怕是PB級別，把算力堆上去不就可以了嗎？

確實(shí)，在過去一段時間里，在處理像基因測序、生物制藥等數(shù)據(jù)密集型應(yīng)用時，大家似乎都會關(guān)注其背后的高性能計(jì)算（HPC）的效果如何。

每年的HPC Top 500 高性能計(jì)算機(jī)排行榜，也成為公眾備受關(guān)注的保留節(jié)目。

但隨著數(shù)據(jù)爆發(fā)式的增長，以及AI技術(shù)的不斷推陳出新，數(shù)據(jù)密集型應(yīng)用的發(fā)展不再僅僅聚焦在算力方向。

正如IDC所統(tǒng)計(jì)的那般：

全球67%的高性能計(jì)算中心已經(jīng)在使用AI、大數(shù)據(jù)相關(guān)技術(shù)。

換言之，HPC、AI和大數(shù)據(jù)，它們?nèi)齻€融合的速度正在加快。

也正因如此，數(shù)據(jù)密集型應(yīng)用正在步入一個新的時代 高性能數(shù)據(jù)分析 （HPDA）。

在這個時代之下，類似自動駕駛、基因測序等任務(wù)，對于數(shù)據(jù)分析的實(shí)時性要求越來越高。

而要實(shí)現(xiàn)這一點(diǎn)，也正如剛才我們所闡述的，離不開數(shù)據(jù)存儲系統(tǒng)這一夯實(shí)的底座。

唯有這根定海神針足夠穩(wěn)固、扎實(shí)，且需得具備技術(shù)上的創(chuàng)新，才能保證其上層的工作以及上層與之的交互暢通無阻。

但比起應(yīng)用方面的絲滑，通過推進(jìn)新一代存儲系統(tǒng)（即HPDA）來進(jìn)一步發(fā)展數(shù)據(jù)密集型應(yīng)用，這件事還具有更深遠(yuǎn)的意義。

例如油氣地震勘探也在進(jìn)入海量數(shù)據(jù)時代，需要采用大量的高性能計(jì)算和大數(shù)據(jù)分析技術(shù)。

但痛點(diǎn)也正如剛才我們提到的，其間的任務(wù)絕不是單一的，所產(chǎn)生的數(shù)據(jù)類型、結(jié)構(gòu)也是紛繁復(fù)雜。

而通過新一代存儲系統(tǒng)的優(yōu)勢，就可以做到規(guī)?；y(tǒng)一部署，以此來提高整體流程的效率。



再如超算中心、智能醫(yī)療、自動駕駛，甚至是宇宙探測等，均是需要HPDA的能力來完成對海量數(shù)據(jù)的高效分析。

這些亟需注入新力量的領(lǐng)域，恰恰正是科技、經(jīng)濟(jì)強(qiáng)國所發(fā)力的地方。

從另一種角度來看，新一代數(shù)據(jù)存儲正在成為國家的關(guān)鍵基礎(chǔ)設(shè)施，堪稱國之重器。



而華為OceanStor Pacific系列存儲，無論是從市場份額、技術(shù)實(shí)力排名等等，均已成為國產(chǎn)新一代數(shù)據(jù)存儲系統(tǒng)中的不二之選。

但比起亮眼的成績，在最重要的實(shí)際行動方面，華為OceanStor Pacific系列存儲也已經(jīng)是處于進(jìn)行時了。

至于接下來在HPDA時代中，新一代數(shù)據(jù)存儲的技術(shù)進(jìn)步還將結(jié)出怎樣的碩果，是值得拭目以待了。