數(shù)據(jù)湖3.0：大數(shù)據(jù)與AI一體化

時(shí)間：2022-04-21 08:39:01 | 來源：行業(yè)動(dòng)態(tài)

時(shí)間：2022-04-21 08:39:01 來源：行業(yè)動(dòng)態(tài)

這幾年，隨著數(shù)據(jù)價(jià)值被越來越多企業(yè)認(rèn)可，數(shù)據(jù)湖的建設(shè)備受關(guān)注。數(shù)據(jù)湖中的數(shù)據(jù)主要來自于傳統(tǒng)關(guān)系型數(shù)據(jù)庫中的結(jié)構(gòu)化數(shù)據(jù)，大數(shù)據(jù)、AI平臺(tái)的半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。隨著大數(shù)據(jù)和AI應(yīng)用的普及，后兩類數(shù)據(jù)占比越來越大，而且大數(shù)據(jù)和AI開始逐漸融合。然而，大數(shù)據(jù)主要是HDFS生態(tài)，而AI應(yīng)用主要對(duì)象存儲(chǔ)生態(tài)，這兩者有不同的語義，統(tǒng)一起來并不容易。

陳起鯤介紹，早期的數(shù)據(jù)湖雖然采用了存算分離，但AI應(yīng)用和大數(shù)據(jù)應(yīng)用的數(shù)據(jù)是分開的，阿里云稱其為數(shù)據(jù)湖1.0。后來在技術(shù)的進(jìn)步和用戶需求的雙重推動(dòng)下，這兩者開始融合，進(jìn)入數(shù)據(jù)湖2.0階段。此時(shí)數(shù)據(jù)都存儲(chǔ)到對(duì)象存儲(chǔ)里，但是大數(shù)據(jù)應(yīng)用的元數(shù)據(jù)仍然保存在HDFS中。

阿里云發(fā)布的對(duì)象存儲(chǔ)OSS屬于數(shù)據(jù)湖3.0技術(shù)，其在2.0基礎(chǔ)上又向前走了一步，徹底打通了AI和大數(shù)據(jù)應(yīng)用，實(shí)現(xiàn)了百分百兼容HDFS語義以及全服務(wù)化，數(shù)據(jù)和元數(shù)據(jù)統(tǒng)一保存到對(duì)象存儲(chǔ)中，實(shí)現(xiàn)了高性能AI計(jì)算與大數(shù)據(jù)分析的融合。這樣，同一套數(shù)據(jù)既可以進(jìn)行大數(shù)據(jù)建模，同樣也可以用于AI訓(xùn)練，大大提高了效率，也節(jié)約了成本。

另外，阿里云的OSS在數(shù)據(jù)安全合規(guī)和個(gè)人隱私保護(hù)方面還做了不少工作，而且這些產(chǎn)品能力是原生與對(duì)象存儲(chǔ)是融合的。

據(jù)悉，為了充分滿足客戶需求，阿里云在此前已有的標(biāo)準(zhǔn)型OSS、低頻型OSS和歸檔型OSS的基礎(chǔ)上，此次新增了冷歸檔型OSS，用戶可以根據(jù)文件創(chuàng)造的時(shí)間和更新的熱度來配置對(duì)數(shù)據(jù)進(jìn)行全生命周期管理，支持所有存儲(chǔ)類型沉降至冷歸檔，降本最高達(dá) 90%。

截至目前，阿里云上已經(jīng)有6000多個(gè)數(shù)據(jù)湖，它們借助阿里云OSS的一份數(shù)據(jù)、多份數(shù)據(jù)引擎、多個(gè)計(jì)算能力構(gòu)建起了自己的數(shù)據(jù)分析能力。