時間:2022-03-09 12:36:01 | 來源:行業(yè)動態(tài)
時間:2022-03-09 12:36:01 來源:行業(yè)動態(tài)
面對每年如此膨脹的數(shù)據(jù),阿里巴巴的解法是通過大數(shù)據(jù) AI一體化平臺的能力,讓數(shù)據(jù)效率成為企業(yè)的核心指標。在機器的效率層面,MaxCompute作為離線數(shù)倉,單日數(shù)據(jù)處理量已經(jīng)達到1.7EB,但是除了數(shù)據(jù)量,更應該關注的是MaxCompute僅用10%的機器增長,就支撐了75%的數(shù)據(jù)量增長。這里面是MaxCompute在底層的存儲和性能不斷地追求極致的優(yōu)化,并且連續(xù)5年打破TPCx-BigBench 100TB規(guī)模性能世界記錄。同時Hologres作為實時數(shù)倉,峰值每秒寫入5.96億條,單表存儲高達2.5PB,基于萬億級數(shù)據(jù)對外提供多維分析和服務,99.99%的查詢可以在80ms以內(nèi)返回結(jié)果。Hologres與MaxCompute組成離線、實時、分析、服務一體化的數(shù)據(jù)倉庫,從底層就極大地簡化了大數(shù)據(jù)架構(gòu)的復雜度。機器層面的效率往往容易被衡量,但是人的效率卻很難被量化。DataWorks從2009年開始成為阿里巴巴集團統(tǒng)一的大數(shù)據(jù)開發(fā)治理平臺,完成阿里巴巴數(shù)據(jù)中臺的搭建。對一個平臺的完善性與易用性,用戶往往會用腳投票。目前在DataWorks上構(gòu)建的大規(guī)模協(xié)同數(shù)據(jù)中臺的每日活躍用戶數(shù)已經(jīng)超過5萬,平均每3個阿里巴巴員工就有1個在使用DataWorks,服務阿里巴巴內(nèi)部幾乎所有部門,沉淀的全鏈路數(shù)據(jù)治理核心能力超過數(shù)百項。FY2020,阿里巴巴通過數(shù)據(jù)治理的綜合收益超過10億元,可以說大數(shù)據(jù)開發(fā)治理平臺DataWorks與計算引擎MaxCompute、Hologres組成了大數(shù)據(jù)架構(gòu)下的Wintel聯(lián)盟,共同提高企業(yè)數(shù)據(jù)的效率。關鍵詞:效率,數(shù)據(jù),機器
微信公眾號
版權(quán)所有? 億企邦 1997-2022 保留一切法律許可權(quán)利。