Apache Spark 3.0推動(dòng)大數(shù)據(jù)加速
時(shí)間:2022-03-08 01:03:01 | 來源:行業(yè)動(dòng)態(tài)
時(shí)間:2022-03-08 01:03:01 來源:行業(yè)動(dòng)態(tài)
黃仁勛隨后又談到了GPU加速,特別是如何在英偉達(dá)一直擅長的高性能計(jì)算(HPC)與科學(xué)計(jì)算等領(lǐng)域處理規(guī)模更大的數(shù)據(jù)集。英偉達(dá)的軟件庫目前已經(jīng)支持超過700種CUDA加速應(yīng)用,而Spark 3.0加速項(xiàng)目的推出更標(biāo)志著一座新的里程碑。
不少數(shù)據(jù)科學(xué)家都在日常工作中使用Apache Spark。Adobe公司是最早在Databricks上運(yùn)行Spark 3.0預(yù)覽版的企業(yè)之一,他們表示在初步測試當(dāng)中,數(shù)據(jù)處理性能提高了7倍,成本節(jié)約達(dá)90%。
黃仁勛還提到他的經(jīng)典語錄:買得越多,省得越多。由于時(shí)間倉促,我還沒有對新項(xiàng)目進(jìn)行全面的成本分析;但結(jié)合以往的經(jīng)驗(yàn),黃老的結(jié)論應(yīng)該比較靠譜。
黃仁勛在演講結(jié)語中表示,Databricks與Google Cloud Dataproc將很快推出配合GPU加速機(jī)制的Spark服務(wù)??紤]到ETL(提取、轉(zhuǎn)換、加載)流程中龐大的市場空間,我覺得這項(xiàng)說明值得關(guān)注。再結(jié)合Google Cloud AI及AWS Sagemaker雙雙宣布支持英偉達(dá)RAPIDS,這也許意味著英偉達(dá)方案將開始向數(shù)據(jù)工程的上游移動(dòng)。
關(guān)鍵詞:數(shù)據(jù),推動(dòng)