統(tǒng)一的數(shù)據(jù)分析和AI流水線
時(shí)間：2022-03-23 11:30:01 | 來源：行業(yè)動(dòng)態(tài)
時(shí)間：2022-03-23 11:30:01 來源：行業(yè)動(dòng)態(tài)
現(xiàn)在正處在數(shù)據(jù)變革的時(shí)代，全球超過90%的數(shù)據(jù)都是在近幾年產(chǎn)生的，而其中超過一半的數(shù)據(jù)都是在過去兩年產(chǎn)生的，而且我們可以預(yù)計(jì)之后當(dāng)數(shù)字化的應(yīng)用越來越多，包括IoT和5G，數(shù)據(jù)的生成速度和規(guī)模只會(huì)越來越大。但是與之形成對(duì)比的，這其中只有不到2%的數(shù)據(jù)經(jīng)過了分析的，還有大量的沉默數(shù)據(jù)。
人工智能技術(shù)從實(shí)驗(yàn)室到真正生產(chǎn)線的過程當(dāng)中，正面臨的巨大挑戰(zhàn)包括：本身算法上面的復(fù)雜性，部署上面的復(fù)雜性，數(shù)據(jù)處理上面的復(fù)雜性，還有成本、是不是可擴(kuò)展，專有接口、數(shù)據(jù)隱私等等。
為了解決這樣的難題，英特爾基于Spark開發(fā)和開源了兩個(gè)項(xiàng)目：一個(gè)是BigDL，還有一個(gè)是Anlytics Zoo。
英特爾公司架構(gòu)、圖形與軟件部（IAGS）資深軟件架構(gòu)師黃晟盛表示，BigDL是一個(gè)基于Spark的深度學(xué)習(xí)框架，使得深度學(xué)習(xí)算法能夠用來處理大數(shù)據(jù)平臺(tái)里面的數(shù)據(jù)，并具有可擴(kuò)展性能。
Analytics Zoo進(jìn)一步為大數(shù)據(jù)用戶提供了一個(gè)統(tǒng)一的端到端的大數(shù)據(jù)分析＋深度學(xué)習(xí)的平臺(tái)。這個(gè)平臺(tái)構(gòu)建在BigDL、Tensorflow等等引擎之上，可以基于Spark平臺(tái)為多種深度學(xué)習(xí)框架提供分布式支持，并且提供了很多預(yù)訓(xùn)練和預(yù)定義的模型以及參考案例，使得用戶構(gòu)建應(yīng)用更容易和更高效。
黃晟盛特別指出，Analytics Zoo能夠做的事情就是你在筆記本上運(yùn)行的算法和在集群上運(yùn)行的算法是同一套實(shí)現(xiàn)，所以不會(huì)有不一致的情況發(fā)生，而且原先的腳本幾乎不需要修改。
目前英特爾已經(jīng)與京東、銀聯(lián)、寶信軟件、微軟Azure、美的等展開合作，將BigDL和Analytics Zoo應(yīng)用在不同的應(yīng)用場(chǎng)景中，并取得了不俗的成果。
關(guān)鍵詞：分析,數(shù)據(jù),流水線
在線咨詢