硬漢的軟實(shí)力：BigDL 和 Analytics Zoo

時(shí)間：2022-04-19 15:33:01 | 來(lái)源：行業(yè)動(dòng)態(tài)

時(shí)間：2022-04-19 15:33:01 來(lái)源：行業(yè)動(dòng)態(tài)

從設(shè)備端到邊緣再到數(shù)據(jù)中心、云端完整的計(jì)算架構(gòu)，英特爾攢足了硬件層面的全棧實(shí)力，嗅覺(jué)靈敏的它，還將觸角伸向了充滿探索的領(lǐng)域。



正如硬漢外表下，其實(shí)也有一顆軟萌的心，這位善于用創(chuàng)新解決世界上最艱巨的問(wèn)題和挑戰(zhàn)的芯片巨人，現(xiàn)在還將硬件的端到端人工智能全棧實(shí)力復(fù)制到軟件：

• 最底層的算法開源幫助用戶更高效開發(fā)計(jì)算庫(kù)
• 再到上層各種機(jī)器學(xué)習(xí)或者深度學(xué)習(xí)框架
• 再到最上層開源工具包

BigDL 和 Analytics Zoo是英特爾兩個(gè)開源項(xiàng)目，它們的存在正是幫助大數(shù)據(jù)用戶、數(shù)據(jù)工程師、數(shù)據(jù)科學(xué)家、數(shù)據(jù)分析師在已有的大數(shù)據(jù)平臺(tái)上使用人工智能技術(shù)，英特爾于2016年開源了基于 Spark 的分布式深度學(xué)習(xí)框架 BigDL，此后不久又在 Spark、TensorFlow、Keras 和 BigDL 之上構(gòu)建了大數(shù)據(jù)分析 AI 平臺(tái) Analytics Zoo。

簡(jiǎn)單來(lái)說(shuō)，BigDL 是一套基于 Spark 分析流水線、以有機(jī)方式構(gòu)建而成的分布式深度學(xué)習(xí)框架，能夠?qū)崿F(xiàn)主流深度學(xué)習(xí)框架 TensorFlow、Caffe 以及 Torch 等同樣的功能。用戶可以借助 BigDL 將 Spark/Hadoop 作為統(tǒng)一的分析平臺(tái)，從數(shù)據(jù)攝取、清潔與預(yù)處理，到數(shù)據(jù)管理、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)以及部署與可視化，一站式完成所有工作。

但這仍然不夠。

在部署 BigDL 的過(guò)程中，有一部分用戶反映希望能繼續(xù)使用自己更熟悉的其它深度學(xué)習(xí)框架，例如 TensorFlow，并希望使用 TensorFlow 進(jìn)行訓(xùn)練。因此，英特爾又在 BigDL 開源半年后推出了 Analytics Zoo，以幫助客戶省去在大數(shù)據(jù)管道上手工拼接眾多獨(dú)立組件的繁瑣操作。

Analytics Zoo 作為一個(gè)更高級(jí)別的數(shù)據(jù)分析 AI 平臺(tái)，能夠幫助用戶利用 Spark 的各種流水線、內(nèi)置模型、特征操作等，構(gòu)建基于大數(shù)據(jù)的深度學(xué)習(xí)端到端應(yīng)用。

某種意義上來(lái)看，Analytics Zoo是 Spark 和 BigDL 的擴(kuò)充，可以將 Spark、TensorFlow、Keras 和 BigDL 無(wú)縫合并到一個(gè)集成管道中，方便地?cái)U(kuò)展到企業(yè)已有的大型 Apache Hadoop/Spark 集群，進(jìn)行分布式訓(xùn)練或推理。

Analytics Zoo 最大的優(yōu)勢(shì)是能夠在現(xiàn)有基于 Spark 與英特爾至強(qiáng)服務(wù)器的基礎(chǔ)設(shè)施之上無(wú)縫運(yùn)行各類主流深度學(xué)習(xí)框架和模型，讓用戶可以選擇使用適合自身需求的深度學(xué)習(xí)框架做模型訓(xùn)練，無(wú)需購(gòu)買或者設(shè)置不同的硬件基礎(chǔ)設(shè)施。