英特爾大數(shù)據(jù)簡介

時間：2022-02-27 16:40:01 | 來源：信息時代

時間：2022-02-27 16:40:01 來源：信息時代

英特爾提供的Hadoop發(fā)行版包含Hadoop分布式文件系統(tǒng)HDFS、分布式數(shù)據(jù)庫HBase、分布式計(jì)算框架MapReduce、數(shù)據(jù)倉庫Hive、數(shù)據(jù)處理Pig、機(jī)器學(xué)習(xí)Mahout商業(yè)套件。

其中，Hadoop 分布式文件系統(tǒng)（HDFS）是運(yùn)行在通用硬件上的分布式文件系統(tǒng)。HDFS提供了一個高度容錯性和高吞吐量的海量數(shù)據(jù)存儲解決方案。它具備高吞吐量訪問、無縫容量擴(kuò)充、高度容錯的特點(diǎn)。

HBase是一個面向列的實(shí)時分布式數(shù)據(jù)庫。HBase不是一個關(guān)系型數(shù)據(jù)庫，其設(shè)計(jì)目標(biāo)是用來解決關(guān)系型數(shù)據(jù)庫在處理海量數(shù)據(jù)時的理論和實(shí)現(xiàn)上的局限性。HBase從一開始就是為Terabyte到Petabyte級別的海量數(shù)據(jù)存儲和高速讀寫而設(shè)計(jì)，這些數(shù)據(jù)要求能夠被分布在數(shù)千臺普通服務(wù)器上，并且能夠被大量并發(fā)用戶高速訪問。

MapReduce是一個高性能的批處理分布式計(jì)算框架，用于對海量數(shù)據(jù)進(jìn)行并行分析和處理。MapReduce適合處理各種類型的數(shù)據(jù)，包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。

Hive是一種建立在Hadoop之上的數(shù)據(jù)倉庫架構(gòu)。它采用HDFS進(jìn)行數(shù)據(jù)存儲并利用MapReduce 框架進(jìn)行數(shù)據(jù)操作。所以從本質(zhì)上來說，Hive就是個編譯器，它把用戶的操作（查詢或者ETL）變換成MapReduce任務(wù)，利用MapReduce框架執(zhí)行這些任務(wù)以對HDFS上的海量數(shù)據(jù)進(jìn)行處理。它具備針對海量數(shù)據(jù)的高性能查詢和分析系統(tǒng)和類SQL的查詢語言HiveQL。

Pig是一個基于Hadoop并運(yùn)用MapReduce和HDFS 實(shí)現(xiàn)大規(guī)模數(shù)據(jù)分析的平臺。它為海量數(shù)據(jù)的并行處理提供了操作以及編程實(shí)現(xiàn)的接口。

Mahout是一套具有可擴(kuò)充能力的機(jī)器學(xué)習(xí)類庫。它提供機(jī)器學(xué)習(xí)框架的同時，還實(shí)現(xiàn)了一些可擴(kuò)展的機(jī)器學(xué)習(xí)領(lǐng)域經(jīng)典算法的實(shí)現(xiàn)，可以幫助開發(fā)人員更加方便快捷地創(chuàng)建智能應(yīng)用程序。通過和Apache Hadoop分布式框架相結(jié)合，Mahout可以有效地使用分布式系統(tǒng)來實(shí)現(xiàn)高性能計(jì)算。