淺談：Hadoop、spark、SaaS、PaaS、IaaS、云計(jì)算

時(shí)間：2023-03-13 03:52:01 | 來源：電子商務(wù)

時(shí)間：2023-03-13 03:52:01 來源：電子商務(wù)

Hadoop & Spark

首先二者均不是屬于產(chǎn)品類別，理解為生態(tài)系統(tǒng)或者也有人將其稱為“大數(shù)據(jù)通用處理平臺”也是可以的，這種稱呼也更為準(zhǔn)確

Hadoop是由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)

Hadoop主要包括：

Hadoop分布式文件系統(tǒng)：一個(gè)分布式的、面向塊的、不可更新的、高度伸縮性的、可運(yùn)行在集群中普通硬盤上的文件系統(tǒng)

MapReduce框架：一個(gè)基本的在集群中一組標(biāo)準(zhǔn)硬件上執(zhí)行的分布式計(jì)算框架

YARN ：Hadoop生態(tài)集群中默認(rèn)的資源管理器

Hive ：構(gòu)建在MapReduce框架之上的類SQL查詢引擎

Hbase：基于HDFS的鍵值對存儲系統(tǒng)為Hadoop提供了聯(lián)機(jī)事務(wù)處理(OLTP)能力

Spark而言是專為大規(guī)模數(shù)據(jù)處理而設(shè)計(jì)的快速通用的計(jì)算引擎，實(shí)際上現(xiàn)階段其還不夠成熟

Spark主要包括：

Spark Core ：用于通用分布式數(shù)據(jù)處理的引擎

Spark Sql ：運(yùn)行在Spark上的SQL查詢語句支持一系列SQL函數(shù)和HiveQL

Spark Streaming：基于spark的微批處理引擎

MLlib：構(gòu)建在spark之上的機(jī)器學(xué)習(xí)庫

更多：Hadoop VS Spark對比可參閱

三劍客：IaaS 、PaaS、SaaS

其實(shí)就是云計(jì)算的三類分層服務(wù)：

基礎(chǔ)設(shè)施在最下端：Infrastructure-as-a-Service(IaaS)

平臺在中間：Platform-as-a-Service(PaaS)

軟件在頂端：Software-as-a-Service(SaaS)

IaaS ：Infrastructure as a Service

基礎(chǔ)設(shè)施即服務(wù)

把計(jì)算基礎(chǔ)(服務(wù)器、網(wǎng)絡(luò)技術(shù)、存儲和數(shù)據(jù)中心空間)作為一項(xiàng)服務(wù)提供給客戶。它也包括提供操作系統(tǒng)和虛擬化技術(shù)、來管理資源。消費(fèi)者通過Internet可以從完善的計(jì)算機(jī)基礎(chǔ)設(shè)施獲得服務(wù)。

PaaS：Platform as a Service

平臺即服務(wù)

PaaS實(shí)際上是指將軟件研發(fā)的平臺作為一種服務(wù)，供應(yīng)商提供超過基礎(chǔ)設(shè)施的服務(wù)，一個(gè)作為軟件開發(fā)和運(yùn)行環(huán)境的整套解決方案，即以SaaS的模式提交給用戶。因此，PaaS也是SaaS模式的一種應(yīng)用。但是，PaaS的出現(xiàn)可以加快SaaS的發(fā)展，尤其是加快SaaS應(yīng)用的開發(fā)速度。

SaaS：Software as a Service

軟件即服務(wù)

是一種交付模式，其中應(yīng)用作為一項(xiàng)服務(wù)托管，通過Internet提供給用戶;幫助客戶更好地管理它們的IT項(xiàng)目和服務(wù)、確保它們IT應(yīng)用的質(zhì)量和性能，監(jiān)控它們的在線業(yè)務(wù)。

更多參閱：求大神解讀下IaaS、PaaS、SaaS的區(qū)別？

云計(jì)算：Cloud Computing

當(dāng)需要的時(shí)候，扭開水龍頭，水就來了，我只需要操心交水費(fèi)就是了！

當(dāng)你需要用一個(gè)軟件時(shí)，你不用跑去電腦城，打開應(yīng)用商店，它就下載下來了，你只需要交錢就是了；

當(dāng)你想看報(bào)紙的時(shí)候，你不用跑去報(bào)刊亭，只要打開頭條新聞，新聞唾手可得；

當(dāng)你想看書的時(shí)候，你不用跑去書城，只需要打開閱讀軟件，找到這樣的一本書，在手機(jī)上閱讀；

當(dāng)你想聽音樂的時(shí)候，你不用再跑去音像店苦苦找尋CD光碟，打開音樂軟件，就能聆聽音樂；

云計(jì)算像在每個(gè)不同地區(qū)開設(shè)不同的自來水公司，沒有地域限制，優(yōu)秀的云軟件服務(wù)商，向世界每個(gè)角落提供軟件服務(wù)——就像天空上的云一樣，不論你身處何方，只要你抬頭，就能看見！

“云計(jì)算”的五大特點(diǎn)：

1.大規(guī)模、分布式 2.虛擬化 3.高可用性和擴(kuò)展性 4.按需服務(wù)，更加經(jīng)濟(jì) 5.安全

“云計(jì)算”已經(jīng)深深植入到我們生活中的點(diǎn)點(diǎn)滴滴， 平時(shí)常用的那些APP或網(wǎng)站， 基本都離不開“云計(jì)算”作為背后的強(qiáng)大服務(wù)和技術(shù)支持。 如剁手黨愛恨交加的淘寶、京東， 社交癡迷黨的微信、微博、快手、秒拍、抖音等等！ 于此同時(shí)， 越來越多的企業(yè)機(jī)構(gòu)乃至政務(wù)部門， 開始使用基于云的平臺服務(wù)， 生活因“云計(jì)算”正在發(fā)生著革命性的變革和改變！

更多參閱：云計(jì)算是什么？

「更懂您和CDN | 視界云」