02 被遺忘的

時(shí)間：2022-04-19 14:27:01 | 來(lái)源：行業(yè)動(dòng)態(tài)

時(shí)間：2022-04-19 14:27:01 來(lái)源：行業(yè)動(dòng)態(tài)

隨著時(shí)間發(fā)展，Hadoop的概念逐漸泛化。一開始只有HDFS和Mapreduce，然后是一個(gè)以HDFS和YARN為基礎(chǔ)的平臺(tái)，再之后是一個(gè)包含Spark、Hive、Hbase等幾十個(gè)項(xiàng)目和子項(xiàng)目的生態(tài)，最后，甚至又帶上了以Hadoop為基礎(chǔ)的商業(yè)公司，如Cloudera、Hortonworks、MapR等。

這種泛化有個(gè)壞處，那就是一旦出現(xiàn)負(fù)面新聞，大家往往分不清該怪誰(shuí)。

比如作為一種技術(shù)，Hadoop肯定有其時(shí)效性。就像Mapreduce，雖然計(jì)算能力強(qiáng)大，但一切都是先Map再Reduce的抽象程度實(shí)在太粗魯，以至于理念上很快就被Spark、Flink等這種更先進(jìn)的技術(shù)打敗了。與之相似的，還有HDFS和YARN，從技術(shù)上說(shuō)，前者不如云存儲(chǔ)方便，后者不如K8S靈活，都有被取代的風(fēng)險(xiǎn)。

于是有人便開始宣稱Hadoop已死，然后又說(shuō)，因?yàn)镠adoop已死，Cloudera也不行了。典型的用狹義概念做總結(jié)，用廣義概念做推導(dǎo)，就像偶爾看到汽車超過(guò)了一輛綠皮車，就立馬得出鐵路運(yùn)輸已死，公路運(yùn)輸是未來(lái)一樣。

然而這種暴力論斷卻非常有市場(chǎng)。

尤其是2019年，這年Hadoop三個(gè)主要的獨(dú)立供應(yīng)商過(guò)的都不大好。MapR裁員，苦尋幾個(gè)月金主后賣給了HPE。Cloudera合并了Hortonworks，合并后Q1財(cái)報(bào)略不及預(yù)期，然后股價(jià)暴跌，CEO離職。往日的Hadoop三巨頭，似乎已是英雄末路。

這時(shí)不少人紛紛站了出來(lái)，用Mapreduce的問(wèn)題論斷Cloudera，表示它將不出所料的要玩完。

如果這時(shí)你搜索Hadoop is，輸入欄會(huì)自動(dòng)補(bǔ)齊 dead。

于是一個(gè)魔幻的現(xiàn)象出現(xiàn)了，一邊是Hadoop已死，獨(dú)立供應(yīng)商要完，一邊各大云廠商卻在拿Hadoop瘋狂賺錢。據(jù)分析師測(cè)算，2018年單AWS的EMR就產(chǎn)生了2.5億美金的營(yíng)收，而該產(chǎn)品介紹就是Hosted Hadoop framework。而這并不是孤例，除AWS的EMR外，谷歌云有Dataproc，Azure有HDInsight，阿里云有E-MapReduce，云計(jì)算四巨頭，全都把托管Hadoop放到了自己大數(shù)據(jù)產(chǎn)品的首頁(yè)，這顯然不是已死的技術(shù)該享受的待遇。

Cloudera的心情，大概就像開頭說(shuō)的種一年菜最后都被鳥收割了一樣。

它當(dāng)然解釋過(guò)，但沒什么效果。另外其實(shí)它很早就開始淡化自己是Hadoop供應(yīng)商的概念了，比如和O'Reilly合辦的Strata大會(huì)，以前叫Strata Hadoop，2017年之后便把Hadoop字眼拿掉，改叫了Strata Data Conference。

只不過(guò)這一切幾乎沒有人聽，就像自己已經(jīng)被大家遺忘掉一樣。

當(dāng)然，Cloudera無(wú)論如何肯定面臨著一些問(wèn)題，而且遠(yuǎn)比技術(shù)問(wèn)題復(fù)雜。

在合并之前，Cloudera和Hortonworks有各自不同的產(chǎn)品線，有各自不同的思路，Cloudera主打開源引擎加商業(yè)周邊，Hortonworks主打全開源。所以合并后的第一個(gè)問(wèn)題便是產(chǎn)品線怎么整合，原有客戶怎么遷移。它Q1的財(cái)報(bào)里提到不少客戶推遲了續(xù)費(fèi)，主要就是這個(gè)原因，大家都在等。

但這個(gè)問(wèn)題最多只算近憂，Cloudera真正的遠(yuǎn)慮，則是前面提到的公共云廠商。

云在吞噬一切，包括大數(shù)據(jù)，它們不止有托管的Hadoop，還有自研的替代產(chǎn)品。所以邏輯會(huì)變成這樣，它們會(huì)用托管Hadoop鯨吞開源市場(chǎng)，然后用自研替代品蠶食Hadoop。比如AWS里的Redshift，從場(chǎng)景上基本可以看成是Hadoop Hive的替代方案，但2018年?duì)I收約4億美金，遠(yuǎn)超Cloudera。而且這個(gè)邏輯對(duì)所有開源廠商都成立，幾乎成了開源軟件的公地悲劇。2018年，在怒斥云廠商為吸血鬼而收效甚微之后，Redis和Mongo兩家公司直接修改了開源協(xié)議，不再允許云廠商提供托管服務(wù)。

不過(guò)Hadoop用的是Apache協(xié)議，修改起來(lái)比較困難。但針對(duì)近憂遠(yuǎn)慮，Cloudera也給出了自己的答案。

那就是CDP。