Storm簡(jiǎn)介

時(shí)間：2022-02-27 13:45:01 | 來(lái)源：信息時(shí)代

時(shí)間：2022-02-27 13:45:01 來(lái)源：信息時(shí)代

是一個(gè)分布式的、容錯(cuò)的實(shí)時(shí)計(jì)算系統(tǒng)，它被托管在GitHub上，遵循 Eclipse Public License 1.0。Storm是由BackType開發(fā)的實(shí)時(shí)處理系統(tǒng)，BackType現(xiàn)在已在Twitter麾下。GitHub上的最新版本是Storm 0.8.0，基本是用Clojure寫的。

Storm為分布式實(shí)時(shí)計(jì)算提供了一組通用原語(yǔ)，可被用于“流處理”之中，實(shí)時(shí)處理消息并更新數(shù)據(jù)庫(kù)。這是管理隊(duì)列及工作者集群的另一種方式。 Storm也可被用于“連續(xù)計(jì)算”（continuous computation），對(duì)數(shù)據(jù)流做連續(xù)查詢，在計(jì)算時(shí)就將結(jié)果以流的形式輸出給用戶。它還可被用于“分布式RPC”，以并行的方式運(yùn)行昂貴的運(yùn)算。 Storm的主工程師Nathan Marz表示：

Storm可以方便地在一個(gè)計(jì)算機(jī)集群中編寫與擴(kuò)展復(fù)雜的實(shí)時(shí)計(jì)算，Storm用于實(shí)時(shí)處理，就好比?Hadoop用于批處理。Storm保證每個(gè)消息都會(huì)得到處理，而且它很快——在一個(gè)小集群中，每秒可以處理數(shù)以百萬(wàn)計(jì)的消息。更棒的是你可以使用任意編程語(yǔ)言來(lái)做開發(fā)。

Storm的主要特點(diǎn)如下：

簡(jiǎn)單的編程模型。類似于MapReduce降低了并行批處理復(fù)雜性，Storm降低了進(jìn)行實(shí)時(shí)處理的復(fù)雜性。

可以使用各種編程語(yǔ)言。你可以在Storm之上使用各種編程語(yǔ)言。默認(rèn)支持Clojure、Java、Ruby和Python。要增加對(duì)其他語(yǔ)言的支持，只需實(shí)現(xiàn)一個(gè)簡(jiǎn)單的Storm通信協(xié)議即可。

容錯(cuò)性。Storm會(huì)管理工作進(jìn)程和節(jié)點(diǎn)的故障。

水平擴(kuò)展。計(jì)算是在多個(gè)線程、進(jìn)程和服務(wù)器之間并行進(jìn)行的。

可靠的消息處理。Storm保證每個(gè)消息至少能得到一次完整處理。任務(wù)失敗時(shí)，它會(huì)負(fù)責(zé)從消息源重試消息。

快速。系統(tǒng)的設(shè)計(jì)保證了消息能得到快速的處理，使用?MQ作為其底層消息隊(duì)列。

本地模式。Storm有一個(gè)“本地模式”，可以在處理過(guò)程中完全模擬Storm集群。這讓你可以快速進(jìn)行開發(fā)和單元測(cè)試。