數(shù)據(jù)管道改變了實(shí)時(shí)處理的重心
時(shí)間：2022-03-20 12:18:01 | 來源：行業(yè)動(dòng)態(tài)
時(shí)間：2022-03-20 12:18:01 來源：行業(yè)動(dòng)態(tài)
去年，我們預(yù)測物聯(lián)網(wǎng)將成為把實(shí)時(shí)流數(shù)據(jù)推向前端的應(yīng)用實(shí)例。今年，谷歌方面的Anadiotis預(yù)測，不僅流數(shù)據(jù)將成為主流，并且還將逐步實(shí)現(xiàn)即時(shí)分析。
流數(shù)據(jù)分析并非是新鮮術(shù)語；在此之前，我們已經(jīng)投入了大量精力以讓其重拾關(guān)注。在進(jìn)行數(shù)據(jù)存儲(chǔ)之前，流數(shù)據(jù)處理可被用于數(shù)據(jù)的解析與過濾以及模式或事件的檢測。物聯(lián)網(wǎng)數(shù)據(jù)的爆炸式增長自然催生了難題所有數(shù)據(jù)是否都需要存儲(chǔ)以及在哪里完成數(shù)據(jù)的處理。
隨著我們?nèi)找嬖鲩L的技術(shù)需求，我們希望能夠在數(shù)據(jù)運(yùn)行的同時(shí)完成更多的工作負(fù)載。這不僅解釋了用于隊(duì)列處理的Kafka與分發(fā)數(shù)據(jù)技術(shù)的萌生，還表明了數(shù)據(jù)平臺(tái)供應(yīng)商諸如SAP、Hortonworks、MapR與Teradata正在采取相關(guān)行動(dòng)的原因。Amazon Kinesis、Azure Data Factory以及Google Cloud Dataflow的崛起亦是這類即時(shí)需求的直接產(chǎn)物。數(shù)據(jù)管道能夠?qū)?shí)時(shí)處理從基礎(chǔ)過濾與轉(zhuǎn)換擴(kuò)展為協(xié)調(diào)進(jìn)程，從而支持高級(jí)預(yù)測分析與機(jī)器學(xué)習(xí)。因此，我們預(yù)計(jì)數(shù)據(jù)管道將在2018年成為流式分析的關(guān)鍵性支柱。此外，我們還將在這個(gè)領(lǐng)域聽到來自于IBM與甲骨文等供應(yīng)商所帶來的更多消息。
在線咨詢