業(yè)務(wù)痛點(diǎn)及實(shí)時(shí)技術(shù)的挑戰(zhàn)
時(shí)間：2022-03-09 14:21:01 | 來(lái)源：行業(yè)動(dòng)態(tài)
時(shí)間：2022-03-09 14:21:01 來(lái)源：行業(yè)動(dòng)態(tài)
目前該業(yè)務(wù)在具體落地過(guò)程中，以及應(yīng)用業(yè)務(wù)對(duì)實(shí)時(shí)數(shù)據(jù)需求方面，主要存在以下問(wèn)題和技術(shù)難點(diǎn)：
1.流式數(shù)據(jù)join。目前PGW實(shí)時(shí)會(huì)話業(yè)務(wù)，峰值每秒數(shù)據(jù)達(dá)到35萬(wàn)/s，針對(duì)不同的業(yè)務(wù)需求，往往在數(shù)據(jù)清洗階段，需要對(duì)流式數(shù)據(jù)進(jìn)行字段關(guān)聯(lián)，然后以寬表形式寫入；
2.存量數(shù)據(jù)排序、實(shí)時(shí)分析。一方面因?yàn)楦鞯貐^(qū)網(wǎng)元設(shè)備的不穩(wěn)定等其他因素，往往實(shí)時(shí)傳送過(guò)來(lái)的數(shù)據(jù)存在亂序問(wèn)題，另一方面因?yàn)閱螚l會(huì)話長(zhǎng)期在線(最長(zhǎng)超過(guò)14天），對(duì)于單條會(huì)話的實(shí)時(shí)分析往往需要對(duì)存量數(shù)據(jù)進(jìn)行排序；
3.統(tǒng)一的實(shí)時(shí)OLAP數(shù)據(jù)平臺(tái)構(gòu)建。我們的用戶包括：內(nèi)部售后團(tuán)隊(duì)、運(yùn)營(yíng)、產(chǎn)品等內(nèi)部人員外，還有外部政企平臺(tái)客戶。不同的用戶往往關(guān)系的數(shù)據(jù)粒度、時(shí)間頻率、維度等各不相同。但是我們希望能建立一套統(tǒng)一的實(shí)時(shí)OLAP數(shù)據(jù)平臺(tái)，并提供一套靈活、安全可靠的實(shí)時(shí)數(shù)據(jù)服務(wù)。
目前整個(gè)業(yè)務(wù)的數(shù)據(jù)規(guī)模和業(yè)務(wù)如下：
關(guān)鍵詞：技術(shù),挑戰(zhàn),業(yè)務(wù)
在線咨詢