1.PGW用戶實時位置軌跡
時間：2022-03-09 14:24:01 | 來源：行業(yè)動態(tài)
時間：2022-03-09 14:24:01 來源：行業(yè)動態(tài)
1.1、方案介紹
實時收集到的GGSN報文，通過StarRocks的聚合模型，將發(fā)生位置變更軌跡的明細(xì)數(shù)據(jù)實時沉淀下來。并對不同的區(qū)域維度生成Rollup表。最細(xì)粒度到基站級別，然后生成省、地市級別的Rollup表以供不同業(yè)務(wù)查詢。
GGSN報文量35萬/s，通過SparkStreaming處理解析后，每1分鐘StreamLoad一次入StarRocks。
1.2、方案優(yōu)化
最開始因為Rollup表建了省、地市、區(qū)縣、鄉(xiāng)鎮(zhèn)，導(dǎo)致在寫入時IO負(fù)擔(dān)過大，寫入速度跟不上數(shù)據(jù)推送，SparkStreaming出現(xiàn)擠壓，后期通過性能測試Rollup表只建立了省、地市維度。同時新增一張鄉(xiāng)鎮(zhèn)base表，并在其基礎(chǔ)上建立區(qū)縣Rollup表。
同時為保證查詢的時效性,base表Rollup表前綴索引在字段類型和選擇上按照官方建議，避免使用Varchar類型。
在線咨詢