微服務(wù)監(jiān)控平臺改造：開著飛機修飛機

時間：2022-04-19 13:24:02 | 來源：行業(yè)動態(tài)

時間：2022-04-19 13:24:02 來源：行業(yè)動態(tài)

而此前，浙江移動微服務(wù)運行監(jiān)控平臺的不足主要體現(xiàn)在：

首先，缺乏內(nèi)部核心指標的監(jiān)控：如線程、數(shù)據(jù)庫連接、GC、網(wǎng)絡(luò)連接、CPU、內(nèi)存等；

其次，調(diào)用鏈代碼侵入： Log4x通過硬編碼埋點，對應(yīng)用有侵入，影響應(yīng)用以及整個調(diào)用鏈的性能；

第三，異常分類不足：無法對業(yè)務(wù)異常進行分析、分類，異常實例跟蹤能力不足，不能通過異常信息定位問題；

第四，監(jiān)控支撐處理能力不足：隨著接入系統(tǒng)越來越多，原監(jiān)控系統(tǒng)擴展能力不足。同時，缺少實時調(diào)控管理手段，監(jiān)控指標出現(xiàn)告警時，無法快速介入；

最后，無法展示服務(wù)依賴關(guān)系：難以理清服務(wù)間的相互依賴程度，以及某服務(wù)出現(xiàn)異常時造成的影響范圍。

浙江移動希望借助平臺升級改造來消除以上不足，但前提是不能影響業(yè)務(wù)的正常運行，其難度比得上開著飛機修飛機，任何改動都牽一發(fā)動全身。

亞信科技：以最小代價實現(xiàn)最佳改造

于是， 如何以最小代價完成全面而系統(tǒng)的改造就擺在了浙江移動合作伙伴亞信科技這一頭兒，在結(jié)合實踐創(chuàng)新的基礎(chǔ)上，以下方案浮出水面：

采用無侵入式探針埋點對目標系統(tǒng)進行數(shù)據(jù)采集，無業(yè)務(wù)改造量，運行數(shù)據(jù)通過后期清洗、聚合計算，會形成各類統(tǒng)計指標，并可視化展現(xiàn)在監(jiān)控首頁；

用統(tǒng)計指標說話，通過統(tǒng)計接口、集群、中心的調(diào)用情況，作為擴縮容依據(jù)；通過成功和失敗次數(shù)統(tǒng)計，了解系統(tǒng)健康情況，作為系統(tǒng)優(yōu)化基礎(chǔ)；通過耗時統(tǒng)計，了解系統(tǒng)性能，作為系統(tǒng)調(diào)優(yōu)的基礎(chǔ)；

優(yōu)化調(diào)用鏈，可展現(xiàn)請求的整個調(diào)用過程，每個調(diào)用環(huán)節(jié)的延時，輕松排查分布式系統(tǒng)下的異常，并定位問題所在；

對異常進行統(tǒng)計、分類，便于快速定位異常，實現(xiàn)高效運維；

展示服務(wù)的正反向依賴關(guān)系，任何新需求開發(fā)上線，都可以清晰地評估其影響范圍；

監(jiān)控能力可無限擴容，在對接配置中心后，可在線擴容升級。

亞信科技薛浩表示，我們以最小代價，完成了對分布式系統(tǒng)架構(gòu)的全面監(jiān)控，收集監(jiān)控數(shù)據(jù)的耗時幾乎可以忽略不計。我們通過關(guān)鍵節(jié)點數(shù)據(jù)的收集，分析業(yè)務(wù)健康狀態(tài)，并通過獲取系統(tǒng)日志、系統(tǒng)堆棧信息、GC信息、運行參數(shù)等一系列運維手段，實現(xiàn)故障排查和系統(tǒng)保障。能夠秒級響應(yīng)10億級用戶訪問量，并能快速無感知的定制客戶需要收集的數(shù)據(jù)。

截至目前，全新微服務(wù)運行監(jiān)控平臺的調(diào)用鏈可覆蓋浙江移動26個業(yè)務(wù)中心，即全省95%的業(yè)務(wù)量，所有的遠程調(diào)用都納入了監(jiān)控范圍。雖然成績顯而易見，但薛浩認為，技術(shù)的更迭永無止境，正如逆水行舟不進則退，不斷迭代、讓技術(shù)始終保持先進性，是我們的堅定追求。