實(shí)戰(zhàn)丨招商銀行分布式交易平臺(tái)建設(shè)

時(shí)間：2023-08-16 16:48:02 | 來(lái)源：網(wǎng)站運(yùn)營(yíng)

時(shí)間：2023-08-16 16:48:02 來(lái)源：網(wǎng)站運(yùn)營(yíng)

實(shí)戰(zhàn)丨招商銀行分布式交易平臺(tái)建設(shè)：

---

項(xiàng)目背景

隨著招商銀行全面貫徹“金融科技銀行”的戰(zhàn)略方針，基于移動(dòng)互聯(lián)網(wǎng)的高頻訪問(wèn)場(chǎng)景將成常態(tài)，客戶交易量以平均30%的比例高速增長(zhǎng)。這些新增的交易主要來(lái)自于主流互聯(lián)網(wǎng)企業(yè)，如螞蟻金服、騰訊、滴滴、摩拜等，具有如下特征：

一是高并發(fā)，特定時(shí)間段峰值極大、金額小、頻度高，存在搶購(gòu)等業(yè)務(wù)場(chǎng)景（如“雙11”），系統(tǒng)需要支持短時(shí)間高并發(fā)交易量的沖擊。二是實(shí)時(shí)要求高，業(yè)務(wù)處理的響應(yīng)時(shí)間要短，過(guò)長(zhǎng)則影響客戶體驗(yàn)。三是事務(wù)的強(qiáng)一致要求，特別涉及到資金業(yè)務(wù)，系統(tǒng)的數(shù)據(jù)必須要做到準(zhǔn)確一致。四是可用性要求極高，為了更好地支持客戶服務(wù)質(zhì)量，系統(tǒng)需支持7×24小時(shí)無(wú)間斷服務(wù)。且受到監(jiān)管部門(mén)的要求，對(duì)于意外宕機(jī)等時(shí)間都有著極其苛刻的要求。

傳統(tǒng)的銀行聯(lián)機(jī)交易平臺(tái)在支持這類交易的時(shí)候，一般使用垂直擴(kuò)展，即升級(jí)主機(jī)型號(hào)的方案。該方案的缺點(diǎn)在于以下幾個(gè)方面。

一是成本高昂。每年投入巨額資金和大量人力進(jìn)行相關(guān)主機(jī)的升級(jí)工作，以滿足日益增長(zhǎng)的交易需求。二是性能上限。近年來(lái)，招商銀行采用的服務(wù)器已經(jīng)逐步升級(jí)到了頂級(jí)機(jī)型，但在峰值來(lái)臨之時(shí)仍不免捉襟見(jiàn)肘。三是資源浪費(fèi)。在非峰值期間，又會(huì)造成主機(jī)資源的浪費(fèi)，不能充分利用計(jì)算資源。四是系統(tǒng)封閉。大中型主機(jī)目前全部由IBM、HP等廠商壟斷，缺乏競(jìng)爭(zhēng)，一方面導(dǎo)致銀行方議價(jià)能力不足；另一方面主機(jī)封閉的技術(shù)體系也不利于技術(shù)人員的培養(yǎng)和補(bǔ)充。

針對(duì)以上傳統(tǒng)銀行交易平臺(tái)的一些限制，招商銀行亟需開(kāi)發(fā)一套新的分布式交易平臺(tái)。

---

項(xiàng)目介紹

2015年，招商銀行啟動(dòng)了分布式交易平臺(tái)項(xiàng)目建設(shè)，該平臺(tái)采用了分布式微服務(wù)部署架構(gòu)，包含了四個(gè)基礎(chǔ)部分：高性能的運(yùn)行框架、平臺(tái)化管理的服務(wù)中心、覆蓋全生命周期的設(shè)計(jì)開(kāi)發(fā)管理中心、可視化的監(jiān)控中心。

1.高性能的運(yùn)行框架。分布式交易平臺(tái)提供了自主研發(fā)的高性能的運(yùn)行框架，通過(guò)優(yōu)化通訊接入、內(nèi)存管理、數(shù)據(jù)庫(kù)調(diào)用等技術(shù)，極大地提升單數(shù)據(jù)庫(kù)服務(wù)器和單應(yīng)用服務(wù)器的處理能力。采用分布式微服務(wù)的部署架構(gòu)，可以橫向擴(kuò)展數(shù)據(jù)庫(kù)服務(wù)器和應(yīng)用服務(wù)器，使用集群的方式線性提高整體處理能力（見(jiàn)圖1）。

運(yùn)行框架實(shí)現(xiàn)統(tǒng)一的通訊接入層。通過(guò)對(duì)通訊參數(shù)和內(nèi)存的優(yōu)化處理，為應(yīng)用提供一個(gè)高性能的通訊接入，實(shí)現(xiàn)單機(jī)2000TPS（每秒交易數(shù)）以上的交易處理量；通訊接入層還統(tǒng)一提供各種報(bào)文格式的轉(zhuǎn)換，涵蓋了招商銀行絕大部分報(bào)文格式，如網(wǎng)聯(lián)、銀聯(lián)、手機(jī)銀行等報(bào)文格式，使開(kāi)發(fā)人員無(wú)需面對(duì)多系統(tǒng)對(duì)接帶來(lái)的困擾，能夠更加專注于業(yè)務(wù)功能的開(kāi)發(fā)。

運(yùn)行框架統(tǒng)一實(shí)現(xiàn)運(yùn)行調(diào)度層。提供統(tǒng)一的內(nèi)存管理，為每筆請(qǐng)求分配獨(dú)立的內(nèi)存空間，并在請(qǐng)求處理后進(jìn)行有效回收，提高應(yīng)用的處理性能；提供統(tǒng)一的事務(wù)管理，包括單庫(kù)的事務(wù)處理及TCC分布式事務(wù)處理，保障數(shù)據(jù)的一致性；統(tǒng)一收集應(yīng)用的性能數(shù)據(jù)，如業(yè)務(wù)量、響應(yīng)時(shí)間、成功率等非功能性指標(biāo)，對(duì)系統(tǒng)進(jìn)行有效監(jiān)控。

平臺(tái)提供大量的基礎(chǔ)服務(wù)，如加密處理服務(wù)、系統(tǒng)參數(shù)服務(wù)、短信通知服務(wù)、Kafka消息隊(duì)列服務(wù)、并行計(jì)算服務(wù)等，開(kāi)發(fā)人員可以通過(guò)服務(wù)的形式直接使用，無(wú)需自行再次開(kāi)發(fā)，簡(jiǎn)化開(kāi)發(fā)的難度。

分布式交易平臺(tái)充分考慮招行運(yùn)行中心的實(shí)際情況，支持在多種系統(tǒng)平臺(tái)中部署，支持多種數(shù)據(jù)庫(kù)，軟硬件資源可以靈活搭配，不同的應(yīng)用場(chǎng)景可以提供不同的套餐，提升性價(jià)比，降低開(kāi)發(fā)運(yùn)維成本。

應(yīng)用系統(tǒng)可以根據(jù)可用性要求選擇不同類型的數(shù)據(jù)庫(kù)，如對(duì)可用性要求高的系統(tǒng)可以使用Orcale，可用性要求低的可以使用MySQL，實(shí)現(xiàn)最佳的性價(jià)比。

應(yīng)用系統(tǒng)還可以根據(jù)個(gè)性化需求選擇Nosql型數(shù)據(jù)庫(kù)。如對(duì)于需要存儲(chǔ)海量數(shù)據(jù)的系統(tǒng)可以選擇HBase，對(duì)于響應(yīng)時(shí)間要求極高的系統(tǒng)可以選擇Redis內(nèi)存數(shù)據(jù)庫(kù)來(lái)提高性能。

分布式交易平臺(tái)支持多種數(shù)據(jù)庫(kù)高可用部署架構(gòu)，不僅包括常規(guī)的數(shù)據(jù)庫(kù)同城熱備異地災(zāi)備的方案，同時(shí)開(kāi)創(chuàng)性地實(shí)現(xiàn)了數(shù)據(jù)庫(kù)異地雙活的部署架構(gòu)。

2.平臺(tái)化管理的服務(wù)中心。分布式交易平臺(tái)的應(yīng)用部署采用了微服務(wù)的體系架構(gòu)，將業(yè)務(wù)功能組件化和服務(wù)化，并利用統(tǒng)一的服務(wù)中心管理所有服務(wù)（見(jiàn)圖2）。提供了統(tǒng)一的資源管理、服務(wù)注冊(cè)、服務(wù)發(fā)現(xiàn)、數(shù)據(jù)路由功能。

服務(wù)中心統(tǒng)籌管理平臺(tái)的所有應(yīng)用服務(wù)器資源，根據(jù)每個(gè)服務(wù)的業(yè)務(wù)量需求分配相應(yīng)數(shù)量的服務(wù)器資源，并可根據(jù)業(yè)務(wù)量的變化動(dòng)態(tài)進(jìn)行資源的調(diào)整。如面對(duì)“雙11”場(chǎng)景時(shí)可臨時(shí)增加服務(wù)器資源，“雙11”過(guò)后釋放過(guò)剩的服務(wù)器資源，實(shí)現(xiàn)資源的共享利用。

服務(wù)中心為服務(wù)之間調(diào)用提供服務(wù)注冊(cè)、服務(wù)發(fā)現(xiàn)及數(shù)據(jù)路由功能。服務(wù)提供者應(yīng)用在啟動(dòng)時(shí)，向服務(wù)中心注冊(cè)自己提供的服務(wù)，并標(biāo)識(shí)自己的活動(dòng)狀態(tài)。消費(fèi)者在啟動(dòng)時(shí)，向服務(wù)中心訂閱自己所需要的服務(wù)，服務(wù)中心返回服務(wù)提供者的地址列表及數(shù)據(jù)路由信息給消費(fèi)者。當(dāng)服務(wù)提供者出現(xiàn)變更時(shí)，比如增減了服務(wù)實(shí)例等，服務(wù)中心將實(shí)時(shí)推送變更信息至消費(fèi)者。消費(fèi)者根據(jù)得到的服務(wù)提供者地址列表及數(shù)據(jù)路由信息，基于負(fù)載均衡算法選擇其中一臺(tái)服務(wù)提供者為自己提供服務(wù)。實(shí)現(xiàn)了透明化路由，解耦了消費(fèi)者與服務(wù)提供者；增強(qiáng)了服務(wù)伸縮能力，動(dòng)態(tài)擴(kuò)展服務(wù)后服務(wù)中心會(huì)自動(dòng)將新增的服務(wù)器主動(dòng)推送給客戶端。

3.覆蓋全生命周期的設(shè)計(jì)開(kāi)發(fā)管理中心。分布式交易平臺(tái)配套開(kāi)發(fā)了覆蓋軟件過(guò)程全生命周期的設(shè)計(jì)開(kāi)發(fā)管理中心。涵蓋了設(shè)計(jì)管理、開(kāi)發(fā)管理、編譯構(gòu)建、發(fā)布管理等功能。

在設(shè)計(jì)管理上，根據(jù)開(kāi)發(fā)團(tuán)隊(duì)多年以來(lái)摸索出來(lái)的理念和經(jīng)驗(yàn)，將設(shè)計(jì)流程與設(shè)計(jì)文檔固化在平臺(tái)中，一方面將設(shè)計(jì)工作標(biāo)準(zhǔn)化，同時(shí)又解決了文檔難以持續(xù)更新的問(wèn)題。大幅降低設(shè)計(jì)人員與開(kāi)發(fā)人員之間的溝通成本，提高開(kāi)發(fā)效率。

相較傳統(tǒng)的設(shè)計(jì)文檔孤立存放于文檔服務(wù)器，設(shè)計(jì)開(kāi)發(fā)管理中心將設(shè)計(jì)工作內(nèi)嵌之后，后續(xù)的開(kāi)發(fā)、編譯、發(fā)布環(huán)節(jié)均基于設(shè)計(jì)內(nèi)容，因此設(shè)計(jì)人員必須實(shí)時(shí)更新設(shè)計(jì)結(jié)果；同時(shí)，設(shè)計(jì)人員必須將設(shè)計(jì)內(nèi)容細(xì)化到平臺(tái)要求的粒度，消除原有設(shè)計(jì)文檔空心化的現(xiàn)象。

在開(kāi)發(fā)管理上，通過(guò)版本規(guī)劃及任務(wù)分配，方便項(xiàng)目經(jīng)理實(shí)時(shí)掌控項(xiàng)目進(jìn)度，提升項(xiàng)目管理水平。傳統(tǒng)的開(kāi)發(fā)過(guò)程中，項(xiàng)目經(jīng)理通過(guò)WBS了解開(kāi)發(fā)進(jìn)度，但實(shí)際存在WBS更新不及時(shí)導(dǎo)致項(xiàng)目經(jīng)理無(wú)法了解當(dāng)前進(jìn)度。設(shè)計(jì)開(kāi)發(fā)管理中心允許項(xiàng)目經(jīng)理實(shí)時(shí)查詢開(kāi)發(fā)人員分配情況及程序開(kāi)發(fā)完成進(jìn)度，便于版本控制；另外，相對(duì)于原有的開(kāi)發(fā)模式，目前平臺(tái)自動(dòng)化生成的標(biāo)準(zhǔn)代碼占比有所提高。

在編譯構(gòu)建和發(fā)布管理上，管理中心與行內(nèi)的Artifactory制品庫(kù)、版本管理工具RTC、軟件過(guò)程管理工具VP、Devops流水線等進(jìn)行無(wú)縫對(duì)接，實(shí)現(xiàn)軟件產(chǎn)品安裝發(fā)布的自動(dòng)化，提高發(fā)布效率，為大規(guī)模應(yīng)用集群的部署提供了便利。

4.可視化的監(jiān)控中心。微服務(wù)的設(shè)計(jì)思想使得一個(gè)業(yè)務(wù)功能被拆分成一組服務(wù)來(lái)實(shí)現(xiàn)，每個(gè)服務(wù)只完成一個(gè)簡(jiǎn)單的功能，一筆完整業(yè)務(wù)請(qǐng)求被拆分成多次服務(wù)調(diào)用，這給業(yè)務(wù)運(yùn)行及系統(tǒng)運(yùn)維帶來(lái)了一定的復(fù)雜度。

分布式交易平臺(tái)為每一筆業(yè)務(wù)請(qǐng)求分配全局統(tǒng)一的請(qǐng)求標(biāo)識(shí)號(hào)，并在服務(wù)調(diào)用時(shí)進(jìn)行傳遞，有效地將多次獨(dú)立的服務(wù)調(diào)用串聯(lián)成一筆完整的業(yè)務(wù)請(qǐng)求。通過(guò)對(duì)請(qǐng)求標(biāo)識(shí)號(hào)的采集，可以實(shí)現(xiàn)交易鏈路跟蹤，方便業(yè)務(wù)人員了解業(yè)務(wù)數(shù)據(jù)在系統(tǒng)間的流轉(zhuǎn)，同時(shí)方便開(kāi)發(fā)人員分析定位系統(tǒng)異常，大幅提高了系統(tǒng)管理水平。

分布式交易平臺(tái)為業(yè)務(wù)應(yīng)用統(tǒng)一提供了系統(tǒng)異常告警功能。監(jiān)控中心利用大數(shù)據(jù)智能化的算法分析，及時(shí)發(fā)現(xiàn)系統(tǒng)的異常行為，如交易量的異常波動(dòng)，錯(cuò)誤率的突然提高，錯(cuò)誤碼的動(dòng)態(tài)變化等，并通過(guò)短信和招乎向應(yīng)用負(fù)責(zé)人員發(fā)送告警消息，方便運(yùn)維人員及時(shí)發(fā)現(xiàn)系統(tǒng)異常，防患于未然。

分布式交易平臺(tái)建立統(tǒng)一的監(jiān)控中心。監(jiān)控中心采集平臺(tái)的性能數(shù)據(jù)及運(yùn)行狀態(tài)數(shù)據(jù)，實(shí)時(shí)通過(guò)圖表等可視化的形式直觀展示系統(tǒng)的運(yùn)行情況。

監(jiān)控中心的分析結(jié)果支持多種終端展示，包括電視、電腦、手機(jī)、PAD等，其中手機(jī)和PAD的監(jiān)控展示集成在移事通辦公平臺(tái)中。方便運(yùn)維人員及時(shí)查看系統(tǒng)運(yùn)行情況，特別是運(yùn)維人員不在行內(nèi)時(shí)，可以通過(guò)手機(jī)快速了解系統(tǒng)運(yùn)行情況。

監(jiān)控中心實(shí)現(xiàn)了告警消息推送機(jī)制。監(jiān)控中心通過(guò)分析系統(tǒng)的交易量、成功率及響應(yīng)時(shí)間等數(shù)據(jù)，識(shí)別異常波動(dòng)，自動(dòng)通過(guò)短信、招乎等方式發(fā)送告警消息至相關(guān)產(chǎn)品負(fù)責(zé)人，及時(shí)發(fā)現(xiàn)系統(tǒng)異常，保障系統(tǒng)穩(wěn)定運(yùn)行。

---

結(jié)語(yǔ)

招商銀行分布式交易平臺(tái)，是招商銀行立足當(dāng)前，著眼長(zhǎng)遠(yuǎn)，從徹底解決主機(jī)性能問(wèn)題，適應(yīng)移動(dòng)互聯(lián)網(wǎng)時(shí)代高并發(fā)、高可用、可擴(kuò)展的業(yè)務(wù)場(chǎng)景需求出發(fā)，自主研發(fā)，搭建起的一套全新交易平臺(tái)。

該平臺(tái)通過(guò)提供標(biāo)準(zhǔn)化的開(kāi)發(fā)框架和組件，支持應(yīng)用系統(tǒng)對(duì)數(shù)據(jù)庫(kù)分庫(kù)定義和路由規(guī)則設(shè)置，實(shí)現(xiàn)了數(shù)據(jù)分庫(kù)分表、數(shù)據(jù)冗余和交易負(fù)載均衡；數(shù)據(jù)庫(kù)采用“集群+分庫(kù)+雙活”架構(gòu)，實(shí)現(xiàn)了站點(diǎn)內(nèi)故障自動(dòng)切換，兩地秒級(jí)切換，日常維護(hù)不停機(jī)；通過(guò)熱點(diǎn)消除、“寫(xiě)沖突”避免等一系列軟硬件優(yōu)化，實(shí)現(xiàn)了系統(tǒng)每秒處理15000筆交易時(shí)，平均響應(yīng)時(shí)間低于10毫秒；通過(guò)對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行分片，降低了數(shù)據(jù)庫(kù)分庫(kù)間的耦合，讓線性提升性能更快實(shí)現(xiàn)。

該平臺(tái)的成功實(shí)施，為招商銀行未來(lái)進(jìn)一步穩(wěn)步發(fā)展打下了堅(jiān)實(shí)的基礎(chǔ)。