國產(chǎn)分布式數(shù)據(jù)庫發(fā)展趨勢與難點

時間：2023-03-13 08:48:01 | 來源：電子商務

時間：2023-03-13 08:48:01 來源：電子商務

引言：

日前，為更好地滿足亞信科技客戶對于數(shù)據(jù)管理的需求，提高通用型數(shù)據(jù)庫的產(chǎn)品服務能力與業(yè)務拓展能力，亞信科技分布式數(shù)據(jù)庫AntDB發(fā)布V7.0版本產(chǎn)品，助力運營商核心系統(tǒng)實現(xiàn)全方位的自主可控與業(yè)務系統(tǒng)的平穩(wěn)上線。面向未來，國產(chǎn)數(shù)據(jù)庫發(fā)展仍任重道遠，分布式數(shù)據(jù)庫也將在這一過程中扮演重要角色，分析、討論國產(chǎn)分布式數(shù)據(jù)庫發(fā)展趨勢與難點，不僅對AntDB數(shù)據(jù)庫的發(fā)展，也對國產(chǎn)數(shù)據(jù)庫的發(fā)展具有一定的參考和借鑒意義。

一、國產(chǎn)數(shù)據(jù)庫正處在發(fā)展機遇期

信創(chuàng)產(chǎn)業(yè)即信息技術應用創(chuàng)新產(chǎn)業(yè)，是我國近年來的一項國家戰(zhàn)略，也是當今形勢下經(jīng)濟發(fā)展的新動能，隨著相關政策陸續(xù)出臺，信創(chuàng)改革大潮下，推動探索安全可控的核心技術與產(chǎn)品漸成趨勢。在數(shù)據(jù)庫領域，黨政機關明確將全部采用國產(chǎn)數(shù)據(jù)庫，2020年已在金融行業(yè)先行試點。國產(chǎn)數(shù)據(jù)庫廠商緊隨趨勢加速打造各自的拳頭產(chǎn)品，從2020年至今，國產(chǎn)數(shù)據(jù)庫已經(jīng)從黨政、金融等領域，滲透到通信、能源、交通、工業(yè)物聯(lián)網(wǎng)等領域，市場前景十分可觀。

2022年6月，達夢數(shù)據(jù)、星環(huán)科技等數(shù)據(jù)庫廠商陸續(xù)遞交招股書，在國內(nèi)科創(chuàng)板塊以7億營收撬動幾百億市值，這一“信號”表明國產(chǎn)數(shù)據(jù)庫的發(fā)展已進入快車道。一方面，國產(chǎn)數(shù)據(jù)庫發(fā)展恰逢政策機遇，過去國內(nèi)數(shù)據(jù)庫市場被Oracle、IBM 等企業(yè)壟斷，近年來受益于政策的加速推進，國產(chǎn)數(shù)據(jù)庫企業(yè)的市場份額得以顯著提升。另一方面，國產(chǎn)數(shù)據(jù)庫發(fā)展也處在市場機遇期，數(shù)據(jù)庫等基礎軟件的服務方式逐漸向云化發(fā)展，隨著云計算的大規(guī)模應用，數(shù)據(jù)庫也迎來新的發(fā)展契機。

二、分布式數(shù)據(jù)庫的發(fā)展機遇與挑戰(zhàn)并存

數(shù)據(jù)庫最早誕生在上世紀60年代，IBM實驗室提出的”關系模型”理論為風靡全球近50年的關系型數(shù)據(jù)庫技術奠定了基礎。隨著信息通信技術與移動互聯(lián)網(wǎng)的高速發(fā)展，業(yè)務表現(xiàn)出高并發(fā)讀寫、海量數(shù)據(jù)處理、數(shù)據(jù)結構不統(tǒng)一的特點，后關系型數(shù)據(jù)庫開始涌現(xiàn)，對傳統(tǒng)關系型數(shù)據(jù)庫做出了進一步補充和完善，分布式數(shù)據(jù)庫就在此時蓬勃發(fā)展，為人熟知。

相比于傳統(tǒng)關系型數(shù)據(jù)庫，分布式數(shù)據(jù)庫具有平滑擴展、高可用、低成本等顯著優(yōu)點，如果將傳統(tǒng)關系型數(shù)據(jù)庫、非關系型數(shù)據(jù)庫和分布式數(shù)據(jù)庫對比總結，可以得到表1：

由上表可以看出，分布式數(shù)據(jù)庫屬于時代進化的結果，功能幾乎結合了傳統(tǒng)關系型與非關系數(shù)據(jù)庫的集中優(yōu)勢。但由于發(fā)展時間較短，其標準體系及評價體系不夠健全，生態(tài)體系不夠完善，未來我國分布式數(shù)據(jù)庫的發(fā)展必將機遇與挑戰(zhàn)并存。

2.1、分布式數(shù)據(jù)庫的優(yōu)勢

分布式數(shù)據(jù)庫平滑擴展、高可用、低成本的三大主要優(yōu)點帶來巨大的發(fā)展?jié)摿?，下面以亞信科技AntDB數(shù)據(jù)庫為例展開論述這三大優(yōu)點。

一是平滑擴展與高性能，在分布式執(zhí)行計劃中，表數(shù)據(jù)被分散在多個節(jié)點上，這大大降低了單節(jié)點的數(shù)據(jù)量，分布式執(zhí)行計劃還可以做到讀寫分離，有助于充分利用多個節(jié)點的存儲與計算資源，有效地提升數(shù)據(jù)庫的吞吐量，目前AntDB數(shù)據(jù)庫可以按需求平滑地進行節(jié)點擴展，支持幾十萬級甚至百萬級TPS/QPS[1]（吞吐量）處理的核心要求。

二是高可用，這一點對企業(yè)數(shù)據(jù)安全和保障業(yè)務連續(xù)性至關重要，分布式數(shù)據(jù)庫通過主備架構設計，主節(jié)點故障自動切換至備中心（failover），保障核心系統(tǒng)的連續(xù)可用；此外，各數(shù)據(jù)中心通過同步/異步復制來保障數(shù)據(jù)的一致性和事務的完整性，遇故障切換時不影響業(yè)務的正常運行。AntDB數(shù)據(jù)庫通過多副本、分布式事務處理等機制，以及異地多中心的部署方案，以保證高可用性。

三是低成本，分布式數(shù)據(jù)庫是基于通用的 PC 服務器和操作系統(tǒng)的，在硬件成本上有非常明顯優(yōu)勢，此外，AntDB數(shù)據(jù)庫 與Oracle數(shù)據(jù)庫的兼容率高達96%，有效降低了程序遷移的風險，減少了重寫應用的成本。

2.2、分布式數(shù)據(jù)庫發(fā)展存在的問題

由于分布式數(shù)據(jù)庫節(jié)點多，集群結構復雜，也有其自身的短板，加之分布式數(shù)據(jù)庫發(fā)展時間不長，仍有許多問題亟待解決。一是根據(jù)CAP理論[2]，分布式數(shù)據(jù)庫無法完美滿足客戶多重特性需求，如某些金融核心應用既要求高一致性，又要求高可用，有可能造成客戶不得不舍棄或降低某些需求。二是分布式數(shù)據(jù)庫運維管理較復雜，根據(jù)業(yè)務節(jié)點需要，分布式數(shù)據(jù)庫通常由多臺服務器組成，軟硬件的運維和管理往往很復雜。三是分布式數(shù)據(jù)庫產(chǎn)品成熟度待提高，如針對分布式數(shù)據(jù)庫的優(yōu)化器、數(shù)據(jù)類型、復雜查詢、自定義函數(shù)和存儲過程等高級特性參差不齊。

三、亞信科技AntDB數(shù)據(jù)庫實踐分享

和國外成熟穩(wěn)定的商業(yè)數(shù)據(jù)庫相比，國產(chǎn)數(shù)據(jù)庫在性能、穩(wěn)定性、生態(tài)等方面存在一定差距，我國數(shù)據(jù)庫的自主可控替換，也不是簡單的以庫換庫，而是用新體系替換舊體系，在架構、研發(fā)、上線、運維等方面，全面降低對特定數(shù)據(jù)庫的依賴，這將是一個持續(xù)且艱難的過程。在這一過程中，亞信科技推出國產(chǎn)分布式數(shù)據(jù)庫AntDB，核心團隊攻堅不斷，2015年增加Oracle兼容特性、2017年實現(xiàn)秒級在線擴容、2019年增加內(nèi)核級讀寫分離等功能、2022年支持內(nèi)存與磁盤雙引擎等等。AntDB數(shù)據(jù)庫的應用領域也從通信向金融、交通、能源等行業(yè)拓展。

作為階段性成績，亞信科技AntDB數(shù)據(jù)庫在運營商自主可控替換項目中落地，具有重要意義：一是探索出自主可控的數(shù)據(jù)庫架構，通過研發(fā)微庫架構，在架構層面消除應用對特定數(shù)據(jù)庫的依賴；二是驗證數(shù)據(jù)庫軟硬件全自主可控的可行性，目前，亞信科技AntDB數(shù)據(jù)庫及華為鯤鵬服務器的組合解決方案，可以在運營商核心的交易場景替代國外商業(yè)解決方案。三是探索出基于灰度發(fā)布[3]能力的數(shù)據(jù)庫割接方案，實現(xiàn)不停服、零故障的數(shù)據(jù)庫割接，將數(shù)據(jù)庫國產(chǎn)化替換的業(yè)務影響降至最低。

AntDB分布式數(shù)據(jù)庫解決方案在通信行業(yè)大規(guī)模的商用落地并且獲得客戶的廣泛好評。另外我們判斷不僅在通信行業(yè)，也可同時推廣至如金融、黨政、能源、郵政等重要的關鍵基礎設施行業(yè)領域中，加速推動各行業(yè)的數(shù)字化轉(zhuǎn)型升級。

在金融行業(yè)，AntDB應用在北方某保險公司的大數(shù)據(jù)系統(tǒng)中，成功商用落地，其成功經(jīng)驗可以同樣推廣至以分析型業(yè)務為主的其他金融或證券業(yè)務系統(tǒng)中。

在政企行業(yè)，AntDB應用在南方某省高速的高速ETC計費與大數(shù)據(jù)平臺，同樣該成功經(jīng)驗可以推廣至其他類似高數(shù)據(jù)并發(fā)的行業(yè)，如IoT物聯(lián)網(wǎng)場景等。

面向未來，隨著AntDB數(shù)據(jù)庫不斷增強通用性、標準性和安全性，為更好地服務亞信科技的行業(yè)客戶，AntDB數(shù)據(jù)庫將繼續(xù)加強產(chǎn)品研發(fā)的投入，實現(xiàn)一套數(shù)據(jù)庫對多種數(shù)據(jù)類型、多種業(yè)務場景的統(tǒng)一支持，并確保數(shù)據(jù)可靠，不丟、不錯、不重，為客戶提供高質(zhì)量的數(shù)據(jù)庫產(chǎn)品。

關于AntDB數(shù)據(jù)庫

AntDB數(shù)據(jù)庫始于2008年，在運營商的核心系統(tǒng)上，為全國24個省份的10億多用戶提供在線服務，具備高性能、彈性擴展、高可靠等產(chǎn)品特性，峰值每秒可處理百萬筆通信核心交易，保障系統(tǒng)持續(xù)穩(wěn)定運行近十年，并在通信、金融、交通、能源、物聯(lián)網(wǎng)等行業(yè)成功商用落地。

---

[1] TPS: Transactions Per Second的縮寫，即每秒處理的事務總數(shù)。QPS：Queries Per Second的縮寫，即每秒處理的請求總數(shù)。

[2] 指的是在一個分布式系統(tǒng)中，Consistency(一致性)、Availability(可用性)、Partition Tolerance(分區(qū)容錯性)，不能同時成立。

[3] 灰度發(fā)布（又名金絲雀發(fā)布）是指在黑與白之間，能夠平滑過渡的一種發(fā)布方式。在其上可以進行A/B testing，即讓一部分用戶繼續(xù)用產(chǎn)品特性A，一部分用戶開始用產(chǎn)品特性B，如果用戶對B沒有什么反對意見，那么逐步擴大范圍，把所有用戶都遷移到B上面來。灰度發(fā)布可以保證整體系統(tǒng)的穩(wěn)定，在初始灰度的時候就可以發(fā)現(xiàn)、調(diào)整問題，以保證其影響度。