國產(chǎn)數(shù)據(jù)庫技術(shù)發(fā)展有哪些探索與思考？

時間：2023-03-31 03:04:01 | 來源：電子商務(wù)

時間：2023-03-31 03:04:01 來源：電子商務(wù)

本文根據(jù)王義成老師在〖2020 Gdevops全球敏捷運維峰會〗現(xiàn)場演講內(nèi)容整理而成。










（點擊文末“閱讀原文”可獲取完整PPT）





講師介紹


王義成，騰訊云數(shù)據(jù)庫副總經(jīng)理，深耕數(shù)據(jù)庫領(lǐng)域10余年，數(shù)據(jù)庫技術(shù)專家工程師。從事過數(shù)據(jù)庫研發(fā)、數(shù)據(jù)庫管理員以及云數(shù)據(jù)庫產(chǎn)品經(jīng)理多項工作。作為騰訊云數(shù)據(jù)庫核心人員參與騰訊云CynosDB、TDSQL、DBBrain等產(chǎn)品的自主研制與設(shè)計，帶領(lǐng)團隊持續(xù)用核心技術(shù)幫助企業(yè)完成數(shù)字化轉(zhuǎn)型和業(yè)務(wù)創(chuàng)新。




我是來自騰訊云數(shù)據(jù)庫團隊的王義成，大家可能比較熟悉騰訊了，但是對于騰訊云數(shù)據(jù)庫還不是特別了解。其實騰訊是一家崇尚產(chǎn)品文化的公司，每年年底都會舉行產(chǎn)品“名品堂”大選，其中有大家耳熟能詳?shù)囊恍┊a(chǎn)品，比如微信支付、微信、王者榮耀、騰訊視頻都是“名品堂”產(chǎn)品。




一直以來，騰訊云數(shù)據(jù)庫都在支持著這些“名品堂”產(chǎn)品成長，同時騰訊云數(shù)據(jù)庫也不斷擴展了很多發(fā)達國家的客戶，今天由我來給大家分享一下騰訊云數(shù)據(jù)庫這么多年來發(fā)展的一些歷史和情況。




一、云時代，未來已來




首先分享一個觀點，根據(jù)Gartner預(yù)測，到2023年，世界上3/4的數(shù)據(jù)庫都會跑在云上。













我非常相信這句話。為什么呢？因為在今年年底，我們可以看到以下兩個趨勢：

1. IDC上云的成本逐漸降低?？纯碔DC在云下部署的成本，如果算上帶寬、基礎(chǔ)的租用成本和機架租賃成本，這個整體成本已經(jīng)超過了購買服務(wù)器的成本。于是，我們看到更多的一些以前在云下自建的客戶開始選擇用公有云來部署基礎(chǔ)設(shè)施服務(wù)。
2. 過去在中國，以金融、政府、運營商為代表的傳統(tǒng)行業(yè)還是很難擁抱云計算，多以自建形式管控基礎(chǔ)設(shè)施，不過這種情況已發(fā)生了改變。

• 近年來，在金融領(lǐng)域，像建行構(gòu)建了自有的建行生態(tài)云，銀聯(lián)今年也發(fā)布了獨建的生態(tài)云。在明年，建行將基于騰訊云構(gòu)建更大的生態(tài)云，繼續(xù)支持生態(tài)合作伙伴一起擁抱云計算；

• 再看另一個傳統(tǒng)的領(lǐng)域，就是政務(wù)。像一些GDP大省，浙江、廣東其實都在構(gòu)建自己的省政務(wù)云，像浙江省有“老百姓最多跑一次”這樣的省政務(wù)云；騰訊云也參與了“數(shù)字廣東”的業(yè)務(wù)，整個廣東省的醫(yī)保、人社、教育系統(tǒng)全部都搬到云上；

• 最后再看運營商，其實運營商這幾年也在構(gòu)建基于公有云的底座，比如聯(lián)通沃云、移動云。

從整體來看，不管是哪個行業(yè)，中國已經(jīng)開始趨于全面擁抱云。正如Gartner的預(yù)測，世界上3/4的數(shù)據(jù)庫將跑在云上，對此我們深信不疑，覺得一定會實現(xiàn)這個愿景。




二、立足國內(nèi)，布局全球













基于以上的大趨勢，騰訊云數(shù)據(jù)庫一直在開疆辟土，依托騰訊云部署了多個領(lǐng)域，目前全球已經(jīng)遍布騰訊云數(shù)據(jù)庫的服務(wù)，無論在全國任何地方，都可以依賴于騰訊云數(shù)據(jù)庫服務(wù)來支撐業(yè)務(wù)。




最近這一年，國產(chǎn)數(shù)據(jù)庫的風(fēng)口已經(jīng)到來。大家都在問，在“去IOE”或者“去O”的過程中，中國到底經(jīng)歷了幾個階段？我個人總結(jié)認為，中國大概分為三個“去IOE”的階段：

• 第一個階段，以BAT為代表的泛互聯(lián)網(wǎng)行業(yè)的興起。在2000年，BAT的業(yè)務(wù)都沒有選擇商業(yè)數(shù)據(jù)庫，而是使用MySQL這類開源數(shù)據(jù)庫，在逐步可控、自控之后選擇走上自研的道路。2011年，隨著4G開始普及，出現(xiàn)了像滴滴、美團這類泛互聯(lián)網(wǎng)業(yè)務(wù)。在整個世界范圍來看，中國整體泛互聯(lián)網(wǎng)的市值體量其實不比美國差太多。中國“去IOE”的第一個大的歷程，就是從泛互聯(lián)網(wǎng)行業(yè)的基礎(chǔ)數(shù)據(jù)庫沒有選擇商業(yè)數(shù)據(jù)庫開始。


• 第二個階段，轉(zhuǎn)折點就是金融、政務(wù)等傳統(tǒng)行業(yè)的一些新興類業(yè)務(wù)開始選擇了國產(chǎn)數(shù)據(jù)庫來支撐自己的業(yè)務(wù)。舉個例子，像中國的第一家互聯(lián)網(wǎng)銀行微眾銀行，其全棧的銀行核心交易系統(tǒng)都沒有選擇商業(yè)數(shù)據(jù)庫，都是用騰訊云的底座來支撐。再看到一些互聯(lián)網(wǎng)類的金融業(yè)務(wù)，據(jù)我所知，招商銀行的網(wǎng)上銀行沒有選擇商業(yè)數(shù)據(jù)庫，很多互聯(lián)網(wǎng)保險也沒有選擇商業(yè)數(shù)據(jù)庫。

• 第三個階段，就是現(xiàn)在所處的階段，整個大型的傳統(tǒng)企業(yè)最核心的部件開始選擇把數(shù)據(jù)庫拿到開源數(shù)據(jù)庫上來，像銀行、保險、政府的核心業(yè)務(wù)系統(tǒng)的下移。

騰訊云數(shù)據(jù)庫在以上三個“去IOE”階段中都起到了相應(yīng)的作用，下面我按照這個脈絡(luò)跟大家分享一下。













騰訊云的數(shù)據(jù)庫起源于自研，以自研支撐業(yè)務(wù)。在泛互聯(lián)網(wǎng)行業(yè)興起的時候，騰訊內(nèi)部就沒有選擇商業(yè)數(shù)據(jù)庫，內(nèi)部的騰訊云數(shù)據(jù)庫最初開始是支撐支付類的業(yè)務(wù)。今天騰訊所有的計費類業(yè)務(wù)都跑在騰訊自研的數(shù)據(jù)庫之上，比如你用Q幣充值，在王者榮耀上買皮膚，所有與交易相關(guān)的數(shù)據(jù)都存到騰訊自研的數(shù)據(jù)庫上。基于騰訊云數(shù)據(jù)庫，我們也支持了微信支付、微眾銀行這些騰訊自研的業(yè)務(wù)。




隨后，我們開始做產(chǎn)學(xué)研結(jié)合的研究，與人民大學(xué)、清華大學(xué)合作高端或者精準(zhǔn)的研究課題。最后開始步入到第三個階段，就是我們?nèi)缃耖_始擁抱大型的行業(yè)，實現(xiàn)行業(yè)大型的主機下移、數(shù)據(jù)庫下移，做到產(chǎn)用結(jié)合，支持中國銀行、平安銀行這類客戶的重大數(shù)據(jù)庫系統(tǒng)下移。




三、有力支撐內(nèi)部業(yè)務(wù)




對于騰訊內(nèi)部的使用，我舉三個騰訊云數(shù)據(jù)庫支撐內(nèi)部業(yè)務(wù)的案例。




1、微信支付




騰訊云數(shù)據(jù)庫支持了微信支付的商家?guī)?。目前騰訊云TBase數(shù)據(jù)庫集群已經(jīng)部署了200多個節(jié)點，可以支撐月數(shù)據(jù)量新增200億，月新增存儲為10TB以上。微信支付商家助手就是看重我們能夠自動做冷熱數(shù)據(jù)的分離，幫助用戶節(jié)省成本，從而有效提升整體數(shù)據(jù)庫的擴展性。













2、王者榮耀




大家都非常清楚，這個游戲其實已經(jīng)打破了一個正常游戲本身的生命周期。王者榮耀長期霸網(wǎng)，它的底層都有騰訊云數(shù)據(jù)庫的支撐，平均每天8000萬局，平均每分鐘5萬多場。王者榮耀團戰(zhàn)的數(shù)據(jù)都被存儲在騰訊云的數(shù)據(jù)庫上。













3、 騰訊會議




騰訊會議是To B的產(chǎn)品，它是中國現(xiàn)在發(fā)展最快的在線視頻會議系統(tǒng)，疫情期間助推了該產(chǎn)品的增長。騰訊會議的好處就是長在云上，生在云上。目前騰訊云的數(shù)據(jù)庫產(chǎn)品正在支撐騰訊會議的整體發(fā)展，包括使用騰訊會議時注冊登錄，在會議系統(tǒng)里面使用紅包等等所有相關(guān)的信息和關(guān)系數(shù)據(jù)全部都存儲在騰訊云的數(shù)據(jù)庫之上。













為什么騰訊云數(shù)據(jù)庫能夠很好地支持業(yè)務(wù)？這其中涉及很多的功能支持，還有運維的經(jīng)驗等等?？偨Y(jié)來說，最核心的一點就是我們演變出一套聯(lián)邦式的分布式架構(gòu)，通過上層的協(xié)調(diào)節(jié)點能夠支撐業(yè)務(wù)數(shù)據(jù)打散，在底層通過GTM-S幫助用戶做這種一主兩從模式實現(xiàn)高可用。




因此，在內(nèi)部憑借著這套分布式的架構(gòu)，我們整體完成了對于騰訊內(nèi)部很多核心業(yè)務(wù)的支撐。我覺得，良好的分布式擴展能力就是騰訊云數(shù)據(jù)庫能夠很好支撐業(yè)務(wù)最核心的一點。
















四、走出騰訊，服務(wù)三百六十行




在充分支持好內(nèi)部業(yè)務(wù)后，我們開始去服務(wù)好三百六十行。為什么要服務(wù)三百六十行？我覺得很重要的一個觀點就是在2008年之后，騰訊的戰(zhàn)略發(fā)生了變化，從原來的什么都做，轉(zhuǎn)變到“連接+投資”這樣的模式。




在中國，到今年為止，騰訊系投資的公司已經(jīng)超過十萬億。在當(dāng)時2008年高層的戰(zhàn)略是要通過投資投出一個騰訊，目前騰訊系投資的市值已經(jīng)是騰訊本身的20倍，其實騰訊的投資是非常成功的，在投資的背后也是有基礎(chǔ)的設(shè)施幫助這些投資的技術(shù)公司達到相應(yīng)的成長。




騰訊投資過很多優(yōu)質(zhì)的企業(yè)，像拼多多、美團、京東、每日優(yōu)鮮、B站，還有很多游戲類的公司，這些優(yōu)質(zhì)的公司由騰訊投資以后，通過本身的業(yè)務(wù)發(fā)展，像微信和背后的流量給這些公司很大的扶持，同時騰訊云作為底座的支撐也起到了很大的作用，因此騰訊云數(shù)據(jù)庫團隊也跟著騰訊云支撐這些騰訊系的互聯(lián)網(wǎng)創(chuàng)業(yè)公司。













舉個簡單的例子就是拼多多，拼多多剛開始運營時還非常小，隨著近三年的發(fā)展，它的市值從百億增長到目前將近2000億美金，它的數(shù)據(jù)量在底層呈現(xiàn)爆發(fā)式增長，訂單數(shù)也是從很小一步步發(fā)展過來，包括所有的訂單數(shù)據(jù)、交易數(shù)據(jù)、快照數(shù)據(jù)等全部都是在騰訊云數(shù)據(jù)庫之上。可以說是騰訊云數(shù)據(jù)庫的產(chǎn)品能力與服務(wù)助力了騰訊的互聯(lián)網(wǎng)朋友圈公司得到快速發(fā)展。




為什么能夠同時支持這么多的客戶在業(yè)務(wù)上蓬勃發(fā)展？主要有兩點支撐：




一是騰訊云數(shù)據(jù)庫這么多年來構(gòu)建了全棧的數(shù)據(jù)庫解決方案，從基礎(chǔ)的PaaS開始，有基于關(guān)系型數(shù)據(jù)庫的托管服務(wù)，像MySQL，也有非關(guān)系型數(shù)據(jù)庫服務(wù)，同時我們也有自研的企業(yè)級分布式數(shù)據(jù)庫TDSQL，包括TDSQL（原TDSQL和原TBase TP及HTAP版）、TDSQL-C（原CynosDB）和TDSQL-A（原TBase AP增強版和ClickHouse），同時還有一些云數(shù)據(jù)庫。













在PaaS產(chǎn)品之上我們有全棧的數(shù)據(jù)庫SaaS產(chǎn)品，包括數(shù)據(jù)遷移、智能管家、數(shù)據(jù)管理服務(wù)等等。其中有一個“DBA智能管家”，這是我們?yōu)橛脩糸_發(fā)的一款DBA的智能服務(wù)，我們將所有數(shù)據(jù)日志，主機內(nèi)所有相應(yīng)的數(shù)據(jù)進行全站收集，基于AI的技術(shù)來做分析，為用戶實時產(chǎn)出一份7×24小時的診斷報告。這能對用戶產(chǎn)生什么樣的價值？




假如一個拼多多的DBA，在早上9點上班的時候，突然老板說夜里兩點半數(shù)據(jù)有些抖動，數(shù)據(jù)庫到底發(fā)生什么樣的問題？如果你沒有這套東西是很難判斷的，有了這套診斷工具就可以實現(xiàn)7×24小時診斷。因為數(shù)據(jù)已經(jīng)存在了，可以基于一個時間點進行產(chǎn)出，在這個時間點上，業(yè)務(wù)的抖動是由于數(shù)據(jù)庫IO發(fā)生什么原因?qū)е?，再發(fā)現(xiàn)IO出問題是因為慢爬蟲導(dǎo)致的，基于慢爬蟲的原因我們會給出相應(yīng)的優(yōu)化建議，所以對于DBA整體服務(wù)自己的業(yè)務(wù)有很大的幫助。













二是我們在適配或者說積極思考云的變化。今年騰訊云的戰(zhàn)略是“一云四端”，就是在整體上充分利用騰訊云和我們廣大的端，包括微信小程序、QQ、企業(yè)微信等這些很好的端。




我們做了一個小程序的云開發(fā)，就是與小程序云端結(jié)合產(chǎn)生很大的價值。對于開發(fā)者來說，他希望的是未來使用數(shù)據(jù)庫不再是資源化和池化的?；谶@樣的思想和理念，我們構(gòu)建了一個將計算和存儲完全分離的數(shù)據(jù)庫架構(gòu)，計算層可以完全透明的無限擴展，數(shù)據(jù)通過普通網(wǎng)站可以傳輸?shù)酱鎯?，底層是一個分布式池化的數(shù)據(jù)，同時感知MySQL制定的協(xié)議，然后再以自動能力做回放。




這樣做帶來的好處是計算層面與存儲數(shù)據(jù)解耦，不再像以前把存儲和計算能力放在一起。在過去，擴容某個節(jié)點或者讀的能力要做很大的數(shù)據(jù)搬遷，現(xiàn)在不用了，可以瞬間拉起或者瞬間關(guān)閉一個讀節(jié)點，對業(yè)務(wù)基本上是無運營影響的，就能很好地適配小程序的云開發(fā)場景。




如果客戶需要使用數(shù)據(jù)庫的時候，我可以迅速拉起一個節(jié)點來提供相應(yīng)的讀操作或者寫操作；如果發(fā)現(xiàn)前面沒有鏈接，會迅速把計算節(jié)點殺掉，下次有鏈接的時候再把它拉進來，這是一個很好的面向開發(fā)者的場景，也是Serveless級的數(shù)據(jù)庫。隨著這款存儲架構(gòu)的演進，未來在線下將演變成通過替換一個模式能夠應(yīng)用的架構(gòu)。




我們這么多年來正是基于全棧的數(shù)據(jù)庫解決方案，適配一些騰訊云戰(zhàn)略以及云端的一些開發(fā)者變化，去積極思考數(shù)據(jù)庫價值的變化。




五、在金融關(guān)鍵領(lǐng)域的國產(chǎn)數(shù)據(jù)庫突破




在很好地支持騰訊廣大的泛互聯(lián)網(wǎng)朋友圈之后，我們今年開始逐漸突破線下的客戶。國產(chǎn)數(shù)據(jù)庫至少在這兩年已經(jīng)到達輿論的頂點，所以我們一直在突破一些傳統(tǒng)領(lǐng)域。




近兩年來我們做的一個比較大的案例就是人保財險，人保一直在思考基礎(chǔ)設(shè)施的變化，從單體架構(gòu)改成分布式架構(gòu)，從前端的微服務(wù)化到底層適配，底層應(yīng)用了我們的分布式數(shù)據(jù)庫，這樣為用戶構(gòu)建兩地四中心的整體解決方案。













目前騰訊的數(shù)據(jù)庫支持了人保，只有非常少的業(yè)務(wù)還沒有遷上來，但現(xiàn)在已經(jīng)覆蓋了全國36個省，28個業(yè)務(wù)。商業(yè)險包括財險的業(yè)務(wù)全部都用騰訊云數(shù)據(jù)庫支撐，這套系統(tǒng)未來也會遷移核心上云，像整體車險類業(yè)務(wù)，各省業(yè)務(wù)都會遷移到基于騰訊云數(shù)據(jù)庫和騰訊云構(gòu)建的專署云上。所以這也是我們看到國產(chǎn)數(shù)據(jù)庫或者國產(chǎn)廠商的技術(shù)能力，能夠幫助傳統(tǒng)行業(yè)來做相應(yīng)的數(shù)據(jù)突破。




我們的數(shù)據(jù)庫在張家港農(nóng)商行也取得了突破，幫助他們做了一個整棧數(shù)據(jù)庫的下移，形成了從傳統(tǒng)商業(yè)數(shù)據(jù)庫向國產(chǎn)數(shù)據(jù)庫替換的過程，實現(xiàn)了降本增效、性能提升以及同城雙活高可用的三大價值。













繼張家港農(nóng)商行的成功之后，國產(chǎn)數(shù)據(jù)庫在股份制銀行有了更大的突破。最近我們做了一個平安銀行的案例，其實這是第一個中國業(yè)內(nèi)把國外集中式大型機拿下來放在國產(chǎn)分布式數(shù)據(jù)庫系統(tǒng)之上的，就是銀行的信用卡中心，活躍卡量在6000萬以上。













為什么能夠很好地支持金融行業(yè)的發(fā)展？我們一直本著以下六個數(shù)據(jù)庫的設(shè)計理念，持續(xù)為用戶產(chǎn)生價值，也為用戶選擇騰訊云數(shù)據(jù)庫奠定堅實的理論基礎(chǔ)。













六、積極探索服務(wù)國計政務(wù)民生




做好金融領(lǐng)域以后，我們開始服務(wù)政務(wù)、民生領(lǐng)域。政務(wù)、民生是最關(guān)鍵的行業(yè)，在今年整個中美關(guān)系到了一個非常焦灼化的狀態(tài)，政府的核心數(shù)據(jù)關(guān)系到整個中國的民生。




我們在支持政務(wù)領(lǐng)域的第一個重點案例就是今年第七次人口普查，第一次從線下搬到了線上，騰訊云的產(chǎn)品全棧支持第七次人口普查，從前端收集的TDSQL數(shù)據(jù)庫，中間有實時工具同步到TBase數(shù)據(jù)庫，然后為一些普查員、領(lǐng)導(dǎo)在網(wǎng)上提供相應(yīng)的決策，比如判斷這個地域是不是應(yīng)該建學(xué)?；蛘哚t(yī)院，去做一些實時的分析，整體支持人口普查的基礎(chǔ)設(shè)施服務(wù)。













今年在疫情影響之下，騰訊云支持微信來構(gòu)建防疫健康碼，目前用戶已達十億，累計亮碼次數(shù)已達90億人次。













最后一個案例是省政務(wù)云?，F(xiàn)在所有的GDP大省都在構(gòu)建自己的省政務(wù)云，目前騰訊云數(shù)據(jù)庫正支持“數(shù)字廣東”，幫助實現(xiàn)老百姓在線上辦理所有的業(yè)務(wù)。各省各市已經(jīng)逐步在做社保、醫(yī)保、人社、護照這些業(yè)務(wù)，對于老百姓來說，可以在線化解決一些必須跑好幾個地方才能解決的問題，因此對于民生類的拓展和有效提升民情起到了很大的作用。













為什么能支持這么多行業(yè)的發(fā)展？因為今年我們積極探索產(chǎn)品的布局，做了一個數(shù)據(jù)庫的一體機，能夠?qū)崿F(xiàn)軟硬一體結(jié)合，云上云下進行數(shù)據(jù)庫的互通。另外，我們還構(gòu)建了一套基于在線遷移，Oracle異構(gòu)的遷移工具和兼容商業(yè)數(shù)據(jù)庫的體系，來為這些相應(yīng)的行業(yè)提供基礎(chǔ)的數(shù)據(jù)支持。






















對于騰訊云未來數(shù)據(jù)庫的整體發(fā)展策略，在產(chǎn)品上我們會堅持以云原生為基礎(chǔ)的理念來支持開發(fā)者，支持新興業(yè)務(wù)。隨著中國人口紅利的逐漸消失，我們認為數(shù)據(jù)庫要做到足夠的自治，能夠減少DBA的人才缺口量，幫助DBA解決一些業(yè)務(wù)上的壓力。最后隨著5G、新基建的到來，多種場景融合也將會到來，所以我們基于傳統(tǒng)的布局也會在多模、業(yè)務(wù)、場景與管理的融合策略上輸出相應(yīng)的產(chǎn)品體系的發(fā)展。













七、未來不斷探索與完善




數(shù)據(jù)庫需要一個強大的生態(tài)，今年我們也會全力投入騰訊云數(shù)據(jù)庫生態(tài)建設(shè)。

• 幫助服務(wù)合作伙伴包括ISA做整體業(yè)務(wù)的發(fā)展；
• 滲透相應(yīng)的行業(yè)，要打通上下游ISA集成商去做用戶和數(shù)據(jù)庫的結(jié)合，在國產(chǎn)數(shù)據(jù)庫替換中起到聯(lián)合的作用；
• 釋放一部分資金來投入騰訊云數(shù)據(jù)庫培訓(xùn)人才體系的建設(shè)，我們創(chuàng)辦了騰訊云數(shù)據(jù)庫的學(xué)院，目前已經(jīng)開發(fā)了個人及企業(yè)級數(shù)據(jù)庫能力認證，截至目前已經(jīng)有將近五千個成員已經(jīng)通過騰訊云數(shù)據(jù)庫的認證，未來我們也會更多地開放培訓(xùn)，把騰訊云數(shù)據(jù)庫的培訓(xùn)認證體系建立得更加完善，更體系化。

最后想說，今年整個國產(chǎn)化的替換已經(jīng)到了一個非常關(guān)鍵的時刻，我相信以騰訊為代表的一些數(shù)據(jù)庫廠商可以團結(jié)上下游的力量，一起抓住機會，共創(chuàng)國產(chǎn)數(shù)據(jù)庫美好的未來。謝謝大家！




私信獲取本期PPT~