張康 編輯整理
量子位編輯 | 公眾號 QbitAI6月中旬起,量子位發(fā)起了以數(shù)據(jù)庫為主題的系列公開課,邀請來自騰訊云、浪潮、螞蟻集團等頭部企業(yè)的數(shù)據(jù)庫技術(shù)線負責人,圍繞數(shù)據(jù)庫的行業(yè)" />

国产成人精品无码青草_亚洲国产美女精品久久久久∴_欧美人与鲁交大毛片免费_国产果冻豆传媒麻婆精东

18143453325 在線咨詢 在線咨詢
18143453325 在線咨詢
所在位置: 首頁 > 營銷資訊 > 電子商務(wù) > 騰訊云:新基建大潮下國產(chǎn)數(shù)據(jù)庫的探索與思考 | 云·創(chuàng)課程實錄

騰訊云:新基建大潮下國產(chǎn)數(shù)據(jù)庫的探索與思考 | 云·創(chuàng)課程實錄

時間:2023-03-13 09:42:01 | 來源:電子商務(wù)

時間:2023-03-13 09:42:01 來源:電子商務(wù)

主講人 | 騰訊云數(shù)據(jù)庫副總經(jīng)理-王義成
張康 編輯整理
量子位編輯 | 公眾號 QbitAI
6月中旬起,量子位發(fā)起了以數(shù)據(jù)庫為主題的系列公開課,邀請來自騰訊云、浪潮、螞蟻集團等頭部企業(yè)的數(shù)據(jù)庫技術(shù)線負責人,圍繞數(shù)據(jù)庫的行業(yè)現(xiàn)狀、趨勢與技術(shù)進展等內(nèi)容,以線上直播的形式為大家?guī)?期分享。

6月17日第一期直播中,騰訊云數(shù)據(jù)庫副總經(jīng)理—王義成全面剖析了全球數(shù)據(jù)庫的發(fā)展歷程,同時分享了如何將云計算、新基建、數(shù)據(jù)庫的能力進行融合創(chuàng)新,以及自主創(chuàng)新研發(fā)新型國產(chǎn)數(shù)據(jù)庫技術(shù)背后的歷程。此外還結(jié)合實際金融案例,詳細介紹了騰訊云自研國產(chǎn)數(shù)據(jù)庫TDSQL和TBase的產(chǎn)品核心架構(gòu)和最佳實踐。

直播回放鏈接獲取方式:請私信量子位關(guān)鍵詞“數(shù)據(jù)庫”。

以下是分享內(nèi)容實錄:

數(shù)據(jù)庫行業(yè)發(fā)展剖析

中國數(shù)據(jù)庫行業(yè)發(fā)展史

首先我們回溯一下中國數(shù)據(jù)庫行業(yè)發(fā)展史。中國數(shù)據(jù)庫行業(yè)的起源是在恢復(fù)高考之后(1978年),當時薩師煊老師出版了中國第一部數(shù)據(jù)庫教材《數(shù)據(jù)庫技術(shù)概論》,當時國防、軍工等很多核心領(lǐng)域開始應(yīng)用數(shù)據(jù)庫。90年代初,中國商業(yè)數(shù)據(jù)庫的格局初步形成。1989年,Oracle正式進軍中國,依靠強大的生態(tài)、服務(wù)體系和產(chǎn)品優(yōu)勢,壟斷了金融、電信等許多行業(yè),占據(jù)了中國數(shù)據(jù)庫市場份額的半壁江山。

2000年起B(yǎng)AT相繼創(chuàng)立,而當時Oracle價格昂貴,互聯(lián)網(wǎng)公司資金有限的情況下難以承受龐大的數(shù)據(jù)庫商業(yè)費用。所以在這時,以MySQL為首的開源數(shù)據(jù)庫就開始與互聯(lián)網(wǎng)公司進行碰撞了。MySQL在互聯(lián)網(wǎng)公司呈現(xiàn)了一統(tǒng)江湖的狀態(tài),丁奇等優(yōu)秀的開源技術(shù)領(lǐng)袖都是在那個階段開始逐漸涌現(xiàn)。

2010年4G開始大批量使用,2011年相繼出現(xiàn)了很多優(yōu)秀的互聯(lián)網(wǎng)公司,如美團,滴滴等。到2013年這些優(yōu)秀的公司開始迸發(fā),一直到今天,這波互聯(lián)網(wǎng)紅利還在持續(xù)地演進。這個階段是互聯(lián)網(wǎng)百花齊放的一個階段,消費互聯(lián)網(wǎng)還在延展,并且正在進入消費互聯(lián)網(wǎng)和產(chǎn)業(yè)互聯(lián)網(wǎng)結(jié)合的階段。To C領(lǐng)域的消費互聯(lián)網(wǎng),還在大批量的迸發(fā),諸如拼多多等破千億美元市值的公司還在出現(xiàn)。

所以我認為,從2013年到現(xiàn)在,優(yōu)秀的應(yīng)用、公司開始涌現(xiàn)之后,也迎來了業(yè)務(wù)多元化高速發(fā)展的階段。我們也看到這些優(yōu)秀的互聯(lián)網(wǎng)公司里開始不再只是MySQL一種引擎去支撐公司的業(yè)務(wù)發(fā)展。像Postgre、MariaDB、Redis、Cassandra、MongoDB等優(yōu)秀的開源數(shù)據(jù)庫也都開始在這些互聯(lián)網(wǎng)新貴的核心業(yè)務(wù)系統(tǒng)中承載很重要的作用。

數(shù)據(jù)庫商業(yè)模式變遷

換一個維度來看,數(shù)據(jù)庫的商業(yè)形態(tài)、商業(yè)模式上到底有什么樣的變遷?

剛才講到90年代Oracle數(shù)據(jù)庫開始進軍中國,這是一種傳統(tǒng)商業(yè)數(shù)據(jù)庫的模式,以賣license、賣服務(wù)的模式來提供商業(yè)價值。這種模式以O(shè)racle、SQLServer、Informix、DB2為代表,這種商業(yè)模式已經(jīng)存在了多年。今天早上我看了Oracle公布的第四季財報,整體收入同比下降6%;軟件license的收入同比下降超過20%。從財報的數(shù)據(jù)可以看到,這種傳統(tǒng)的商業(yè)模式正在被逐漸的侵蝕,客戶的付費模式在發(fā)生變化。這時一定有新的商業(yè)模式來替換。

再看中間“百花齊放”的幾個發(fā)展階段,又可以分為三大類。第一類是老牌國產(chǎn)數(shù)據(jù)庫,如達夢、人大金倉、南大通用等以高校為背景成立的優(yōu)秀數(shù)據(jù)庫公司,他們的模式跟商業(yè)數(shù)據(jù)庫很像,但是他們有新的響應(yīng)模式,他們切的是老的黨政機關(guān)政務(wù)內(nèi)網(wǎng)、政府等一些集中式的數(shù)據(jù)庫場景。

隨著時間的延伸,逐漸出現(xiàn)第二類—開源商用數(shù)據(jù)庫,MySQL、MongoDB、Redis等優(yōu)秀的開源數(shù)據(jù)庫出現(xiàn)。但開源總歸是一門生意,它是一個閉環(huán)的商業(yè)模式。國外有很多優(yōu)秀的商業(yè)公司在后臺運作這批開源數(shù)據(jù)庫,來為用戶提供更加高價值、或者企業(yè)化的服務(wù),來完成它的商業(yè)模式閉環(huán)。比較有代表性的比如MongoDB atlas,它把MongoDB做開源之后,提供atlas云服務(wù),也提供線下的企業(yè)版服務(wù),來形成商業(yè)模式的閉環(huán);而RedisLab主要是以色列人和美國人建立的,利用Redis開源軟件逐漸的實現(xiàn)它的企業(yè)級功能,然后為用戶提供服務(wù)。

第三類是新晉的國產(chǎn)數(shù)據(jù)庫,他們的商業(yè)模式本質(zhì)上沒有變化,而是切入了更新的場景。比較典型的代表有PingCAP、巨杉等,他們提出的場景是出于用戶的開發(fā)者高效運維的角度來切一個特定場景,然后用傳統(tǒng)的企業(yè)軟件模式或者license模式來切這部分相應(yīng)的市場。

最后就是云服務(wù)模式的到來,即云服務(wù)廠商來提供相應(yīng)的數(shù)據(jù)庫服務(wù)。不再是提供license授權(quán)、或提供人工服務(wù),而是采用租用模式,改變了整個數(shù)據(jù)庫商業(yè)模式。比如騰訊云、阿里云、AWS數(shù)據(jù)庫,都是云服務(wù)廠商基于開源數(shù)據(jù)庫或者商業(yè)數(shù)據(jù)庫做相應(yīng)的產(chǎn)品化、商業(yè)化的工作,為用戶提供租用數(shù)據(jù)庫服務(wù)。

國產(chǎn)數(shù)據(jù)庫布局

上述我們了解了近30到40年數(shù)據(jù)庫行業(yè)在商業(yè)模式上的大變遷。下面我們聊一下國產(chǎn)數(shù)據(jù)庫的布局。在中美貿(mào)易戰(zhàn)背景下,包括類似Matlab軟件使用限制事件發(fā)生后,國內(nèi)有很大的聲音在呼吁做自主可控的“中國芯”核心組件。而我們認為,IT基礎(chǔ)設(shè)施三個最核心的組件,一個是服務(wù)器/芯片,一個是操作系統(tǒng),另一個就是數(shù)據(jù)庫

國產(chǎn)數(shù)據(jù)庫有哪些商業(yè)模式和應(yīng)用場景?

第一類是傳統(tǒng)國產(chǎn)數(shù)據(jù)庫,由高校系的老師帶領(lǐng)團隊做產(chǎn)品化和商業(yè)化的運作,比如達夢、金倉等,更多的是貼合集中式數(shù)據(jù)庫場景,他們的具體客戶案例以集中式數(shù)據(jù)庫偏多。

第二類是互聯(lián)網(wǎng)廠商性質(zhì)的數(shù)據(jù)庫(也包括華為),這類的數(shù)據(jù)庫廠商就是自己使用,自己的數(shù)據(jù)庫在自己的業(yè)務(wù)中做了很多的獨特的打磨,然后在自己的這種大規(guī)模的并發(fā)業(yè)務(wù)中,承擔了很多的流量之后,再把這樣的數(shù)據(jù)庫去產(chǎn)品化,提供給廣大用戶。以騰訊和阿里為代表,騰訊的像TDSQL,TBase都是支持內(nèi)部的微信支付,財付通,有很大的交易流量,之后再逐步產(chǎn)品化,給外部用戶使用。像阿里的OceanBase可能也是這樣的,內(nèi)部支持螞蟻金服,然后再去逐漸的開放給廣大的傳統(tǒng)行業(yè)去使用。

第三類就是新興的數(shù)據(jù)庫,說新興是因為他們不是一種傳統(tǒng)高校的背景,也沒有他們自己的數(shù)據(jù)庫,也沒有自己內(nèi)部的一個場景,但是他們確實看到了用戶使用上的一個痛點,從一個細分場景去切,然后逐漸的去把這種商業(yè)的盤子做大。比如像PingCAP這樣的數(shù)據(jù)庫,他們剛開始起步的時候,出于用戶使用分布式數(shù)據(jù)庫開發(fā)角度,或者說運維角度的不便利,使用傳統(tǒng)的計算跟存儲分離的模式,然后以一個統(tǒng)一的使用方式去調(diào)用分布式數(shù)據(jù)庫,然后切到了相應(yīng)的場景去做線下的產(chǎn)出跟商業(yè)化的操作。

第四類就是第三方平臺型的數(shù)據(jù)庫,這類一般是指公司在某個行業(yè)有多年積累,然后根據(jù)這個行業(yè)的特定場景做一款數(shù)據(jù)庫,之后再逐步推廣到其他領(lǐng)域,比如亞信,中興。亞信是一個運營商行業(yè)老牌公司,對于運營商的一些核心業(yè)務(wù)系統(tǒng),他們使用了適用于這些業(yè)務(wù)的數(shù)據(jù)庫,再從運營商推廣到其他行業(yè),逐步的產(chǎn)品化。

綜上,目前我們國產(chǎn)數(shù)據(jù)庫也是一個百花齊放的狀態(tài),大致可以分為這4類。我認為第二類的數(shù)據(jù)庫廠商可能是更適合于在現(xiàn)在的大環(huán)境,因為它畢竟是在大規(guī)模的應(yīng)用上已經(jīng)自己磨練出來了一套相對穩(wěn)定、功能相對齊全的一套數(shù)據(jù)庫,然后再去應(yīng)用不同的場景,再把這樣的數(shù)據(jù)庫推給更多的用戶,更多的行業(yè)去使用。我認為這種模式在工程化跟商業(yè)化實踐中,更容易摸索出一條成功的道路。

新基建對數(shù)據(jù)庫行業(yè)的機遇

第二個話題是關(guān)于新基建對于數(shù)據(jù)庫行業(yè)的挑戰(zhàn)和機會。新基建包括了大概7個領(lǐng)域,包括5G基站、城際高速等,其中跟產(chǎn)業(yè)互聯(lián)網(wǎng)相關(guān)的,主要是5G、大數(shù)據(jù)中心、人工智能、工業(yè)互聯(lián)網(wǎng)這幾個領(lǐng)域,我總結(jié)新基建主要分為三個部分。

第一部分是信息基礎(chǔ)設(shè)施,包括三部分,一是通信網(wǎng)絡(luò)基礎(chǔ)設(shè)施的提升,比如說5G可能有上百萬個基站要去部署,整個網(wǎng)絡(luò)的提速會非???。二是新技術(shù)的基礎(chǔ)設(shè)施,主要是指人工智能大數(shù)據(jù)等技術(shù)怎么去應(yīng)用在新的技術(shù)基礎(chǔ)設(shè)施上實現(xiàn)一個整體的提升。三是算力的基礎(chǔ)設(shè)施的提升,主要包括在大數(shù)據(jù)中心,智能數(shù)據(jù)中心,邊緣計算這些的基礎(chǔ)設(shè)施方面的布局和建設(shè)。

第二部分是融合基礎(chǔ)設(shè)施。一是物聯(lián)網(wǎng)的智能交通的基礎(chǔ)設(shè)施,其中整個的數(shù)據(jù)傳導、數(shù)據(jù)匯聚、數(shù)據(jù)分析,以及在這套整體的基礎(chǔ)設(shè)施中做的整個的產(chǎn)業(yè)互聯(lián)網(wǎng)的布局的加速。二是智能能源的基礎(chǔ)設(shè)施,就是七大領(lǐng)域中的工業(yè)互聯(lián)網(wǎng),包括這些基礎(chǔ)的組件,數(shù)據(jù)的抽取、匯集、分析、加工,以及在整體基礎(chǔ)設(shè)施上的全面提升。

第三部分就是創(chuàng)新基礎(chǔ)設(shè)施,包括一些重大科技的基礎(chǔ)設(shè)施的提升,然后科教基礎(chǔ)設(shè)施的提升,產(chǎn)業(yè)技術(shù)包括創(chuàng)新科技園整個創(chuàng)新基礎(chǔ)設(shè)施的全面提升。

宏觀上來看新基建的7大領(lǐng)域會大概分為這三類,那么這些方面的提升對于數(shù)據(jù)庫來說到底有什么本質(zhì)上的沖擊?

我認為,不管怎么變化,其實數(shù)據(jù)庫的作用一個是裝數(shù)據(jù),一個是運算數(shù)據(jù),一個是分析數(shù)據(jù),最后是呈現(xiàn)數(shù)據(jù)。所以對于數(shù)據(jù)庫來說,新基建和基礎(chǔ)設(shè)施的提升主要有三個挑戰(zhàn):

第一,數(shù)據(jù)量會出現(xiàn)全面井噴的狀態(tài)。在4G的模式下,AR、VR等并沒有很好的用戶體驗,但真正到了5G時代,這些相應(yīng)的基礎(chǔ)設(shè)施能力提升之后,用戶體驗也會隨之大幅提升,帶來的問題可能就是數(shù)據(jù)量會出現(xiàn)井噴式增長。對于數(shù)據(jù)庫來說,一方面在線交易的數(shù)據(jù)庫的性能會爆發(fā),尤其是頻繁的增刪改查的數(shù)據(jù)庫操作。需要應(yīng)對這種數(shù)據(jù)量的井噴,來滿足實時的進行相應(yīng)的運算。另一方面是在線分析數(shù)據(jù)庫的業(yè)務(wù)性,怎么能夠快速的進行在線的分析,這也會對于在線分析的數(shù)據(jù)庫性能有較大的挑戰(zhàn)。

第二是業(yè)務(wù)融合多樣化的挑戰(zhàn)。數(shù)據(jù)的呈現(xiàn)是多模態(tài)的,各種數(shù)據(jù)需要不同模式的數(shù)據(jù)庫來承載,對于數(shù)據(jù)庫來說就會滋生多模的業(yè)務(wù)需求(對于不同的數(shù)據(jù)類型、對于同樣的業(yè)務(wù)接口或者指標,怎樣把數(shù)據(jù)匯集和加工)。另外就是場景、部署的業(yè)務(wù)融合,新基建的領(lǐng)域里,有智能的IDC也有大數(shù)據(jù)中心,智能中心,有這種產(chǎn)業(yè)互聯(lián)網(wǎng)融合基礎(chǔ)設(shè)施的提升,不同的部署場景,不同的部署模式或者說不同的數(shù)據(jù)中心的部署,其實對于業(yè)務(wù)的融合也有很大的挑戰(zhàn)。數(shù)據(jù)庫是否能夠接受在不同的業(yè)務(wù)中心、數(shù)據(jù)中心、基礎(chǔ)設(shè)施之間去做相應(yīng)的部署和融合,這也是未來對數(shù)據(jù)庫一個大的挑戰(zhàn)跟沖擊。

第三是數(shù)據(jù)自動化治理或者數(shù)據(jù)庫自動化優(yōu)化層面的訴求和要求。隨著中國老齡化的逐漸演變,包括人才紅利的釋放之后,數(shù)據(jù)庫人才缺口可能會更大。對于數(shù)據(jù)庫的提供商來說,就是要為用戶提供多種的自動化的服務(wù),或者說是AI類的服務(wù)。另外就是對于數(shù)據(jù)庫多模的現(xiàn)狀,數(shù)據(jù)庫的廠商是否能為用戶提供這種自動運維的服務(wù),也是對整個數(shù)據(jù)自動化治理的重要挑戰(zhàn)。

騰訊云數(shù)據(jù)庫發(fā)展的整體布局和應(yīng)對策略

基于這樣的一個大的歷史機遇,騰訊云數(shù)據(jù)庫的發(fā)展布局是怎樣的呢?

上圖是騰訊云數(shù)據(jù)庫整體的產(chǎn)品矩陣。最底層的數(shù)據(jù)庫PaaS產(chǎn)品我們提供了多模的數(shù)據(jù)庫:包括以MySQL為代表的關(guān)系型數(shù)據(jù)庫,以Redis為代表的非關(guān)系型數(shù)據(jù)庫,還有分布式的數(shù)據(jù)庫來支持海量的分析、在線交易,同時還有以游戲場景為衍生的支持王者榮耀的TcaplusDB數(shù)據(jù)庫。

正如剛剛說的,新的歷史機遇到來時,騰訊云也有數(shù)據(jù)治理、數(shù)據(jù)自動化管理方面的數(shù)據(jù)庫智能服務(wù),提供了多種數(shù)據(jù)庫SaaS產(chǎn)品。包括怎么去做數(shù)據(jù)的遷移、怎么去做智能的DBA優(yōu)化(智能管家DBbrain),另外還有數(shù)據(jù)管理服務(wù)等七八款相應(yīng)的數(shù)據(jù)庫SaaS產(chǎn)品,配合騰訊云的數(shù)據(jù)庫PaaS產(chǎn)品,為用戶提供了全棧的數(shù)據(jù)庫解決方案。

為了支撐上述產(chǎn)品和布局,騰訊云數(shù)據(jù)庫也在北京、上海、廣州、深圳、成都建立了多個數(shù)據(jù)庫研發(fā)團隊,有自主可控的開源分支,有中國數(shù)據(jù)庫社區(qū)的主席團成員,也參與一些國家云計算的標準的制定。

騰訊云數(shù)據(jù)庫的自研技術(shù)思路主要包含兩個維度

<br> (二維碼自動識別)

第一個維度,叫互聯(lián)網(wǎng)類的數(shù)據(jù)庫,騰訊云從自有的業(yè)務(wù)開始孵化,逐漸去做商業(yè)化的結(jié)合。所以騰訊云的數(shù)據(jù)庫其實最早都是自有業(yè)務(wù)開始打磨,這些數(shù)據(jù)庫在自家的業(yè)務(wù)上摸爬滾打多年,然后支持相應(yīng)的定制來滿足不同的用戶需求。

比如財付通、微信支付,以及第一家互聯(lián)網(wǎng)銀行WeBank,都是先跑在騰訊云數(shù)據(jù)庫之上,很好的支持內(nèi)部業(yè)務(wù)之后;然后在合適的時間點上,我們開始跟高校的團隊做相應(yīng)的AI結(jié)合,像基于AI的優(yōu)化器性能調(diào)優(yōu)、相應(yīng)的課題研究等;然后到了下一個階段,我們把這些數(shù)據(jù)庫產(chǎn)品化商業(yè)化之后,再給廣大用戶提供服務(wù),比如公有云(拼多多、美團等)客戶,也有私有云(銀行、政府小程序等)客戶。

第二個維度是在自主可控的研發(fā)思路上。騰訊一直秉承著先把開源在內(nèi)部應(yīng)用,針對自己的業(yè)務(wù)場景做相應(yīng)的技術(shù)創(chuàng)新和突破,然后再去回饋開源,來維護開源社區(qū)里自己的分支代碼,最后實現(xiàn)研發(fā)自主可控的思路。

上圖是騰訊云分布式數(shù)據(jù)庫的發(fā)展歷史。我們從08年開始起步支持內(nèi)部的基礎(chǔ)業(yè)務(wù),目前騰訊云的自研數(shù)據(jù)庫支持著騰訊系全部交易類的數(shù)據(jù)。隨著業(yè)務(wù)的發(fā)展,2012年開始孵化TBase產(chǎn)品,支撐騰訊內(nèi)部的廣告業(yè)務(wù)。隨著騰訊向產(chǎn)業(yè)互聯(lián)網(wǎng)的轉(zhuǎn)型,我們也逐漸把這些云服務(wù)封裝到公有云、專有云。

到2018年,我們發(fā)現(xiàn)在切到傳統(tǒng)市場的時候,這些交易類數(shù)據(jù)庫的用戶還在使用傳統(tǒng)的分布式存儲、前端加上一個集中式的模式,來解決OLTP的并發(fā)或者擴展性的問題。所以騰訊云自研了云原生的、存儲和計算分離的數(shù)據(jù)庫CynosDB,后續(xù)在這個模式上會持續(xù)推進。

騰訊云數(shù)據(jù)庫的布局大概分兩類。從引擎的角度來說,我們會擁抱開源的兩個引擎,一個是MySQL引擎,一個是PostgreSQL引擎。

從技術(shù)架構(gòu)來說,一是分庫分表的分布式數(shù)據(jù)庫的架構(gòu),它的優(yōu)勢在于其性能可以無限擴展;二是云原生的分布式數(shù)據(jù)庫的架構(gòu),其存儲層面會有相應(yīng)的Share模式,計算機節(jié)點則是相應(yīng)的獨立。

這就是騰訊在自研數(shù)據(jù)庫的發(fā)展布局,采用Shared-Storage&shared-Nothing雙架構(gòu),雙引擎的雙核出擊方案,滿足不同的業(yè)務(wù)需求,覆蓋主流應(yīng)用場景。

自主研發(fā)數(shù)據(jù)庫TDSQL和TBase核心架構(gòu)揭秘和實踐

接下來從技術(shù)架構(gòu)和基礎(chǔ)功能兩個角度,來分享下騰訊云數(shù)據(jù)庫的構(gòu)建思路和產(chǎn)品化演進的思路。

上圖是上述講到的水平擴展的分布式數(shù)據(jù)庫架構(gòu),我們把數(shù)據(jù)分配多個分片,然后通過強大的SQL引擎來做相應(yīng)的分發(fā),并且做基層的下推,將數(shù)據(jù)下推到各個節(jié)點去做相應(yīng)的數(shù)據(jù)運算,最后匯聚數(shù)據(jù),來為用戶提供可平滑擴展的分布式數(shù)據(jù)庫架構(gòu)。

上圖是計算存儲分離的分布式數(shù)據(jù)庫架構(gòu)。我們認為,改變用戶的已有使用習慣是很難的,但是培養(yǎng)一個新習慣也許還可行。因此,在某些傳統(tǒng)的商業(yè)數(shù)據(jù)庫模式下,改變用戶使用Oracle的模式會有相應(yīng)的阻力。但是,對于傳統(tǒng)的Oracle它還是一種Share的模式,所以我們布局了這種分布式數(shù)據(jù)庫的架構(gòu),將計算跟存儲分離,區(qū)別在于它是一種日志級的數(shù)據(jù)庫。

我們在上層、在交換機的三個節(jié)點是純計算節(jié)點,這些計算節(jié)點可以完全兼容MySQL或者Postgre的協(xié)議,然后數(shù)據(jù)的日志通過網(wǎng)絡(luò)交換機下發(fā)到底層的DB節(jié)點,讓底層的存儲節(jié)點來感知日志,再把日志逐步的回放。

這種架構(gòu)的優(yōu)勢是存儲層面可以水平擴展,當用戶拉起一個讀取節(jié)點的時候,可以瞬間啟動一個讀取節(jié)點,不用做相應(yīng)的數(shù)據(jù)重放。另一個優(yōu)勢是它不像Oracle模式整頁刷新,也不依賴于IP交換機的模式,而是只在交換機層面去傳輸日志,所以基本上一個傳統(tǒng)的萬眾交換機就能滿足這種業(yè)務(wù)場景。因此,在整體的成本或性能上都是一種非常有性價比的技術(shù)架構(gòu)。

除了技術(shù)架構(gòu)的優(yōu)勢,再來分享一下騰訊云數(shù)據(jù)庫在用戶功能層面(產(chǎn)品化層面)的一些設(shè)計理念。我們認為一款優(yōu)秀的數(shù)據(jù)庫應(yīng)該遵循6個特點:

1、數(shù)據(jù)強一致

騰訊云是基于主從架構(gòu)的“并行多線程強同步復(fù)制方案”,以保證數(shù)據(jù)的強一致,整體上可以保證主從節(jié)點這種默認強度的模式下,性能還不亞于原生的異構(gòu)同步。

從上圖(英特爾公司測試數(shù)據(jù))可以看出,TDSQL真正跑起來之后比原生的異構(gòu)同步的性能還要高,其實就是要靠這種強同步的邏輯,再加上多線程的同步方案做一定的改造。

2、金融級高可用

騰訊云提供了跨機房容災(zāi)、跨地域容災(zāi)等多種模式來保證整個金融級別的高可用。在系列功能上,我們提供了多達384項監(jiān)控指標、進程保護機制、系統(tǒng)免切機制、毫秒級切換機制等,通過SQL-Engine的路由,保證一個整體毫秒級的切換,提供6個9以上的金融級別的高可用。

3、高安全性

安全性分為事前、事中、事后三個維度:

事前是指在攻擊發(fā)生之前,采取某些措施保證數(shù)據(jù)庫不被黑客所攻擊。騰訊云提供了傳輸層加密、數(shù)據(jù)層加密、權(quán)限細粒度鑒權(quán)等事前的監(jiān)控策略。

事中是指真正攻擊已經(jīng)發(fā)起,我們需要采取一些保護策略。首先,騰訊云有內(nèi)核級的安全策略、內(nèi)置的SQL防火墻,我們可以配置那些安全性非常差的SQL命令,收到這條SQL命令之后,直接阻塞攻擊,這也是一種內(nèi)置防火墻的機制。其次是防誤操作機制,比如像delete全表或者join表結(jié)構(gòu)等命令,都會被系統(tǒng)默認過濾掉,不會真正下發(fā)到命令解析器做出相應(yīng)操作。

事后是指上述操作已經(jīng)被執(zhí)行之后,整個產(chǎn)品體系有一套標準的溯源功能。騰訊云的事后安全審計策略,一方面是有全部的運維操作審計、數(shù)據(jù)庫層面的審計,在不耗費性能情況下,能夠?qū)⑷康臄?shù)據(jù)庫操作記錄下來,包括讀操作(比如某些數(shù)據(jù)被拖走時,我們可以查到哪個IP、在什么時間點、用什么賬號、采用什么模式、拿走了哪些數(shù)據(jù),以盡量減少數(shù)據(jù)損失)。另外還有服務(wù)器審計、超級權(quán)限控制等。

4、良好的擴展性

擴展性分為兩類,一類是資源層面的擴展,一類是功能層面的擴展。

資源層面的擴展,騰訊云提供兩種模式。從集中式的實例可以一鍵擴展到分布式實例,然后分布式實例也可以自動掛載多個分片來加分片,自動的做數(shù)據(jù)重分布、平滑的數(shù)據(jù)遷移。用戶可以在剛開始使用時選擇較低的配置,然后隨著業(yè)務(wù)的爆發(fā),可以直接多加分片,并且整個的操作過程是全部平滑的,對于性能的損失基本都為零。

功能層面的擴展,比如熱點更新的擴展,支持更大存儲的引擎(RocksDB),產(chǎn)品中支持這種寫量超大、數(shù)據(jù)量超大的場景,以及適配于物聯(lián)網(wǎng)的傳感器數(shù)據(jù)。另外還提供了像JSON、線程池等擴展。

5、便捷的運維

便捷的運維性也有兩個維度,首先我們要把運維系統(tǒng)做的足夠便捷,其次還要基于AI、數(shù)據(jù)模型的算法,提供更優(yōu)化的數(shù)據(jù)庫工具,來為用戶提供更加便利的功能。

運維系統(tǒng)方面,騰訊云為業(yè)務(wù)方提供云數(shù)據(jù)庫管理系統(tǒng),通過租戶視角,使用者在一鍵化的控制臺上做相應(yīng)的實例申請與退還、系統(tǒng)監(jiān)控、備份與恢復(fù)、性能優(yōu)化等。同時為運維方提供運營平臺,從管理員的角度,提供TDSQL的全部運維功能,可管理TDSQL集群的物理資源、調(diào)度決策系統(tǒng)、備份與恢復(fù)系統(tǒng)、可用區(qū)管理、實例管理等。

運維工具方面,騰訊云為用戶提供了一套智能管家運維服務(wù),叫DBbrain??梢灾С侄喾N數(shù)據(jù)庫實例,包括MySQL、Redis、MongoDB等,通過采集它們的監(jiān)控數(shù)據(jù),然后去做相應(yīng)的審計日志的上傳與抽取,包括MySQL數(shù)據(jù)分析;然后基于這些整體數(shù)據(jù),再做數(shù)據(jù)的計算跟加工,基于現(xiàn)在數(shù)據(jù)性能的點、數(shù)據(jù)庫的日志、MySQL整體等推算出全盤的審計數(shù)據(jù),直接做實例的診斷,告訴用戶在哪個時間點、哪些SQL語句、哪些調(diào)用導致了數(shù)據(jù)庫性能在什么時間點、出現(xiàn)了什么異常。

同時我們還在做微信端的打通,用戶未來在自己的微信公眾號或者微信小程序上,就可以實時的操作數(shù)據(jù)庫,脫離電腦的束縛,實時通過微信小程序?qū)?shù)據(jù)庫做相應(yīng)的操作和運維。

應(yīng)用案例:微眾銀行

騰訊云數(shù)據(jù)庫經(jīng)過多年的發(fā)展,支撐起網(wǎng)上政務(wù)、金融交付、互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等應(yīng)用。其中分享一個比較有代表性的案例—微眾銀行,來看下騰訊云數(shù)據(jù)庫如何支撐客戶的業(yè)務(wù)系統(tǒng)。

整體而言,銀行系統(tǒng)有三部分比較重要,一是核心交易系統(tǒng),二是數(shù)據(jù)庫,三是硬件(芯片、服務(wù)器)。而微眾銀行不僅是第一個互聯(lián)網(wǎng)銀行,也是第一個把全部業(yè)務(wù)系統(tǒng)國產(chǎn)化的企業(yè):由一家國內(nèi)公司做核心業(yè)務(wù)系統(tǒng)開發(fā),數(shù)據(jù)庫跑在騰訊云數(shù)據(jù)庫之上,核心交易系統(tǒng)采用了華為鯤鵬,整個體系都是跑在國產(chǎn)的自主可控的路線之上。而騰訊云的數(shù)據(jù)庫TDSQL也很好的支持了微眾銀行全部的交易數(shù)據(jù)。

騰訊為什么要做微眾銀行?哪些點是新興互聯(lián)網(wǎng)企業(yè)、傳統(tǒng)銀行轉(zhuǎn)型時所看中的?

我認為,首先是多維度的監(jiān)控能力,秒級監(jiān)控、數(shù)據(jù)實時推算、基于數(shù)據(jù)的匯聚為用戶提供的實例分析的診斷等。其次是基于租戶端或基于運維端的自動化運維能力,讓用戶可以自行的對數(shù)據(jù)庫做相應(yīng)的部署和運維。其次是多副本的強一致性,以及跨機房容災(zāi)、跨地域容災(zāi)等模式。

最后,歡迎大家關(guān)注“騰訊云數(shù)據(jù)庫”公眾號,在這里可以看到數(shù)據(jù)庫領(lǐng)域的技術(shù)干貨和應(yīng)用實戰(zhàn)案例分享,以及體驗數(shù)據(jù)庫智能管家DBbrain的功能,在移動端一鍵運維管理數(shù)據(jù)庫。

—完—

@量子位 · 追蹤AI技術(shù)和產(chǎn)品新動態(tài)

深有感觸的朋友,歡迎贊同、關(guān)注、分享三連?'?' ? ?

關(guān)鍵詞:思考,實錄,課程,數(shù)據(jù),基建,大潮,國產(chǎn)

74
73
25
news

版權(quán)所有? 億企邦 1997-2025 保留一切法律許可權(quán)利。

為了最佳展示效果,本站不支持IE9及以下版本的瀏覽器,建議您使用谷歌Chrome瀏覽器。 點擊下載Chrome瀏覽器
關(guān)閉