中國數(shù)據(jù)庫系統(tǒng)：OceanBase

時間：2023-03-13 07:04:02 | 來源：電子商務(wù)

時間：2023-03-13 07:04:02 來源：電子商務(wù)

高性能分布式數(shù)據(jù)庫系統(tǒng)

OceanBase是由螞蟻集團(tuán)完全自主研發(fā)的金融級分布式關(guān)系數(shù)據(jù)庫，始創(chuàng)于2010年。OceanBase具有數(shù)據(jù)強(qiáng)一致、高可用、高性能、在線擴(kuò)展、高度兼容SQL標(biāo)準(zhǔn)和主流關(guān)系數(shù)據(jù)庫、低成本等特點(diǎn)。

2020年5月，螞蟻集團(tuán)自主研發(fā)的分布式關(guān)系數(shù)據(jù)庫OceanBase，以7.07億（707,351,007）tpmC的在線事務(wù)處理性能，打破了OceanBase自己在2019年10月創(chuàng)造的6088萬（60,880,800）tpmC的TPC-C世界紀(jì)錄。

OceanBase已經(jīng)在中國建設(shè)銀行、南京銀行、西安銀行、人保健康險、常熟農(nóng)商行、蘇州銀行、廣東農(nóng)信、網(wǎng)商銀行等多家商業(yè)銀行和保險機(jī)構(gòu)上線。

2020年6月8日，螞蟻集團(tuán)宣布，將自研數(shù)據(jù)庫產(chǎn)品OceanBase獨(dú)立進(jìn)行公司化運(yùn)作，成立由螞蟻100%控股的數(shù)據(jù)庫公司北京奧星貝斯科技有限公司，并由螞蟻集團(tuán)CEO胡曉明親自擔(dān)任董事長。

2020年9月，中國工商銀行開始采用螞蟻?zhàn)匝袛?shù)據(jù)庫OceanBase，其對公（法人）理財系統(tǒng)已完成從大型主機(jī)到OceanBase分布式架構(gòu)的改造。

基本信息

中文名

奧星貝斯

外文名

OceanBase

類別

軟件

類型

數(shù)據(jù)庫品牌

特點(diǎn)

北京海量數(shù)據(jù)技術(shù)股份有限公司

部門構(gòu)成

淘寶核心系統(tǒng)研發(fā)、運(yùn)維、DBA、廣告、應(yīng)用研發(fā)等

研發(fā)重點(diǎn)

數(shù)據(jù)更新一致性、高性能的跨表讀事務(wù)、范圍查詢等

特點(diǎn)

OceanBase功能

OceanBase設(shè)計(jì)和實(shí)現(xiàn)的時候暫時摒棄了不緊急的DBMS的功能，例如臨時表，視圖(view)，研發(fā)團(tuán)隊(duì)把有限的資源集中到關(guān)鍵點(diǎn)上，當(dāng)前OceanBase主要解決數(shù)據(jù)更新一致性、高性能的跨表讀事務(wù)、范圍查詢、join、數(shù)據(jù)全量及增量dump、批量數(shù)據(jù)導(dǎo)入。

OceanBase數(shù)據(jù)訪問特點(diǎn)

雖然數(shù)據(jù)總量比較大，但跟許多行業(yè)一樣，淘寶業(yè)務(wù)一段時間(例如小時或天)內(nèi)數(shù)據(jù)的增刪改是有限的(通常一天不超過幾千萬次到幾億次)，根據(jù)這個特點(diǎn)，OceanBase把一段時間內(nèi)的增刪改等修改操作以增量形式記錄下來(稱之為動態(tài)數(shù)據(jù)，通常保存在內(nèi)存中)，這樣也使得了主體數(shù)據(jù)在一段時間內(nèi)保持了相對穩(wěn)定(稱之為基準(zhǔn)數(shù)據(jù))。

由于動態(tài)數(shù)據(jù)相對較小，通常情況下，OceanBase把它保存在獨(dú)立的服務(wù)器UpdateServer的內(nèi)存中。以內(nèi)存保存增刪改記錄極大地提高了系統(tǒng)寫事務(wù)的性能。此外，假如每條修改平均消耗100 Bytes，那么10GB內(nèi)存可以記錄100M(即1億)條修改，且擴(kuò)充UpdateServer內(nèi)存即增加了內(nèi)存中容納的修改量。不僅如此，由于凍結(jié)后的內(nèi)存表不再修改，它也可以轉(zhuǎn)換成sstable格式并保存到SSD固態(tài)盤或磁盤上。轉(zhuǎn)儲到SSD固態(tài)盤后所占內(nèi)存即可釋放，并仍然可以提供較高性能的讀服務(wù)，這也緩解了極端情況下UpdateServer的內(nèi)存需求。為了應(yīng)對機(jī)器故障，動態(tài)數(shù)據(jù)服務(wù)器UpdateServer寫commit log并采取雙機(jī)(乃至多機(jī))熱備。由于UpdateServer的主備機(jī)是同步的，因此備機(jī)也可同時提供讀服務(wù)。

因?yàn)榛鶞?zhǔn)數(shù)據(jù)相對穩(wěn)定，OceanBase把它按照主鍵(primary key，也稱為row key)分段(即tablet)后保存多個副本(一般是3個)到多臺機(jī)器(ChunkServer)上，避免了單臺機(jī)器故障導(dǎo)致的服務(wù)中斷，多個副本也提升了系統(tǒng)服務(wù)能力。單個tablet的尺寸可以根據(jù)應(yīng)用數(shù)據(jù)特點(diǎn)進(jìn)行配置，相對配置過小的tablet會合并，過大的tablet則會分裂。

由于tablet按主鍵分塊連續(xù)存放，因此OceanBase按主鍵的范圍查詢對應(yīng)著連續(xù)的磁盤讀，十分高效。

對于已經(jīng)凍結(jié)/轉(zhuǎn)儲的動態(tài)數(shù)據(jù)，OceanBase的ChunkServer會在自己不是太繁忙的時候啟動基準(zhǔn)數(shù)據(jù)與凍結(jié)/轉(zhuǎn)儲內(nèi)存表的合并，并生成新的基準(zhǔn)數(shù)據(jù)。這種合并過程其實(shí)是一種范圍查詢，是一串連續(xù)的磁盤讀和連續(xù)的磁盤寫，也是很高效的。

傳統(tǒng)DBMS提供了強(qiáng)大的事務(wù)性、良好的一致性和很短的查詢修改響應(yīng)時間，但數(shù)據(jù)規(guī)模受到嚴(yán)重制約，缺乏擴(kuò)展性；現(xiàn)代云計(jì)算提供了極大的數(shù)據(jù)規(guī)模、良好的擴(kuò)展性，但缺乏跨行跨表事務(wù)、數(shù)據(jù)一致性也較弱、查詢修改響應(yīng)時間通常也較長，OceanBase的設(shè)計(jì)和實(shí)現(xiàn)融合了二者的優(yōu)勢：

UpdateServer：類似于DBMS中的DB角色，提供跨行跨表事務(wù)和很短的查詢修改的響應(yīng)時間以及良好的一致性。

ChunkServer：類似于云計(jì)算中的工作機(jī)(如GFS的chunk server)，具有數(shù)據(jù)多副本(通常是3)、中等規(guī)模數(shù)據(jù)粒度(tablet大小約256MB)、自動負(fù)載平衡、宕機(jī)恢復(fù)、機(jī)器plug and play等特點(diǎn)，系統(tǒng)容量及性能可隨時擴(kuò)展。

MergeServer：結(jié)合ChunkServer和UpdateServer，獲得最新數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)一致性。

RootServer：類似于云計(jì)算中的主控機(jī)(如GFS master)，進(jìn)行機(jī)器故障檢測、負(fù)載平衡計(jì)算、負(fù)載遷移調(diào)度等。

上述的DBMS和云計(jì)算技術(shù)的優(yōu)勢互補(bǔ)使得OceanBase既具有傳統(tǒng)DBMS的跨行跨表事務(wù)、數(shù)據(jù)的強(qiáng)一致性以及很短的查詢修改響應(yīng)時間，還有云計(jì)算的海量數(shù)據(jù)管理能力、自動故障恢復(fù)、自動負(fù)載平衡以及良好的擴(kuò)展性。

OceanBase當(dāng)前在淘寶的應(yīng)用

OceanBase現(xiàn)在已經(jīng)應(yīng)用于淘寶收藏夾，用于存儲淘寶用戶收藏條目和具體的商品、店鋪信息，每天支持4～5千萬的更新操作。等待上線的應(yīng)用還包括CTU、SNS等，每天更新超過20億，更新數(shù)據(jù)量超過2.5TB，并會逐步在淘寶內(nèi)部推廣，也期待外部合作者。

主要的性能數(shù)據(jù)

測試軟硬件環(huán)境

Red Hat Enterprise Linux Server release 5.4 (Tikanga)

gcc version 4.1.2 20080704 (Red Hat 4.1.2-46)

Intel(R) Xeon(R) CPU E5520 @ 2.27GH

ChunkServer & MergeServer：Memory 16GB Disk 300GB SAS*10 NO Raid

UpdateServer & RootServer：Memory 48GB Disk 300GB SAS*6 Raid1

測試環(huán)境部署簡圖

▲

測試數(shù)據(jù)規(guī)模

21億條數(shù)據(jù)，基準(zhǔn)數(shù)據(jù)3備份。

測試Schema

兩張表，其中表1中有21列，表2中11列。

其中表1中的11列和表2中的11列存在join關(guān)系。

單條記錄大小為500字節(jié)。

測試性能曲線圖

Range數(shù)據(jù)查詢

▲

單條數(shù)據(jù)查詢

▲

當(dāng)壓力最大時，ChunkServer單臺輸出數(shù)據(jù)90MB/S，已經(jīng)接近了千兆網(wǎng)卡的極限

更新數(shù)據(jù)

應(yīng)用

許多公司的核心資產(chǎn)是各種各樣的商業(yè)數(shù)據(jù)，例如淘寶的商品、交易、訂單、購物愛好等等，這些數(shù)據(jù)通常是結(jié)構(gòu)化的，并且數(shù)據(jù)之間存在各種各樣的關(guān)聯(lián)，傳統(tǒng)的關(guān)系數(shù)據(jù)庫曾經(jīng)是這些數(shù)據(jù)的最佳載體。然而，隨著業(yè)務(wù)的快速發(fā)展，這些數(shù)據(jù)急劇膨脹，記錄數(shù)從幾千萬條增加到數(shù)十億條，數(shù)據(jù)量從百GB增加到數(shù)TB，未來還可能增加到數(shù)千億條和數(shù)百TB，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫已經(jīng)無法承擔(dān)如此海量的數(shù)據(jù)。OceanBase解決不斷增加的結(jié)構(gòu)化數(shù)據(jù)存儲與查詢的問題。

從Eric Brewer教授的CAP(一致性C: Consistency，可用性A: Availability，分區(qū)容錯性P: Tolerance of network Partition)理論角度分析，作為電子商務(wù)企業(yè)，淘寶和其他公司的業(yè)務(wù)對一致性和可用性的要求高于分區(qū)容錯性，數(shù)據(jù)特征是數(shù)據(jù)總量龐大且逐步增加，單位時間內(nèi)的數(shù)據(jù)更新量并不大，但實(shí)時性要求很高。這就要求我們提供一套更加偏重于支持CA特性的系統(tǒng)，同時兼顧可分區(qū)性，并且在實(shí)時性、成本、性能等方面表現(xiàn)良好。

架構(gòu)

OceanBase的邏輯架構(gòu)簡圖

▲

OceanBase架構(gòu)的一些基本概念

主鍵

row key，也稱為primary key，類似于DBMS的主鍵，與DBMS不同的是，OceanBase的主鍵總是二進(jìn)制字符串(binary string)，但可以有某種結(jié)構(gòu)。OceanBase以主鍵為順序存放表格數(shù)據(jù)

sstable

一種數(shù)據(jù)存儲格式，OceanBase用來存儲一個或幾個表的一段按主鍵連續(xù)的數(shù)據(jù)

tablet

一個表按主鍵劃分的一個(前開后閉的)范圍，通常包含一個或幾個sstable，一個tablet的數(shù)據(jù)量通常在256MB左右

基準(zhǔn)數(shù)據(jù)和動態(tài)數(shù)據(jù)

OceanBase以增量方式記錄一段時間內(nèi)的表格數(shù)據(jù)的增刪改，從而保持著表格主體數(shù)據(jù)在一段時間內(nèi)相對穩(wěn)定，其中增刪改的數(shù)據(jù)稱為動態(tài)數(shù)據(jù)(通常在內(nèi)存，也稱為內(nèi)存表)，而一段時間內(nèi)相對穩(wěn)定的主體數(shù)據(jù)稱為基準(zhǔn)數(shù)據(jù)，基準(zhǔn)數(shù)據(jù)和轉(zhuǎn)儲后(保存到SSD固態(tài)盤或磁盤)的動態(tài)數(shù)據(jù)以sstable格式存儲

ChunkServer

保存基準(zhǔn)數(shù)據(jù)的服務(wù)器，通常是多臺，為了避免軟件硬件故障導(dǎo)致的服務(wù)中斷，同一份基準(zhǔn)數(shù)據(jù)通常保存了3份并存儲在不同ChunkServer上

UpdateServer

保存動態(tài)數(shù)據(jù)的服務(wù)器，一般是單臺服務(wù)器。為了避免軟件硬件故障導(dǎo)致的服務(wù)中斷，UpdateServer記錄commit log并通常使用雙機(jī)熱備

MergeServer

進(jìn)行靜態(tài)動態(tài)數(shù)據(jù)合并的服務(wù)器，常常與ChunkServer共用一臺物理服務(wù)器。MergeServer使得用戶能夠訪問到完整的最新的數(shù)據(jù)

RootServer

配置服務(wù)器，一般是單臺服務(wù)器。為了避免軟件硬件故障導(dǎo)致的服務(wù)中斷，RootServer記錄commit log并通常采用雙機(jī)熱備。由于RootServer負(fù)載一般都很輕，所以它常常與UpdateServer共用物理機(jī)器

凍結(jié)

指動態(tài)數(shù)據(jù)(也稱為內(nèi)存表)的更新到一定時間或者數(shù)據(jù)量達(dá)到一定規(guī)模后，OceanBase停止該塊動態(tài)數(shù)據(jù)的修改，后續(xù)的更新寫入新的動態(tài)數(shù)據(jù)塊(即新的內(nèi)存表)，舊的動態(tài)數(shù)據(jù)塊不再修改，這個過程稱為凍結(jié)

轉(zhuǎn)儲

出于節(jié)省內(nèi)存或者持久化等原因?qū)⒁粋€凍結(jié)的動態(tài)數(shù)據(jù)塊(內(nèi)存表)持久化(轉(zhuǎn)化為sstable并保存到SSD固態(tài)盤或磁盤上)的過程

數(shù)據(jù)合并(merge)

查詢時，查詢項(xiàng)的基準(zhǔn)數(shù)據(jù)與其動態(tài)數(shù)據(jù)(即增刪改操作)合并以得到該數(shù)據(jù)項(xiàng)的最新結(jié)果的過程。此外，把舊的基準(zhǔn)數(shù)據(jù)與凍結(jié)的動態(tài)數(shù)據(jù)進(jìn)行合并生成新的基準(zhǔn)數(shù)據(jù)的過程也稱為數(shù)據(jù)合并

聯(lián)表(join)

一張表與另一張或幾張表基于主鍵的左連接關(guān)系，類似于DBMS的自然連接

COW

Copy on Write的縮寫，在OceanBase中特指BTree在更新時復(fù)制數(shù)據(jù)備份寫入，避免系統(tǒng)鎖的技術(shù)手段

產(chǎn)品信息

2020年6月8日，螞蟻集團(tuán)宣布將原有自研數(shù)據(jù)庫產(chǎn)品OceanBase獨(dú)立，成立由螞蟻100%控股的數(shù)據(jù)庫公司北京奧星貝斯科技，螞蟻集團(tuán)CEO胡曉明擔(dān)任董事長。

2021年5月21日，國際事務(wù)處理性能委員會（TPC，Transaction ProcessingPerformance Council）官網(wǎng)發(fā)布最新的數(shù)據(jù)分析型基準(zhǔn)測試（TPC-H）榜單，其中，螞蟻集團(tuán)自主研發(fā)的分布式關(guān)系數(shù)據(jù)庫OceanBase以1526萬QphH的性能總分排名30,000GB第一。

2021年6月1日，螞蟻集團(tuán)自研數(shù)據(jù)庫OceanBase宣布正式開源，并成立OceanBase開源社區(qū)，社區(qū)官網(wǎng)同步上線。

品牌大事記

2010年：創(chuàng)始人陽振坤加入阿里巴巴，OceanBase 正式立項(xiàng)。

2011 年：OceanBase 0.1 版本發(fā)布，應(yīng)用于淘寶收藏夾。

2014 年：OceanBase 0.5 版本發(fā)布，替代 Oracle 在支付寶交易系統(tǒng)上線，負(fù)擔(dān)“雙十一”10% 流量。

2015 年：網(wǎng)商銀行成立，OceanBase 成為全球首個應(yīng)用在金融核心業(yè)務(wù)系統(tǒng)的分布式關(guān)系數(shù)據(jù)庫。

2016 年：OceanBase 1.0 版本在支付寶賬務(wù)系統(tǒng)上線，支撐 12 萬筆 / 秒支付峰值。

2017年：支付寶首次把賬務(wù)庫在內(nèi)的所有核心數(shù)據(jù)鏈路搬到 OceanBase 上，創(chuàng)造 4200 萬次 / 秒數(shù)據(jù)庫處理峰值紀(jì)錄。同年，OceanBase 1.x 版本首次在阿里巴巴/螞蟻集團(tuán)之外的商業(yè)銀行：南京銀行上線。

2018 年：OceanBase 2.0 版本正式發(fā)布，并在多家商業(yè)銀行上線。

2019年：OceanBase通過TPC-C 測試并以6088萬tpmC登頂TPC-C榜首。

2020年3月：3月，OceanBase正式通過阿里云向全球開放。

2020年5月：OceanBase再次通過TPC-C測試并創(chuàng)造了7.07億tpmC的性能記錄。 5月21日消息，21日，支付寶宣布其自研分布式數(shù)據(jù)庫OceanBase在TPC-C基準(zhǔn)測試中，性能分?jǐn)?shù)突破億級，達(dá)到7.07億tpmC。

2020年6月：OceanBase獨(dú)立公司化運(yùn)作，成立由螞蟻100%控股的數(shù)據(jù)庫公司北京奧星貝斯科技。 2020年6月8日，螞蟻集團(tuán)宣布，將自研數(shù)據(jù)庫產(chǎn)品OceanBase獨(dú)立進(jìn)行公司化運(yùn)作。

2020年7月：7 月 31 日，浙江移動正式引入螞蟻集團(tuán)的自研數(shù)據(jù)庫 OceanBase，首期應(yīng)用于其政企網(wǎng)格智慧運(yùn)營系統(tǒng)。

2020年9月：在剛剛結(jié)束的云棲大會上,OceanBase發(fā)布了2.2版本以及全新的OceanBase一體機(jī)。2.2版本的5大特性全新亮相,具有混合負(fù)載引擎和多種容災(zāi)方式,兼顧業(yè)務(wù)效率與數(shù)據(jù)安全。

2020年9月：恒生電子與OceanBase、阿里云展開聯(lián)合測試,實(shí)現(xiàn)證券核心交易場景壓測峰值十倍以上增長,交易委托TPS高達(dá)37.9萬筆。

2020年9月：OceanBase推出初級認(rèn)證OBCA，上線短短2個多月已有4000+人完成認(rèn)證。近日，中級認(rèn)證OBCP也已上線官網(wǎng)。9月26日，華東師范大學(xué)與OceanBase簽署戰(zhàn)略合作，共建“華東師范大學(xué)-北京奧星貝斯分布式數(shù)據(jù)庫聯(lián)合實(shí)驗(yàn)室”。

2020年9月：中國工商銀行重要業(yè)務(wù)系統(tǒng)——對公（法人）理財系統(tǒng)完成從大型主機(jī)到分布式架構(gòu)改造，順暢運(yùn)行在金融級分布式數(shù)據(jù)庫OceanBase之上。

2020年10月：深圳公積金與OceanBase達(dá)成合作意向，將對業(yè)務(wù)在線辦理系統(tǒng)進(jìn)行分布式改造，推動公積金業(yè)務(wù)辦理朝著線上化和智能化轉(zhuǎn)型。

2020年11月：山東移動計(jì)費(fèi)業(yè)務(wù)系統(tǒng)已經(jīng)正式上線OceanBase。上線后山東移動計(jì)費(fèi)系統(tǒng)處理效率方面明顯提升，詳單處理時長從7分鐘縮短到5分鐘，處理效率提升30%；數(shù)據(jù)由原有的7T壓縮為0.7T，存儲投入成本降低90%。

2020年12月：招商證券業(yè)務(wù)系統(tǒng)基于OceanBase完成架構(gòu)升級，首次應(yīng)用于其海量行情系統(tǒng)和歷史收益系統(tǒng)，這是OceanBase在證券行業(yè)的又一重要突破。

2022年8月：國產(chǎn)自研分布式數(shù)據(jù)庫OceanBase舉辦2022年度發(fā)布會，面向全球用戶發(fā)布全新4.0產(chǎn)品—“小魚“。

產(chǎn)品服務(wù)

OceanBase 數(shù)據(jù)庫

OceanBase 數(shù)據(jù)庫是螞蟻集團(tuán)不基于任何開源產(chǎn)品，自研的企業(yè)級分布式關(guān)系數(shù)據(jù)庫。一款完全自研的原生分布式關(guān)系數(shù)據(jù)庫軟件，在普通硬件上實(shí)現(xiàn)金融級高可用，首創(chuàng)“三地五中心”城市級故障自動無損容災(zāi)新標(biāo)準(zhǔn)，具備卓越的水平擴(kuò)展能力，全球首家通過TPC-C標(biāo)準(zhǔn)測試的分布式數(shù)據(jù)庫，單集群規(guī)模超過1500節(jié)點(diǎn)。產(chǎn)品具有云原生、強(qiáng)一致性、高度兼容Oracle/MySQL等特性。

OceanBase 云平臺

OceanBase 云平臺（OCP）是一款以 OceanBase 為核心的企業(yè)級數(shù)據(jù)庫管理平臺，提供 OceanBase 集群、租戶、數(shù)據(jù)庫等相關(guān)組件的全生命周期管理，同時也可以對 OceanBase 相關(guān)的其他組件提供管理功能。

OceanBase 開發(fā)者中心

OceanBase 開發(fā)者中心（OceanBase Developer Center，ODC）是為 OceanBase 數(shù)據(jù)庫量身打造的企業(yè)級數(shù)據(jù)庫開發(fā)平臺。ODC 支持連接 OceanBase 中 MySQL 和 Oracle 模式下的數(shù)據(jù)庫，同時為數(shù)據(jù)庫開發(fā)者提供了數(shù)據(jù)庫日常開發(fā)操作、WebSQL、SQL 診斷、會話管理和數(shù)據(jù)導(dǎo)入導(dǎo)出等功能。

OceanBase遷移服務(wù)

OceanBase遷移服務(wù)（OceanBaseMigrationService，OMS）是OceanBase提供的一種支持同構(gòu)或異構(gòu)RDBMS與OceanBase之間進(jìn)行數(shù)據(jù)交互的服務(wù)，它提供了數(shù)據(jù)的在線遷移和實(shí)時增量同步的數(shù)據(jù)復(fù)制能力。

OceanBase公有云

OceanBase公有云服務(wù)是由OceanBase提供的DBaas服務(wù)，在OceanBase原有的分布式基礎(chǔ)之上，結(jié)合公有云的特征，提供給用戶一個具備成本優(yōu)勢，安全，彈性，免運(yùn)維，并提供跨云部署的數(shù)據(jù)庫服務(wù)

OceanBase數(shù)據(jù)庫一體機(jī)

OceanBase 數(shù)據(jù)庫一體機(jī)是基于螞蟻金融級分布式數(shù)據(jù)庫和自研可信硬件打造的軟硬一體化解決方案。

OceanBase數(shù)據(jù)庫架構(gòu)