國(guó)產(chǎn)數(shù)據(jù)庫(kù)發(fā)展簡(jiǎn)史

時(shí)間：2023-03-13 06:24:02 | 來(lái)源：電子商務(wù)

時(shí)間：2023-03-13 06:24:02 來(lái)源：電子商務(wù)

前記

寫這篇文章之前，我以為國(guó)產(chǎn)數(shù)據(jù)庫(kù)就那么十幾款，不會(huì)很多，整理起來(lái)很方便，隨著資料收集的越來(lái)越多，發(fā)現(xiàn)國(guó)產(chǎn)數(shù)據(jù)庫(kù)已經(jīng)蔚為大觀，大約有幾百種了。有趣的是，關(guān)于國(guó)產(chǎn)數(shù)據(jù)庫(kù)的綜述性文章很少，而且還有很多文章都是很類似的。直接去國(guó)產(chǎn)數(shù)據(jù)庫(kù)對(duì)應(yīng)的公司去搜索資料，大部分又是宣傳性質(zhì)的，很難找到有價(jià)值的東西。然后作者又懶，不想一個(gè)個(gè)聯(lián)系那些公司，又不想一個(gè)個(gè)試安裝測(cè)試（畢竟兩百多個(gè)呢），所以這篇文章讀者權(quán)且當(dāng)做一篇網(wǎng)上資料的收集整理類型的文章一讀即可。

PS：國(guó)產(chǎn)數(shù)據(jù)庫(kù)作為IT行業(yè)基礎(chǔ)設(shè)施之一，不像芯片那樣經(jīng)常上新聞，也沒(méi)有人專門梳理國(guó)產(chǎn)數(shù)據(jù)庫(kù)發(fā)展歷史，也許恰恰證明了現(xiàn)在國(guó)產(chǎn)數(shù)據(jù)庫(kù)在某種程度上已經(jīng)不是落后，不說(shuō)領(lǐng)先，至少也是并駕齊驅(qū)了，以至于沒(méi)有什么可吐槽的點(diǎn)，從而變成新聞熱點(diǎn)。

數(shù)據(jù)庫(kù)的意義

數(shù)據(jù)庫(kù)最大的意義在于它是整個(gè)信息行業(yè)的基礎(chǔ)設(shè)施，可以這么說(shuō)沒(méi)有數(shù)據(jù)庫(kù)，就沒(méi)有整個(gè)互聯(lián)網(wǎng)行業(yè)，也就沒(méi)有所謂的信息化。在未來(lái)，隨著萬(wàn)物互聯(lián)的發(fā)展，數(shù)據(jù)庫(kù)的意義會(huì)更加重要。

也因此衍生出了為什么要做國(guó)產(chǎn)化？其性質(zhì)就和芯片一樣，我想最貼切的說(shuō)明就是阿里巴巴公司去“IOE”的原因了吧。有商業(yè)成本的因素，也有著技術(shù)上傳統(tǒng)數(shù)據(jù)庫(kù)的瓶頸限制。對(duì)于國(guó)家而言，就像達(dá)夢(mèng)數(shù)據(jù)庫(kù)一篇PPT說(shuō)到的，更多的原因在于“棱鏡”項(xiàng)目的曝光和特朗普的上臺(tái)。

畢竟，Oracle 公司的第一個(gè)項(xiàng)目 project oracle 就是為 CIA 服務(wù)的。

國(guó)產(chǎn)數(shù)據(jù)庫(kù)的歷史

這里不多提了，相關(guān)的文章很多。大概就是在二十世紀(jì)八十年代，薩師煊教授和王珊教授推開了中國(guó)數(shù)據(jù)庫(kù)領(lǐng)域的大門，培養(yǎng)了中國(guó)數(shù)據(jù)庫(kù)的第一代人才；到了九十年代后，Oracle 席卷中國(guó)，占據(jù)了中國(guó)很大的市場(chǎng)，但是中國(guó)也有了第一代原型數(shù)據(jù)庫(kù)，比如東軟的Openbase、中軟的Cobase和華科的DM Database；進(jìn)入二十一世紀(jì)后，國(guó)家的 863 計(jì)劃設(shè)立了[數(shù)據(jù)庫(kù)重大專項(xiàng)]，有了國(guó)家政策的扶持，達(dá)夢(mèng)數(shù)據(jù)庫(kù)、人大金倉(cāng)、南大通用和航天神舟這些公司開始發(fā)展，不過(guò)在原有的傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)領(lǐng)域里，Oracle 和 IBM 的先發(fā)優(yōu)勢(shì)太大了，當(dāng)時(shí)的環(huán)境要求的是經(jīng)濟(jì)發(fā)展，而不是自主可控，于是國(guó)產(chǎn)數(shù)據(jù)庫(kù)進(jìn)入了死循環(huán)，沒(méi)有市場(chǎng)就無(wú)法驗(yàn)證數(shù)據(jù)庫(kù)是否可靠，無(wú)法驗(yàn)證數(shù)據(jù)庫(kù)是否可靠那么久沒(méi)有公司敢用，也就沒(méi)有市場(chǎng)；直到2010年后的云計(jì)算時(shí)代和開源社區(qū)的興起，國(guó)產(chǎn)數(shù)據(jù)庫(kù)開始了彎道超車，阿里喊出了“去IOE”的口號(hào)，國(guó)產(chǎn)數(shù)據(jù)庫(kù)領(lǐng)域真正進(jìn)入到了蓬勃發(fā)展的時(shí)代，一系列優(yōu)秀的數(shù)據(jù)庫(kù)和數(shù)據(jù)庫(kù)公司誕生了，比如TiDB、OceanBase等等，太多太多了。

說(shuō)到歷史，提到一個(gè)小事，那就是:

1997 年 1 月 27 日，埃里森乘專機(jī)飛臨北京，馮星君通過(guò)關(guān)系安排國(guó)賓車隊(duì)去接，國(guó)賓車隊(duì)的車一直開到跑道上，一大隊(duì)車閃著燈很威風(fēng)。機(jī)艙門開了，但人總是不出來(lái)，等了 20 分鐘，從飛機(jī)上跳下來(lái)一個(gè)穿防彈衣的黑人保鏢，他對(duì)迎接的車隊(duì)說(shuō)：「所有的車門全部打開，我要檢查有沒(méi)有炸彈?！挂贿吺敲绹?guó)來(lái)的大老板，一邊是同樣惹不起的國(guó)賓車隊(duì)，這哥們太難受了，他忍了。
第二天，埃里森要到長(zhǎng)城拍推廣網(wǎng)絡(luò)計(jì)算機(jī)的電視片，事前吩咐馮星君找了 20 個(gè)小學(xué)生參與拍攝。約好早上 8 點(diǎn)，直到 9 點(diǎn)，埃里森都不起床。當(dāng)天零下 20 多度，大巴沒(méi)有暖氣。馮星君去求埃里森：「那些小孩要凍死了。」馮星君眼淚都快流出來(lái)了，埃里森才勉強(qiáng)答應(yīng)啟程。
去了沒(méi)多久，埃里森讓副手打回電話給馮星君說(shuō)：「埃里森挺喜歡長(zhǎng)城，玩得挺高興，中午就不回來(lái)了，你取消下午 3 點(diǎn)跟李鵬的會(huì)面吧?！惯@哥們差點(diǎn)暈過(guò)去?！赶挛绲臅?huì)面不是開玩笑的，如果我 2 點(diǎn)鐘看不見埃里森，我辭職，我要走了，這個(gè)責(zé)任我擔(dān)不起。」那邊一聽怕了，埃里森一行匆匆趕回人民大會(huì)堂，那個(gè)黑人保鏢還要跟著進(jìn)去，說(shuō)要保護(hù)老板，吵鬧得不可開交。

然后現(xiàn)在如何看待甲骨文公司中國(guó)研發(fā)中心大規(guī)模裁員？(本站https://www.zhihu.com/question/323304885)，不甚唏噓。

如何成長(zhǎng)起來(lái)的

看了這么多文章，無(wú)論是國(guó)外還是國(guó)內(nèi)，第一推動(dòng)力都是國(guó)家因素，然后交由市場(chǎng)競(jìng)爭(zhēng)，最后形成了百花齊放的局面。

在國(guó)內(nèi)相對(duì)特殊的在于：

1. 云計(jì)算興起，而數(shù)據(jù)庫(kù)又是云計(jì)算廠商必備的核心競(jìng)爭(zhēng)力，導(dǎo)致各個(gè)廠商會(huì)有很大的動(dòng)力去發(fā)展和創(chuàng)新數(shù)據(jù)庫(kù)
2. 國(guó)內(nèi)殘酷的競(jìng)爭(zhēng)環(huán)境，與大多數(shù)人觀感不同的是，國(guó)內(nèi)數(shù)據(jù)庫(kù)競(jìng)爭(zhēng)壓力特別大，要是數(shù)據(jù)庫(kù)產(chǎn)品不優(yōu)秀，基本上很難拿到市場(chǎng)份額。比如對(duì)于關(guān)系型數(shù)據(jù)就有 TiDB、OceanBase、達(dá)夢(mèng)、人大數(shù)倉(cāng)等二三十家公司競(jìng)爭(zhēng)，甚至還有開源數(shù)據(jù)庫(kù)的存在，對(duì)于企業(yè)可供選擇的數(shù)據(jù)庫(kù)真的太多了。
3. 所謂的互聯(lián)網(wǎng)的黃金十年造就了一大批優(yōu)秀的程序員，讓數(shù)據(jù)庫(kù)的發(fā)展不會(huì)成為無(wú)根之木、無(wú)垠之水。

遇到的困難

舉一個(gè)例子簡(jiǎn)單說(shuō)下，一個(gè)國(guó)產(chǎn)數(shù)據(jù)庫(kù)的誕生有多么困難。

• SequoiaDB

巨杉SequoiaDB經(jīng)過(guò)6年的發(fā)展，測(cè)試用例有12000多個(gè)，自動(dòng)化測(cè)試覆蓋率超過(guò)99%，測(cè)試開發(fā)團(tuán)隊(duì)和產(chǎn)品開發(fā)團(tuán)隊(duì)人員1:1，有過(guò)之無(wú)不及，測(cè)試的開發(fā)水平要求高過(guò)大部分的研發(fā)工程師。每一個(gè)小迭代，基本要跑一周，機(jī)房的測(cè)試服務(wù)器從來(lái)沒(méi)有停過(guò)。

• TiDB

做基礎(chǔ)軟件 test 是比 code 更重要的事情。比如你提了一個(gè) Feature，我到底是合并還是不合，不能直接判斷，需要看到你的 test。我們現(xiàn)在在 GitHub 上運(yùn)營(yíng) TiDB，一個(gè)新的提交如果讓整個(gè)項(xiàng)目的代碼測(cè)試的覆蓋率下降了，我是不允許你的代碼合并到主干分支的，非常嚴(yán)格。構(gòu)建一個(gè)數(shù)據(jù)庫(kù)最難的并不是把它寫出來(lái)，而是證明它是對(duì)的，尤其是分布式系統(tǒng)的測(cè)試要比單機(jī)的測(cè)試要更加困難。因?yàn)樵诜植际较到y(tǒng)里面每一個(gè)節(jié)點(diǎn)都可能 crash，每一個(gè)網(wǎng)絡(luò)的延遲可能是飄忽不定的，各種各樣的異常情況都會(huì)發(fā)生。我們?cè)谧稣麄€(gè)數(shù)據(jù)庫(kù)的時(shí)候，第一步是完成 SQL Layer，第二步是把每個(gè) IO，每個(gè)集群的節(jié)點(diǎn)交互行為全都抽象成為一個(gè)接口，使得我們可以回放整個(gè)包括 TCP/IP 包的接收順序。一旦發(fā)現(xiàn) bug，就把它重放到單元測(cè)試?yán)锩嬷噩F(xiàn)。不管是新的開發(fā)者或者新的模塊加入，是無(wú)法相信“人”的，只相信機(jī)器。我只相信 strong test 才能不斷的保證項(xiàng)目在可以控制的范圍之內(nèi)。

現(xiàn)狀

用八個(gè)字總結(jié)就是充分競(jìng)爭(zhēng)、百花齊放，但是相比于國(guó)外還是有不少的差距。從 Database of Databases 網(wǎng)站上的統(tǒng)計(jì)數(shù)據(jù)即可看出，純?cè)瓌?chuàng)、完全創(chuàng)新的數(shù)據(jù)庫(kù)比較少，但是基礎(chǔ)領(lǐng)域是沒(méi)啥差距了。我后來(lái)想了下，可能造成這個(gè)的原因恰恰在于國(guó)內(nèi)數(shù)據(jù)庫(kù)競(jìng)爭(zhēng)環(huán)境過(guò)于激烈，一切要以市場(chǎng)為導(dǎo)向，要是弄了什么創(chuàng)新的東西出來(lái)，不符合市場(chǎng)，成本和代價(jià)對(duì)于大部分?jǐn)?shù)據(jù)庫(kù)公司都是難以接受的。

國(guó)產(chǎn)數(shù)據(jù)庫(kù)的發(fā)展方向：

1. 在傳統(tǒng)行業(yè)替代 Oracle 和 DB2；
2. 成為新的中小企業(yè)數(shù)據(jù)庫(kù)選擇。

最難的在于傳統(tǒng)行業(yè)替代 Oracle 和 DB2，首先要解決的是要證明比 Oracle 更加穩(wěn)定可靠，其次是要兼容原有的程序，比如存儲(chǔ)過(guò)程、函數(shù)、dblink、觸發(fā)器、試圖等等，最后才是國(guó)產(chǎn)化因素。

成長(zhǎng)基礎(chǔ)

國(guó)產(chǎn)數(shù)據(jù)庫(kù)有三個(gè)主要來(lái)源：

1. 從開源中來(lái)：很多云計(jì)算廠商的數(shù)據(jù)庫(kù)來(lái)源于知名的開源數(shù)據(jù)庫(kù) MySQL 和 PostgreSQL，例如華為的高斯數(shù)據(jù)庫(kù)就源于 PPostgreSQL。文末的參考鏈接：https://juejin.im/post/6844903940962811917 中就畫了一張相對(duì)詳細(xì)的圖。
2. 從公開發(fā)表的論文中來(lái)：這里的典型例子就是 TiDB，它來(lái)源于谷歌公司發(fā)表的 Spanner 論文。
3. 收購(gòu)商業(yè)源碼+自研：這里指的是南大通用收購(gòu)了 IBM 的 Informix 數(shù)據(jù)庫(kù)源碼。

對(duì)比

對(duì)比的前提是作者把這些數(shù)據(jù)庫(kù)都嚴(yán)格測(cè)試并使用了一遍，而現(xiàn)在作者并沒(méi)有，妄下評(píng)論不太好，所以這個(gè)小節(jié)就跳過(guò)了。不過(guò)可以下一個(gè)大致的評(píng)語(yǔ)就是基本上什么類型的國(guó)產(chǎn)數(shù)據(jù)庫(kù)都有了，也都有了。具體的可以參考老魚筆記的http://blog.itpub.net/11310314/viewspace-2712810/和墨天輪的https://www.modb.pro/db/22488。

展望

數(shù)據(jù)庫(kù)未來(lái)的趨勢(shì)相對(duì)比較明顯了，就是云化+分布式。數(shù)據(jù)庫(kù)在追求“云原生”，并且為了適應(yīng)越來(lái)越多的數(shù)據(jù)，技術(shù)路線也選擇可以近乎無(wú)限擴(kuò)展的分布式架構(gòu)。沒(méi)有什么太多好說(shuō)的了。

參考鏈接

因?yàn)樽x的資料比較多，選擇了一些寫的相對(duì)不錯(cuò)的文章放在了下面，本文中有些觀點(diǎn)也來(lái)源于這些文章。感謝這些大佬的無(wú)私分享，能讓我看到國(guó)產(chǎn)數(shù)據(jù)庫(kù)領(lǐng)域的發(fā)展情況，非常感謝。

1. https://www.modb.pro/db/22488
2. http://blog.itpub.net/11310314/viewspace-2712810/
3. https://www.zhihu.com/question/31750851
4. https://www.chainnews.com/articles/606583749343.htm
   http://www.cniteyes.com/archives/35123
5. https://www.infoq.cn/article/Xx9Qp0ckvpckTj23y4Pg
6. https://www.tmtpost.com/4481578.html?rss=ifeng
7. http://www.gdinsa.org/lingshiwenjian/03gcsjkjyytz.pdf
8. https://www.huxiu.com/article/377423.html
9. http://pdf.dfcfw.com/pdf/H3_AP202008101397524561_1.pdf
10. https://www.vzkoo.com/news/3996.html
11. https://36kr.com/p/1724482633729
12. https://developer.aliyun.com/article/6890