【轉(zhuǎn)載】某篇文章的讀后感，談一談 9 款國(guó)產(chǎn)圖數(shù)據(jù)庫(kù)

時(shí)間：2023-03-13 09:56:01 | 來(lái)源：電子商務(wù)

時(shí)間：2023-03-13 09:56:01 來(lái)源：電子商務(wù)

本人目前做圖的底層存儲(chǔ)引擎“分片和副本分布式可擴(kuò)展”相關(guān)的研究，來(lái)滿足業(yè)務(wù)的快速增長(zhǎng)。
本文內(nèi)容大量來(lái)自被我閱讀的文章。感謝王建奎博士~~

華為
先來(lái)說(shuō)說(shuō)最神秘的華為吧，華為的圖數(shù)據(jù)庫(kù)構(gòu)建在多模數(shù)據(jù)庫(kù)中，由高斯實(shí)驗(yàn)室負(fù)責(zé)原型研發(fā)，圖數(shù)據(jù)庫(kù)的 headcount 由任總欽點(diǎn)，圖數(shù)據(jù)庫(kù)在華為重要性可想而知，但是由于華為保密要求嚴(yán)格，凡事都不讓對(duì)外說(shuō)。技術(shù)領(lǐng)先，設(shè)計(jì)方案簡(jiǎn)單高效。其他朋友不方便多跟我說(shuō)，不過(guò)團(tuán)隊(duì)從現(xiàn)在到前后會(huì)新增 至少 20 個(gè) headcount，任總有要求，非招人不可大有可為呀。如果有想去上海工作的朋友，歡迎聯(lián)系我，我?guī)湍懵?lián)系我的朋友。
費(fèi)馬科技
洪春濤學(xué)長(zhǎng)在北京BDTC2017中國(guó)大數(shù)據(jù)技術(shù)大會(huì)上深入分析了當(dāng)時(shí)圖數(shù)據(jù)庫(kù)和圖計(jì)算領(lǐng)域的難點(diǎn)、現(xiàn)狀以及費(fèi)馬在2個(gè)領(lǐng)域的優(yōu)化和產(chǎn)品能力。我當(dāng)時(shí)真的對(duì)那幾個(gè)優(yōu)化數(shù)字感到震驚費(fèi)馬的性能真的非常好，團(tuán)隊(duì)也非常專業(yè)。京東金融是他們的一個(gè)客戶案例（詳細(xì)可查看：https://fma-ai.cn/case）。
費(fèi)馬科技是一個(gè)專注圖數(shù)據(jù)庫(kù)和圖計(jì)算的創(chuàng)業(yè)公司，主打：快如閃電的高性能圖數(shù)據(jù)存儲(chǔ)及分析平臺(tái)。
LightGraph 是費(fèi)馬科技自主研發(fā)的圖數(shù)據(jù)庫(kù)產(chǎn)品。其主要特點(diǎn)是單機(jī)大數(shù)據(jù)量，高吞吐率，以及靈活的 API，同時(shí)支持高效的在線事務(wù)處理（OLTP）和在線分析處理（OLAP）。LightGraph支持 TB 級(jí)大容量存儲(chǔ)，可以輕松支持十億級(jí)別頂點(diǎn)和百億級(jí)別的邊。使用無(wú)鎖設(shè)計(jì)，從而大大提高了高負(fù)載下的吞吐率，可以達(dá)到千萬(wàn)頂點(diǎn)/秒的高吞吐率。除了強(qiáng)大的事務(wù)處理能力，還具備豐富和可擴(kuò)展的分析處理功能，能夠高效、在線地進(jìn)行 PageRank、連通分量等復(fù)雜的圖計(jì)算過(guò)程，省去了用戶需要另行搭建并將數(shù)據(jù)導(dǎo)出、轉(zhuǎn)換、再導(dǎo)入到專門的分析系統(tǒng)的麻煩。另外LightGraph還支持高可用，具有嚴(yán)格的ACID支持和高效靈活的API。
PandaGraph是一個(gè)運(yùn)行在linux系統(tǒng)上的內(nèi)存圖計(jì)算系統(tǒng)，其雙模式引擎會(huì)自動(dòng)地在“ 稀疏”和“稠密”模式間切換，來(lái)優(yōu)化圖狀結(jié)構(gòu)數(shù)據(jù)上的迭代式并行計(jì)算。在對(duì)文件系統(tǒng)的支持上，PandaGraph可以自動(dòng)處理hdfs文件系統(tǒng)上的文件，用戶無(wú)需任何配置即可使用PandaGraph對(duì)hdfs文件進(jìn)行處理。此外，PandaGraph中還內(nèi)置了幾十種常見的圖計(jì)算應(yīng)用程序，用戶可以用符合格式的圖數(shù)據(jù)，直接使用這些程序進(jìn)行計(jì)算。

體驗(yàn)地址：
https://fma-ai.cn/product
本站官方賬號(hào)：
https://www.zhihu.com/org/fei-ma-ke-ji/activities
百度
百度的圖數(shù)據(jù)庫(kù)產(chǎn)品有2個(gè)。
1. BGraph : BGraph是面向商業(yè)的圖數(shù)據(jù)庫(kù)產(chǎn)品，基本百度多年的知識(shí)圖譜技術(shù)沉淀，自研了圖存儲(chǔ)和圖計(jì)算引擎，并針對(duì)檢索和深度連接分析做了深入優(yōu)化，整體通用C++ 實(shí)現(xiàn)，具有毫秒級(jí)查詢響應(yīng)，并能支持?jǐn)?shù)萬(wàn)的QPS。BGraph能支持?jǐn)?shù)億級(jí)頂點(diǎn)的圖數(shù)據(jù)，能通過(guò)分片和副本分布式可擴(kuò)展，滿足業(yè)務(wù)的快速增長(zhǎng)；支持多實(shí)例副本，具有實(shí)時(shí)容錯(cuò)能力，單實(shí)例的故障不會(huì)影響查詢服務(wù)，旨在提供超過(guò) 99.99％ 的可用性；支持業(yè)界流行的 Property Graph 數(shù)據(jù)模型和 Gremlin查詢語(yǔ)言，并對(duì)Gremlin進(jìn)行擴(kuò)展，支持特色的高性能圖算法。

體驗(yàn)地址：
https://ai.baidu.com/tech/kg/bgraph

2. HugeGraph：HugeGraph是百度安全部開源的一款開源圖數(shù)據(jù)庫(kù)產(chǎn)品。HugeGraph是一款面向分析型，支持批量操作的圖數(shù)據(jù)庫(kù)系統(tǒng)，它能夠與大數(shù)據(jù)平臺(tái)無(wú)縫集成，有效解決海量圖數(shù)據(jù)的存儲(chǔ)、查詢和關(guān)聯(lián)分析需求。HugeGraph支持HBase和Cassandra等常見的分布式系統(tǒng)作為其存儲(chǔ)引擎來(lái)實(shí)現(xiàn)水平擴(kuò)展。HugeGraph可以與Spark GraphX進(jìn)行鏈接，借助Spark GraphX圖分析算法（如PageRank、Connected Components、Triangle Count等）對(duì)HugeGraph的數(shù)據(jù)進(jìn)行分析挖掘。

詳細(xì)介紹：
https://zhuanlan.zhihu.com/p/41240429
項(xiàng)目地址：
https://github.com/hugegraph
阿里云
1. GDB：GDB（Graph Database）是阿里云上一款標(biāo)準(zhǔn)圖數(shù)據(jù)產(chǎn)品，目前正在公測(cè)中，官網(wǎng)提示正式商業(yè)化時(shí)間是2019年12月31日。GDB是一種支持屬性圖模型，用于處理高度連接數(shù)據(jù)查詢與存儲(chǔ)的實(shí)時(shí)可靠的在線數(shù)據(jù)庫(kù)，支持 TinkerPop Gremlin 查詢語(yǔ)言；高度優(yōu)化的自研圖計(jì)算層和存儲(chǔ)層，云盤多副本保障數(shù)據(jù)超高可靠，支持ACID事務(wù)；支持高可用實(shí)例，節(jié)點(diǎn)故障迅速轉(zhuǎn)移，保障業(yè)務(wù)連續(xù)性；提供備份恢復(fù)，自動(dòng)升級(jí)，監(jiān)控告警，故障切換等豐富的運(yùn)維功能，大幅降低運(yùn)維成本。

體驗(yàn)地址：
https://www.aliyun.com/product/gdb

2. GraphDB：GraphDB是阿里云更早起發(fā)布的一款圖數(shù)據(jù)庫(kù)產(chǎn)品，包含在HBase 2.0版本中，用戶在購(gòu)買云上HBase數(shù)據(jù)庫(kù)服務(wù)時(shí)，可以選擇GraphDB作為其圖數(shù)據(jù)引擎。GraphDB引擎本身并不額外收費(fèi)，對(duì)于需要使用圖數(shù)據(jù)功能的用戶而言，將大幅降低應(yīng)用和開發(fā)成本?，F(xiàn)階段主打OLTP能力，可以使用spark graphframes拓展圖分析能力。您可以在數(shù)據(jù)庫(kù)中創(chuàng)建，查詢和修改許多圖形。GraphDB基于Apache Tinkerpop棧構(gòu)建，并使用Gremlin語(yǔ)言進(jìn)行遍歷，更新和查詢。

更多請(qǐng)參考：阿里云圖數(shù)據(jù)庫(kù)GraphDB上線 業(yè)務(wù)場(chǎng)景全解析
螞蟻金服
GeaBase：GeaBase（Graph Exploration and Analytics Database）是我剛進(jìn)入圖數(shù)據(jù)庫(kù)領(lǐng)域時(shí)最早聽聞的國(guó)產(chǎn)圖數(shù)據(jù)庫(kù)，主打中國(guó)首個(gè)實(shí)時(shí)金融級(jí)分布式圖數(shù)據(jù)庫(kù)。實(shí)時(shí)和金融級(jí)2個(gè)前綴彰顯了GeaBase的技術(shù)底蘊(yùn)。首先，GeaBase支持海量的數(shù)據(jù)。目前，GeaBase支撐著螞蟻金服的多個(gè)關(guān)鍵應(yīng)用場(chǎng)景，包括風(fēng)控關(guān)系網(wǎng)絡(luò)、資金關(guān)系網(wǎng)絡(luò)，都達(dá)到百億個(gè)節(jié)點(diǎn)、千億條邊的海量數(shù)據(jù)規(guī)模，其計(jì)算查詢能力達(dá)到了非常高的水準(zhǔn)。其次，GeaBase擁有非常強(qiáng)悍的在線查詢性能，支持高并發(fā)，且具備毫秒級(jí)的低延時(shí)能力。通過(guò)與Titan的對(duì)比，可以看到無(wú)論是延時(shí)還是吞吐量，GeaBase的查詢性能都領(lǐng)先許多。GeaBase還具備高可用的特性。其配置了多種容錯(cuò)機(jī)制，引入了多集群和多方位的監(jiān)控體系，并配備了分布式架構(gòu)的容災(zāi)方案，這一切都是為了保證高可用性。螞蟻金服還為GeaBase研發(fā)了靈活且可擴(kuò)展的查詢語(yǔ)言。另外，為了和開源結(jié)合，GeaBase還將支持Gremlin圖遍歷語(yǔ)言。

參考：https://www.jianshu.com/p/dbd1d9526a39
體驗(yàn)地址：
https://tech.antfin.com/products/GEABASE
s://http://www.zhihu.com/org/fei-ma-ke-ji/activities
創(chuàng)鄰科技
創(chuàng)鄰科技也是一個(gè)專注圖數(shù)據(jù)庫(kù)和圖計(jì)算領(lǐng)域的創(chuàng)業(yè)公司。目前具有分布式圖數(shù)據(jù)庫(kù)、分布式圖計(jì)算平臺(tái)、可視化分析引擎三款產(chǎn)品。分布式圖數(shù)據(jù)庫(kù)Galaxybase獲得了世界上第一個(gè)也是目前唯一一個(gè)關(guān)于分布式圖數(shù)據(jù)庫(kù)和圖計(jì)算系統(tǒng)的專利，具有自主知識(shí)產(chǎn)權(quán)。
Galaxybase的數(shù)據(jù)關(guān)聯(lián)查詢性能較目前國(guó)際同類技術(shù)服務(wù)商快數(shù)十倍，較傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)技術(shù)快數(shù)千倍；海量數(shù)據(jù)擴(kuò)展性能承載千億節(jié)點(diǎn)的超級(jí)大圖；提供銀行級(jí)別的事務(wù)支持。分布式圖計(jì)算平臺(tái)，采用第三代高性能分布式運(yùn)算技術(shù)，實(shí)現(xiàn)分布式圖數(shù)據(jù)的“存儲(chǔ)+運(yùn)算”一體化，支撐海量數(shù)據(jù)的高并發(fā)實(shí)時(shí)讀寫、查詢、運(yùn)算及分析?？梢暬治鲆孀詣?dòng)將人、事、物等多元信息精準(zhǔn)組織成領(lǐng)域知識(shí)圖譜，通過(guò)可視化圖形界面簡(jiǎn)易部署算法、構(gòu)架模型、實(shí)時(shí)計(jì)算并展示結(jié)果，實(shí)現(xiàn)數(shù)據(jù)關(guān)聯(lián)挖掘、異常關(guān)聯(lián)監(jiān)控。
在由中國(guó)信息協(xié)會(huì)聯(lián)合信息化觀察網(wǎng)、圓潤(rùn)互聯(lián)信息技術(shù)研究院共同舉辦的“2019中國(guó)互聯(lián)網(wǎng)+產(chǎn)業(yè)創(chuàng)新合作發(fā)展論壇”中，創(chuàng)鄰科技實(shí)力斬獲“2019互聯(lián)網(wǎng)+知識(shí)圖譜深度挖掘認(rèn)知領(lǐng)域影響力企業(yè)”和“2019互聯(lián)網(wǎng)+圖數(shù)據(jù)存儲(chǔ)優(yōu)秀解決方案企業(yè)”雙項(xiàng)大獎(jiǎng)。

體驗(yàn)地址：
http://www.chuanglintech.cn/#/home
歐若數(shù)網(wǎng)
2019年5月，Nebula Graph橫空出世并宣布開源，歐若數(shù)網(wǎng)的創(chuàng)始人是原螞蟻金服基礎(chǔ)技術(shù)部圖計(jì)算及存儲(chǔ)技術(shù)團(tuán)隊(duì)的負(fù)責(zé)人，歐若專注于新一代圖計(jì)算和圖數(shù)據(jù)庫(kù)的研發(fā)和推廣。
Nebula Graph是世界上唯一能夠容納千億個(gè)頂點(diǎn)和萬(wàn)億條邊，并提供毫秒級(jí)查詢延時(shí)的圖數(shù)據(jù)庫(kù)解決方案，適用于需要快速遍歷多關(guān)系的任何案例，如社交網(wǎng)絡(luò)，知識(shí)圖譜，欺詐檢測(cè)等領(lǐng)域。Nebula Graph 的目標(biāo)是為超大規(guī)模圖數(shù)據(jù)提供高并發(fā)，低延時(shí)的讀、寫及計(jì)算。Nebula Graph 的具有全對(duì)稱分布式架構(gòu)、可擴(kuò)展、高可用、數(shù)據(jù)強(qiáng)一致、類 SQL 查詢語(yǔ)言、用戶鑒權(quán)、支持多存儲(chǔ)后端等功能，同時(shí)具備高度的安全性。Nebula Graph是開源的，使用Apache 2.0許可證，可以免費(fèi)下載，修改以及部署源代碼。
讀 Nebula 的源碼可以發(fā)現(xiàn)其底層存儲(chǔ)引擎為 RocksDB、HBase 等。Nebula 在設(shè)計(jì)存儲(chǔ)時(shí)，采用 share-nothing 的分布式架構(gòu)，本質(zhì)上存儲(chǔ)節(jié)點(diǎn)間沒(méi)有數(shù)據(jù)共享，通過(guò)多塊磁盤做多實(shí)例，也就是整個(gè)分布式結(jié)構(gòu)無(wú)中心節(jié)點(diǎn)。這樣的好處在于，第一，容易做水平拓展；第二，即使部分機(jī)器 Crash，通過(guò)數(shù)據(jù)強(qiáng)一致性—— Raft 協(xié)議能保證整個(gè)系統(tǒng)的可用性，不會(huì)丟失數(shù)據(jù)。整個(gè)的核心代碼都是 C++ 寫的，這樣保證了執(zhí)行效率。其次，做了很多并行和異步執(zhí)行的優(yōu)化。第三個(gè)是計(jì)算下推。在分布式系統(tǒng)里面，硬件上網(wǎng)絡(luò)對(duì)整體性能的影響最大，所以數(shù)據(jù)搬遷是一個(gè)很低效的動(dòng)作。有些開源圖數(shù)據(jù)庫(kù)產(chǎn)品，比如 JanusGraph，它的存儲(chǔ)層在 HBase，上面有個(gè)單獨(dú)的計(jì)算層，當(dāng)計(jì)算層需要數(shù)據(jù)的時(shí)候，會(huì)到 HBase 里面拉回大量的數(shù)據(jù)，再做過(guò)濾和計(jì)算。舉個(gè)例子，1 萬(wàn)條數(shù)據(jù)里面最終過(guò)濾出 100 條，那相當(dāng)于 99% 的網(wǎng)絡(luò)傳輸都浪費(fèi)了。所以 Nebula 的設(shè)計(jì)方案是移動(dòng)計(jì)算，而不是數(shù)據(jù)，計(jì)算下推到存儲(chǔ)層，像前面這個(gè)例子，直接在存儲(chǔ)層做完過(guò)濾再回傳計(jì)算層，這樣可以有 100 倍的加速。

強(qiáng)烈建議讀一下Nebula Graph的詳細(xì)介紹：https://zhuanlan.zhihu.com/p/77459312
Nebula Graph的文檔非常豐富，還提供docker鏡像可以快速上手，而且提供了學(xué)習(xí)視頻(可以去B站學(xué)習(xí)了)。極其到位的體驗(yàn)，使得Nebula Graph短短幾個(gè)月迅速獲得1.6萬(wàn)的Star，收獲30多個(gè)contributors，高效發(fā)布4個(gè)迭代版本。

項(xiàng)目地址：
https://github.com/vesoft-inc/nebula/blob/master/README-CN.md
本站官方賬號(hào)：
https://www.zhihu.com/org/nebulagraph/activities
北京大學(xué)王選計(jì)算機(jī)研究所
gStore大規(guī)模圖數(shù)據(jù)庫(kù)管理系統(tǒng)是北京大學(xué)王選計(jì)算機(jī)研究所鄒磊教授研究團(tuán)隊(duì)自主研發(fā)的具有完全自主知識(shí)產(chǎn)權(quán)的開源圖數(shù)據(jù)庫(kù)系統(tǒng)。大量的基準(zhǔn)知識(shí)圖譜數(shù)據(jù)的評(píng)測(cè)結(jié)果和第三方的評(píng)測(cè)報(bào)告顯示gStore系統(tǒng)在圖譜數(shù)據(jù)量大、查詢復(fù)雜等環(huán)境下其性能要明顯優(yōu)于現(xiàn)有的工業(yè)圖數(shù)據(jù)庫(kù)系統(tǒng)。該項(xiàng)目發(fā)表了數(shù)據(jù)庫(kù)領(lǐng)域國(guó)際頂級(jí)期刊和會(huì)議論文（包括SIGMOD，VLDB）等30余篇，被國(guó)內(nèi)外學(xué)術(shù)同行引用超過(guò)2000次，前期理論研究成果獲得教育部自然科學(xué)二等獎(jiǎng)（獲獎(jiǎng)項(xiàng)目名稱：“大規(guī)模圖結(jié)構(gòu)數(shù)據(jù)管理”），系統(tǒng)開源以來(lái)在開源社區(qū)（Github和開源中國(guó)）獲得了廣泛關(guān)注。
公眾號(hào)「圖譜學(xué)苑」，曾有一篇文章《開源圖數(shù)據(jù)庫(kù)項(xiàng)目gStore的應(yīng)用與合作介紹》做了非常詳細(xì)的講解，感興趣的朋友請(qǐng)自行搜索。

作者：一路走好

原文鏈接：